Evaluation of IR systems efficiency. From Cranfield to TREC and CLEF labs. Genesis and methods
DOI:
https://doi.org/10.12775/TSB.2015.022Keywords
CLEF evaluation lab, IR in Polish, IR systems evaluationAbstract
We present the genesis and evolution of methods and measures of IR systems evaluation. The design of the Cranfield experiment, a long-term model for evaluation methodology, is described. Evolution of current methodology of IR systems evaluation, developed at the annual TREC (Text REtrieval Conference) is provided, and the most popular and current measures described. The article presents also design of the CLEF (Conference and Labs of the Evaluation Forum) evaluation labs with special attention paid to CHiC (Cultural Heritage in CLEF). We describe the design of Polish Task in CHiClab and discuss conclusions from lab realisation.
References
Akasereh Mitra, Malak Piotr, Pawłowski Adam, Evaluation of IR Strategies for Polish, [w:] Advances in Natural Language Processing. 9th International Conference on NLP, PolTAL 2014,Warsaw, Poland, September 17–19, 2014. Proceedings, ed. by Adam Przepiórkowski, Maciej Ogrodniczuk, Heidelberg [et al.] 2014, s. 384–391 (Lecture Notes in Computer Science; vol. 8686).
CHIC 2012.Tasks [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.promise-noe.eu/tasks.
CHiC 2013.CHiC: Cultural Heritage in CLEF [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.promise-noe.eu/chic-2013/home.
CHiC 2013. Polish Task [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.promise-noe.eu/chic-2013/tasks/polish-task.
Elektroniczny słownik języka polskiego XVII i XVIII wieku [online]. Polska Akademia Nauk, Instytut Języka Polskiego, 2008 [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://sxvii.pl/index.php?strona=haslo&id_hasla=9516&forma=RZE%C5%B9BA#9516.
Europeana: think culture[online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.europeana.eu/portal/.
Fautsch Claire, Savoy Jacques, Algorithmic Stemmers or Morphological Analysis: An Evaluation, „Journal of American Society for Information Science and Technology” 2009, vol. 60, iss. 8, s. 1616–1624.
Feldstein Ron F., A Concise Polish Grammar [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.seelrc.org:8080/grammar/mainframe.jsp?nLanguageID=4.
Głowacka Ewa,Badania efektywności języków informacyjno-wyszukiwawczych (komunikat z badań),[w:] Komputeryzacja bibliotek: materiały konferencji 24–26 maja 1993 r., Toruń, pod red. Bohdana Ryszewskiego, Toruń 1994, s. 209–213.
Guidelines for Participation and Submission [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://members.unine.ch/jacques.savoy/Polish/Participation.html.
Jagodzinski Grzegorz, A Grammar of the Polish Language [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://grzegorj.w.interia.pl/gram/en/gram00.html.
Malak Piotr, Information searching over Cultural Heritage objects, and press news, [w:] Human language technologies as a challenge for computer science and linguistics: 6th Language & Technology Conference, December 7–9, 2013, Poznań, Poland: proceedings, ed. by Zygmunt Vetulani, Hans Uszkoreit, Poznań 2013, s. 434–438.
Malak Piotr, The Polish Task within Cultural Heritage in CLEF (CHiC) 2013. Torun Runs, [w:] Working Notes for CLEF 2013 Conference, Valencia, Spain, September 23–26, 2013, ed. by Pamela Forner, Roberto Navigli, Dun Tufis [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.clef-initiative.eu/documents/71612/b00f7561-fadb-47a8-ab67-74f116ce062a.
Mykowiecka Agnieszka, Inżynieria lingwistyczna. Komputerowe przetwarzanie tekstów w języku naturalnym, Warszawa 2007.
Petras Vivien, Bogers Toine, Toms Elaine, Hall Mark, Savoy Jacques, Malak Piotr, Pawłowski Adam, Ferro Nicola, Masiero Ivano, Cultural Heritage in CLEF (CHiC) 2013, [w:] Information Access Evaluation. Multilinguality, Multimodality, and Visualization, Information Access Evaluation. Multilinguality, Multimodality, and Visualization – 4th International Conference of the CLEF Initiative, CLEF 2013, Valencia, Spain, September 2013, Proceedings, ed. by Pamela Forner [et. al.], Berlin–Heidelberg 2013, s. 192–211.
Petras Vivien, Ferro Nicola, Gäde Maria, Isaac Antoine, Kleineberg Michael, Masiero Ivano, Nicchio Mattia, Stiller Juliane, Cultural Heritage in CLEF (CHiC) Overview 2012 [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.clef-initiative.eu/documents/71612/0cadb163-3e32-4f16-a659-b457480c2a29.
Polish Track at CLEF 2013 [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://members.unine.ch/jacques.savoy/Polish/.
Polish Track at CLEF 2013 [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://members.unine.ch/jacques.savoy/Polish/.
Savoy Jacques, Light Stemming Approaches for the French, Portuguese, German and Hungarian Languages, [w:] Proceedings. SAC ‘06 Proceedings of the 2006 ACM symposium on Applied computing, New York 2006, s. 1031–1035.
Słownik encyklopedyczny informacji, języków i systemów informacyjno-wyszukiwawczych, pod red. Bożenny Bojar, Warszawa 2002.
Słownik poprawnej polszczyzny PWN, pod red. Witolda Doroszewskiego; oprac. i red. Czesław Pankowski Warszawa 1995.
Swan Oskar E., Polish Grammar in a Nutshell [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://polish.slavic.pitt.edu/firstyear/nutshell.pdf.
Szałkiewicz Łukasz, Przepiórkowski Adam, Anotacja morfo składniowa, [w:] Narodowy Korpus Języka Polskiego, pod red. Adama Przepiórkowskiego, Mirosława Bańki, Rafała L. Górskiego, Barbary Lewandowskiej-Tomaszczyk, Warszawa 2012, s. 59–96.
TREC: Experiment and Evaluation in Information Retrieval (Digital Libraries and Electronic Publishing),ed. by Ellen M. Vorhees, Donna K. Harman, Cambridge 2005.
Woliński Marcin, System znaczników morfosyntaktycznych w korpusie IPI PAN, „Polonica” 2003, t. XXII-XXIII, s. 39–55.
Woźniak Jadwiga, Kategoryzacja. Studium z teorii języków informacyjno-wyszukiwawczych, Warszawa 2000.
Downloads
Published
How to Cite
Issue
Section
Stats
Number of views and downloads: 524
Number of citations: 0
