Evaluation of IR Systems Efficiency. Results of Experiment Polish Task within Conference and Labs of the Evaluation Forum (CLEF) 2012
DOI:
https://doi.org/10.12775/TSB.2016.010Keywords
CLEF evaluation lab, IR in Polish, IR systems evaluationAbstract
The article presents the design of CLEF (Conference and Labs of the Evaluation Forum) evaluation labs with special attention paid to CHiC (Cultural Heritage in CLEF). We describe design of Polish Task in CHiClab and discuss conclusions from lab realisation. We discuss results achieved by different participants using different indexing and matching approaches. Efficiency of tf-idf, OKAPI, DFR and data fusion was compared and analysed.References
Akasereh Mitra, Malak Piotr, Pawłowski Adam, Evaluation of IR Strategies for Polish, [w:] Advances in Natural Language Processing. 9th International Conference on NLP, PolTAL 2014,Warsaw, Poland, September 17–19, 2014. Proceedings, ed. by Adam Przepiórkowski, Maciej Ogrodniczuk, Heidelberg [et al.] 2014, s. 384–391 (Lecture Notes in Computer Science; vol. 8686).
CHIC 2012. Tasks [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://www.promise-noe.eu/tasks.
CHiC 2013.CHiC: Cultural Heritage in CLEF [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://www.promise-noe.eu/chic-2013/home.
CHiC 2013. Polish Task [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://www.promise-noe.eu/chic-2013/tasks/polish-task.
Elektroniczny słownik języka polskiego XVII i XVIII wieku [online]. Polska Akademia Nauk, Instytut Języka Polskiego, 2008 [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://sxvii.pl/index.php?strona=haslo&id_hasla=9516&forma=RZE%C5%B9BA#9516.
Europeana: think culture [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://www.europeana.eu/portal/.
Fautsch Claire, Savoy Jacques, Algorithmic Stemmers or Morphological Analysis: An Evaluation, „Journal of American Society for Information Science and Technology” 2009, vol. 60, iss. 8, s. 1616–1624.
Feldstein Ron F., A Concise Polish Grammar [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://www.seelrc.org:8080/grammar/mainframe.jsp?nLanguageID=4.
Głowacka Ewa, Badania efektywności języków informacyjno-wyszukiwawczych (komunikat z badań),[w:] Komputeryzacja bibliotek: materiały konferencji 24–26 maja 1993 r., Toruń, pod red. B. Ryszewskiego, Toruń 1994, s. 209–213.
Guidelines for Participation and Submission [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://members.unine.ch/jacques.savoy/Polish/Participation.html.
Jagodzinski Grzegorz, A Grammar of the Polish Language [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://grzegorj.w.interia.pl/gram/en/gram00.html.
Malak Piotr, Information searching over Cultural Heritage objects, and press news, [w:] Human language technologies as a challenge for computer science and linguistics: 6th Language & Technology Conference, December 7–9, 2013, Poznań, Poland: proceedings, ed. by Zygmunt Vetulani, Hans Uszkoreit, Poznań 2013, s. 434–438.
Malak Piotr, The Polish Task within Cultural Heritage in CLEF (CHiC) 2013. Torun Runs, [w:] Working Notes for CLEF 2013 Conference, Valencia, Spain, September 23–26, 2013, ed. by P. Forner, R. Navigli, D. Tufis [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://www.clef-initiative.eu/documents/71612/b00f7561-fadb-47a8-ab67-74f116ce062a.
Mykowiecka Agnieszka, Inżynieria lingwistyczna. Komputerowe przetwarzanie tekstów w języku naturalnym, Warszawa 2007.
Petras Vivien, Bogers Toine, Toms Elaine, Hall Mark, Savoy Jacques, Malak Piotr, Pawłowski Adam, Ferro Nicola, Masiero Ivano, Cultural Heritage in CLEF (CHiC) 2013, [w:] Information Access Evaluation. Multilinguality, Multimodality, and Visualization, Information Access Evaluation. Multilinguality, Multimodality, and Visualization – 4th International Conference of the CLEF Initiative, CLEF 2013, Valencia, Spain, September 2013, Proceedings, ed. by P. Forner [et. al.], Berlin – Heidelberg 2013, s. 192–211.
Petras Vivien, Ferro Nicola, Gäde Maria, Isaac Antoine, Kleineberg Michael, Masiero Ivano, Nicchio Mattia, Stiller Juliane, Cultural Heritage in CLEF (CHiC) Overview 2012 [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://www.clef-initiative.eu/documents/71612/0cadb163-3e32-4f16-a659-b457480c2a29.
Polish Track at CLEF 2013 [online] [dostęp 31 maja 2016]. Dostępny w World Wide Web: http://members.unine.ch/jacques.savoy/Polish/.
Savoy Jacques, Light Stemming Approaches for the French, Portuguese, German and Hungarian Languages, [w:] Proceedings. SAC ‘06 Proceedings of the 2006 ACM symposium on Applied computing, New York 2006, s. 1031–1035.
Słownik encyklopedyczny informacji, języków i systemów informacyjno-wyszukiwawczych, pod red. Bożenny Bojar, Warszawa 2002.
Słownik poprawnej polszczyzny PWN, red. Witold Doroszewski; oprac. i red. Czesław Pankowski Warszawa 1995.
Szałkiewicz Łukasz, Przepiórkowski Adam, Anotacja morfo składniowa, [w:] Narodowy Korpus Języka Polskiego, red. Adam Przepiórkowski, Mirosław Bańko, Rafał L. Górski, Barbara Lewandowska-Tomaszczyk, Warszawa 2012, s. 59–96.
TREC: Experiment and Evaluation in Information Retrieval (Digital Libraries and Electronic Publishing),ed. by Ellen M. Vorhees, Donna K. Harman, Cambridge 2005.
Woźniak Jadwiga, Kategoryzacja. Studium z teorii języków informacyjno-wyszukiwawczych, Warszawa 2000.
Downloads
Published
How to Cite
Issue
Section
Stats
Number of views and downloads: 434
Number of citations: 0
