Ewaluacja skuteczności systemów wyszukiwania informacji. Od eksperymentu Cranfield do laboratoriów TREC i CLEF. Geneza i metody
DOI:
https://doi.org/10.12775/TSB.2015.022Słowa kluczowe
ewaluacja systemów informacyjno-wyszukiwawczych, laboratorium ewaluacyjne CLEF, wyszukiwanie informacji w języku polskimAbstrakt
W niniejszym artykule prezentujemy rozwój metod i miar służących do oceny efektywności systemów informacyjno-wyszukiwawczych. Zostały w nim opisane założenia eksperymentu Cranfield, jako długoletniego wyznacznika metodologii ewaluacyjnej, oraz zarzuty stawiane organizacji samego eksperymentu. Ważną częścią artykułu jest także opis ewolucji powszechnie dziś stosowanej metodologii ewaluacji systemów informacyjno-wyszukiwawczych, wypracowanej podczas dorocznych konferencji TREC (Text REtrieval Conference), a także omówienie najpowszechniej obecnie stosowanych miar ewaluacyjnych w tym zakresie. Artykuł przedstawia również organizację laboratoriów ewaluacyjnych CLEF (Conference and Labs of the Evaluation Forum) ze szczególnym uwzględnieniem panelu CHiC (Cultural Heritage in CLEF), a na gruncie języka polskiego – Polish Task in CHiC.Bibliografia
Akasereh Mitra, Malak Piotr, Pawłowski Adam, Evaluation of IR Strategies for Polish, [w:] Advances in Natural Language Processing. 9th International Conference on NLP, PolTAL 2014,Warsaw, Poland, September 17–19, 2014. Proceedings, ed. by Adam Przepiórkowski, Maciej Ogrodniczuk, Heidelberg [et al.] 2014, s. 384–391 (Lecture Notes in Computer Science; vol. 8686).
CHIC 2012.Tasks [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.promise-noe.eu/tasks.
CHiC 2013.CHiC: Cultural Heritage in CLEF [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.promise-noe.eu/chic-2013/home.
CHiC 2013. Polish Task [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.promise-noe.eu/chic-2013/tasks/polish-task.
Elektroniczny słownik języka polskiego XVII i XVIII wieku [online]. Polska Akademia Nauk, Instytut Języka Polskiego, 2008 [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://sxvii.pl/index.php?strona=haslo&id_hasla=9516&forma=RZE%C5%B9BA#9516.
Europeana: think culture[online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.europeana.eu/portal/.
Fautsch Claire, Savoy Jacques, Algorithmic Stemmers or Morphological Analysis: An Evaluation, „Journal of American Society for Information Science and Technology” 2009, vol. 60, iss. 8, s. 1616–1624.
Feldstein Ron F., A Concise Polish Grammar [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.seelrc.org:8080/grammar/mainframe.jsp?nLanguageID=4.
Głowacka Ewa,Badania efektywności języków informacyjno-wyszukiwawczych (komunikat z badań),[w:] Komputeryzacja bibliotek: materiały konferencji 24–26 maja 1993 r., Toruń, pod red. Bohdana Ryszewskiego, Toruń 1994, s. 209–213.
Guidelines for Participation and Submission [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://members.unine.ch/jacques.savoy/Polish/Participation.html.
Jagodzinski Grzegorz, A Grammar of the Polish Language [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://grzegorj.w.interia.pl/gram/en/gram00.html.
Malak Piotr, Information searching over Cultural Heritage objects, and press news, [w:] Human language technologies as a challenge for computer science and linguistics: 6th Language & Technology Conference, December 7–9, 2013, Poznań, Poland: proceedings, ed. by Zygmunt Vetulani, Hans Uszkoreit, Poznań 2013, s. 434–438.
Malak Piotr, The Polish Task within Cultural Heritage in CLEF (CHiC) 2013. Torun Runs, [w:] Working Notes for CLEF 2013 Conference, Valencia, Spain, September 23–26, 2013, ed. by Pamela Forner, Roberto Navigli, Dun Tufis [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.clef-initiative.eu/documents/71612/b00f7561-fadb-47a8-ab67-74f116ce062a.
Mykowiecka Agnieszka, Inżynieria lingwistyczna. Komputerowe przetwarzanie tekstów w języku naturalnym, Warszawa 2007.
Petras Vivien, Bogers Toine, Toms Elaine, Hall Mark, Savoy Jacques, Malak Piotr, Pawłowski Adam, Ferro Nicola, Masiero Ivano, Cultural Heritage in CLEF (CHiC) 2013, [w:] Information Access Evaluation. Multilinguality, Multimodality, and Visualization, Information Access Evaluation. Multilinguality, Multimodality, and Visualization – 4th International Conference of the CLEF Initiative, CLEF 2013, Valencia, Spain, September 2013, Proceedings, ed. by Pamela Forner [et. al.], Berlin–Heidelberg 2013, s. 192–211.
Petras Vivien, Ferro Nicola, Gäde Maria, Isaac Antoine, Kleineberg Michael, Masiero Ivano, Nicchio Mattia, Stiller Juliane, Cultural Heritage in CLEF (CHiC) Overview 2012 [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://www.clef-initiative.eu/documents/71612/0cadb163-3e32-4f16-a659-b457480c2a29.
Polish Track at CLEF 2013 [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://members.unine.ch/jacques.savoy/Polish/.
Polish Track at CLEF 2013 [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://members.unine.ch/jacques.savoy/Polish/.
Savoy Jacques, Light Stemming Approaches for the French, Portuguese, German and Hungarian Languages, [w:] Proceedings. SAC ‘06 Proceedings of the 2006 ACM symposium on Applied computing, New York 2006, s. 1031–1035.
Słownik encyklopedyczny informacji, języków i systemów informacyjno-wyszukiwawczych, pod red. Bożenny Bojar, Warszawa 2002.
Słownik poprawnej polszczyzny PWN, pod red. Witolda Doroszewskiego; oprac. i red. Czesław Pankowski Warszawa 1995.
Swan Oskar E., Polish Grammar in a Nutshell [online] [dostęp 15 grudnia 2015]. Dostępny w World Wide Web: http://polish.slavic.pitt.edu/firstyear/nutshell.pdf.
Szałkiewicz Łukasz, Przepiórkowski Adam, Anotacja morfo składniowa, [w:] Narodowy Korpus Języka Polskiego, pod red. Adama Przepiórkowskiego, Mirosława Bańki, Rafała L. Górskiego, Barbary Lewandowskiej-Tomaszczyk, Warszawa 2012, s. 59–96.
TREC: Experiment and Evaluation in Information Retrieval (Digital Libraries and Electronic Publishing),ed. by Ellen M. Vorhees, Donna K. Harman, Cambridge 2005.
Woliński Marcin, System znaczników morfosyntaktycznych w korpusie IPI PAN, „Polonica” 2003, t. XXII-XXIII, s. 39–55.
Woźniak Jadwiga, Kategoryzacja. Studium z teorii języków informacyjno-wyszukiwawczych, Warszawa 2000.
Pobrania
Opublikowane
Jak cytować
Numer
Dział
Statystyki
Liczba wyświetleń i pobrań: 459
Liczba cytowań: 0
