Volltext-Downloads (blau) und Frontdoor-Views (grau)

Benutzerorientierte Bewertungsmaßstäbe für Information Retrieval Systeme : Der Robust Task bei CLEF 2006

  • Die Qualität von Antworten im Information Retrieval schwankt zwischen einzelnen Anfragen sehr stark. Die Evaluierung im Information Retrieval zielt in der Regel auf eine Optimierung der durschnittlichen Retrieval-Qualität über mehrere Testanfragen (Topics). Sehr schlecht beantwortete Anfragen wirken sich besonders negativ auf die Zufriedenheit des Benutzers aus. Neue Ansätze zur Evaluierung der Robustheit von Systemen werten daher die schwierigen Anfragen stärker. Im Rahmen des Cross Language Evaluation Forum (CLEF) wurde 2006 ein Robust Task durchgeführt. Der Artikel zeigt die Gründe für Entwicklung dieser Aufgabenstellung nach, referiert die Ergebnisse und verweist auf zukünftige Planungen.
  • The quality of the responses of information retrieval system differs greatly between queries. The evaluation in information retrieval usually considers the average retrieval quality over several queries. However, queries which lead to poor results have a higher impact on the satisfaction of the user. New appraoches try to consider the users perspective by emphazising the hard topics. Within the Cross Language Evaluation Forum (CLEF), a robust task has been established in 2006. This article reports the reasons for the development, the task design and shows results and potenntial future trends.

Download full text files

Export metadata

Additional Services

Share in Twitter    Search Google Scholar    frontdoor_oas
Metadaten
Author:Thomas Mandl
URN:https://nbn-resolving.org/urn:nbn:de:gbv:hil2-opus-930
Document Type:Conference Proceeding
Language:German
Date of Publication (online):2011/05/19
Release Date:2011/05/19
GND Keyword:Informationssysteme
Source:Proceedings des Fünften Hildesheimer Evaluierungs- und Retrievalworkshop (HIER 2006)
PPN:Link zum Katalog
Contributor:Womser-Hacker, Christa
Institutes:Fachbereich III / Informationswissenschaft und Sprachtechnologie
DDC classes:000 Allgemeines, Informatik, Informationswissenschaft / 000 Allgemeines, Wissenschaft / 004 Informatik
Licence (German):License LogoDeutsches Urheberrecht