投稿日: その他 論文紹介

Crowdsourcing for relevance evaluation

Alonso, Omar
Rose, Daniel E.
Stewart, Benjamin
In SIGIR Forum, Vol.42, Num.2
http://dl.acm.org/citation.cfm?id=1480508&dl=ACM&coll=DL&CFID=342308237&CFTOKEN=17743775

概要

情報検索システムを提案する研究において,検索結果の適合度判定は欠かせない要素である.従来は研究室の学生に依頼するといったような小規模な評価が主であったが,現在はクラウドソーシングを用いた評価が一般的になりつつある.この論文では,クラウドソーシングの中でもAmazon Mechanical Turk(MTurk)を対象として,クラウドソーシングの一般的な手順や長所,短所について述べる.

詳細

クラウドソーシングにおいてよく用いられる用語は以下の3つ.
・requester:評価の依頼主.
・worker:評価者.
・HIT:評価の対象となるタスクの単位.Human Intelligence Taskの略.

クラウドソーシングの利用にあたって考慮すべき点は以下の2つ.
・workerが,requesterの望む知識を持っているかどうかをどのようにして判断するか.
・workerが,評価を適当に行ったのではなく真面目にやってくれたかどうかをどのようにして判断するか.
1点目に対する解決策として,評価者が評価を行う前に取り組まなければならない別の質問をいくつか用意することが出来るようになっている.その質問の結果が一定以上の人のみ,依頼者が望む知識を十分に備えているとみなしてメインの評価を行える.
2点目に対する解決策として,ある評価者の評価が適当であると依頼者が判断した場合には,その評価者に対して報酬を払わなくて良いようになっている.

長所は以下の4点.
・Fast Turnaround
 大学の学生に評価を依頼するよりも早く結果を得られる.
・Low Cost
 平均的に,ひとつのタスクに払うのは1セントのみ.
・High Quality
 個々の評価者の質は差があるが,コストが安いので1つのタスクを複数の評価者に評価してもらうことができ,十分な質が確保できる.
・Flexibility
 低コストなために,大量の評価を行い,様々な方法でその結果を組み合わせることができる.

短所は以下の2点.
・Artificiality of Task
 あるクエリの検索結果を評価する場合,評価者は本当にそのクエリで検索をしたいのではない.そのため,「そのクエリで検索したと想定して」という状況での評価になってしまう.
・Unknown Population
 誰が評価を行うかわからないという問題.例えばイタリア語の検索エンジンを評価したいときに,依頼者はイタリア語とイタリアの文化をよく知っている人に評価してほしいと考える.イタリア語に堪能であるだけでは不十分である.そのため,タスクを開始する前の質問を十分に練って,依頼者が望む人のみが評価を行うようにすべきである.


-その他, 論文紹介
-

関連記事

Analyzing and evaluating query reformulation strategies in web search logs

Huang, Jeff Efthimiadis, Efthimis N. In Proc. of CIKM2009 http://dl.acm.org/citation.cfm?id=1645966 …

【論文紹介】Will This Paper Increase Your h-index?: Scientific Impact Prediction

Dong, Yuxiao and Johnson, Reid A. and Chawla, Nitesh V. WSDM 2015 ACM, PDF 概要 2007年に発表された論文dは、論文dの中で …

A New Semantic Similarity Measuring Method Based on Web Search Engines

Lu, Gang Huang, Peng He, Lijun Cu, Changyong Li, Xiaobo In W. Trans. on Comp. vol. 9 http://dl.acm.o …

Tagging Your Tweets: A Probabilistic Modeling of Hashtag Annotation in Twitter

Ma, Zongyang Sun, Aixin Yuan, Quan Cong, Gao In Proc. of CIKM2014 http://dl.acm.org/citation.cfm?id= …

How fresh do you want your search results?

Shiwen Cheng Anastasios Arvanitis Vagelis Hristidis In Proc. of CIKM 2013 概要 検索結果中の情報の鮮度に着目した研究はこれまで …