投稿日: その他 論文紹介

Crowdsourcing for relevance evaluation

Alonso, Omar
Rose, Daniel E.
Stewart, Benjamin
In SIGIR Forum, Vol.42, Num.2
http://dl.acm.org/citation.cfm?id=1480508&dl=ACM&coll=DL&CFID=342308237&CFTOKEN=17743775

概要

情報検索システムを提案する研究において,検索結果の適合度判定は欠かせない要素である.従来は研究室の学生に依頼するといったような小規模な評価が主であったが,現在はクラウドソーシングを用いた評価が一般的になりつつある.この論文では,クラウドソーシングの中でもAmazon Mechanical Turk(MTurk)を対象として,クラウドソーシングの一般的な手順や長所,短所について述べる.

詳細

クラウドソーシングにおいてよく用いられる用語は以下の3つ.
・requester:評価の依頼主.
・worker:評価者.
・HIT:評価の対象となるタスクの単位.Human Intelligence Taskの略.

クラウドソーシングの利用にあたって考慮すべき点は以下の2つ.
・workerが,requesterの望む知識を持っているかどうかをどのようにして判断するか.
・workerが,評価を適当に行ったのではなく真面目にやってくれたかどうかをどのようにして判断するか.
1点目に対する解決策として,評価者が評価を行う前に取り組まなければならない別の質問をいくつか用意することが出来るようになっている.その質問の結果が一定以上の人のみ,依頼者が望む知識を十分に備えているとみなしてメインの評価を行える.
2点目に対する解決策として,ある評価者の評価が適当であると依頼者が判断した場合には,その評価者に対して報酬を払わなくて良いようになっている.

長所は以下の4点.
・Fast Turnaround
 大学の学生に評価を依頼するよりも早く結果を得られる.
・Low Cost
 平均的に,ひとつのタスクに払うのは1セントのみ.
・High Quality
 個々の評価者の質は差があるが,コストが安いので1つのタスクを複数の評価者に評価してもらうことができ,十分な質が確保できる.
・Flexibility
 低コストなために,大量の評価を行い,様々な方法でその結果を組み合わせることができる.

短所は以下の2点.
・Artificiality of Task
 あるクエリの検索結果を評価する場合,評価者は本当にそのクエリで検索をしたいのではない.そのため,「そのクエリで検索したと想定して」という状況での評価になってしまう.
・Unknown Population
 誰が評価を行うかわからないという問題.例えばイタリア語の検索エンジンを評価したいときに,依頼者はイタリア語とイタリアの文化をよく知っている人に評価してほしいと考える.イタリア語に堪能であるだけでは不十分である.そのため,タスクを開始する前の質問を十分に練って,依頼者が望む人のみが評価を行うようにすべきである.


-その他, 論文紹介
-

関連記事

Struggling or Exploring? Disambiguating Search Sessions

Ahmed Hassan Ryen W. White Susan Dumais Yi-Min Wang In Proc. of WSDM2014 概要 長い検索セッションには,ユーザが情報の探索をして …

Displaying relevance scores for search results

Shani, Guy Tractinsky, Noam In Proc. of SIGIR 2013 http://dl.acm.org/citation.cfm?id=2484112 概要 Web検 …

What are you looking for? An eye-tracking study of information usage in Web search

Cutrell, Edward Guan, Zhiwei In Proc. of CHI2007 http://dl.acm.org/citation.cfm?id=1240690 概要 デスクトップ …

Predicting the popularity of web 2.0 items based on user comments

He, Xiangnan and Gao, Ming and Kan, Min-Yen and Liu, Yiqun and Sugiyama, Kazunari In Proc. of SIGIR …

Who uses web search for what: and how

Weber, Ingmar Jaimes, Alejandro In Proc. of WSDM 2011 http://dl.acm.org/citation.cfm?id=1935839 概要 Y …