投稿日: その他 論文紹介

Crowdsourcing for relevance evaluation

Alonso, Omar
Rose, Daniel E.
Stewart, Benjamin
In SIGIR Forum, Vol.42, Num.2
http://dl.acm.org/citation.cfm?id=1480508&dl=ACM&coll=DL&CFID=342308237&CFTOKEN=17743775

概要

情報検索システムを提案する研究において,検索結果の適合度判定は欠かせない要素である.従来は研究室の学生に依頼するといったような小規模な評価が主であったが,現在はクラウドソーシングを用いた評価が一般的になりつつある.この論文では,クラウドソーシングの中でもAmazon Mechanical Turk(MTurk)を対象として,クラウドソーシングの一般的な手順や長所,短所について述べる.

詳細

クラウドソーシングにおいてよく用いられる用語は以下の3つ.
・requester:評価の依頼主.
・worker:評価者.
・HIT:評価の対象となるタスクの単位.Human Intelligence Taskの略.

クラウドソーシングの利用にあたって考慮すべき点は以下の2つ.
・workerが,requesterの望む知識を持っているかどうかをどのようにして判断するか.
・workerが,評価を適当に行ったのではなく真面目にやってくれたかどうかをどのようにして判断するか.
1点目に対する解決策として,評価者が評価を行う前に取り組まなければならない別の質問をいくつか用意することが出来るようになっている.その質問の結果が一定以上の人のみ,依頼者が望む知識を十分に備えているとみなしてメインの評価を行える.
2点目に対する解決策として,ある評価者の評価が適当であると依頼者が判断した場合には,その評価者に対して報酬を払わなくて良いようになっている.

長所は以下の4点.
・Fast Turnaround
 大学の学生に評価を依頼するよりも早く結果を得られる.
・Low Cost
 平均的に,ひとつのタスクに払うのは1セントのみ.
・High Quality
 個々の評価者の質は差があるが,コストが安いので1つのタスクを複数の評価者に評価してもらうことができ,十分な質が確保できる.
・Flexibility
 低コストなために,大量の評価を行い,様々な方法でその結果を組み合わせることができる.

短所は以下の2点.
・Artificiality of Task
 あるクエリの検索結果を評価する場合,評価者は本当にそのクエリで検索をしたいのではない.そのため,「そのクエリで検索したと想定して」という状況での評価になってしまう.
・Unknown Population
 誰が評価を行うかわからないという問題.例えばイタリア語の検索エンジンを評価したいときに,依頼者はイタリア語とイタリアの文化をよく知っている人に評価してほしいと考える.イタリア語に堪能であるだけでは不十分である.そのため,タスクを開始する前の質問を十分に練って,依頼者が望む人のみが評価を行うようにすべきである.


-その他, 論文紹介
-

関連記事

Using information scent and need for cognition to understand online search behavior

Wu, Wan-Ching Kelly, Diane Sud, Avneesh In Proc. of SIGIR2014 http://dl.acm.org/citation.cfm?id=2609 …

Web Object Retrieval

Nie, Zaiqing Ma, Yunxiao Shi, Shuming Wen, Ji-Rong Ma, Wei-Ying In Proc. of WWW 2007 http://dl.acm.o …

An Eye Tracking Study of the Effect of Target Rank on Web Search

Guan, Zhiwei Cutrell, Edward In Proc. of CHI2007 http://dl.acm.org/citation.cfm?id=1240691 概要 デスクトップ …

Regularization of Latent Variable Models to Obtain Sparsity

Ramnath Balasubramanyan, William W. Cohen In Proc. of SDM 2013 概要 LDAのようなトピックモデルでは、単語が所属するトピックの分布や、文 …

Addressing people’s information needs directly in a web search result page

Chilton, Lydia B. Teevan, Jaime In Proc. of WWW 2011 http://dl.acm.org/citation.cfm?id=1963413 概要 最近 …