投稿日: その他 論文紹介

Crowdsourcing for relevance evaluation

Alonso, Omar
Rose, Daniel E.
Stewart, Benjamin
In SIGIR Forum, Vol.42, Num.2
http://dl.acm.org/citation.cfm?id=1480508&dl=ACM&coll=DL&CFID=342308237&CFTOKEN=17743775

概要

情報検索システムを提案する研究において,検索結果の適合度判定は欠かせない要素である.従来は研究室の学生に依頼するといったような小規模な評価が主であったが,現在はクラウドソーシングを用いた評価が一般的になりつつある.この論文では,クラウドソーシングの中でもAmazon Mechanical Turk(MTurk)を対象として,クラウドソーシングの一般的な手順や長所,短所について述べる.

詳細

クラウドソーシングにおいてよく用いられる用語は以下の3つ.
・requester:評価の依頼主.
・worker:評価者.
・HIT:評価の対象となるタスクの単位.Human Intelligence Taskの略.

クラウドソーシングの利用にあたって考慮すべき点は以下の2つ.
・workerが,requesterの望む知識を持っているかどうかをどのようにして判断するか.
・workerが,評価を適当に行ったのではなく真面目にやってくれたかどうかをどのようにして判断するか.
1点目に対する解決策として,評価者が評価を行う前に取り組まなければならない別の質問をいくつか用意することが出来るようになっている.その質問の結果が一定以上の人のみ,依頼者が望む知識を十分に備えているとみなしてメインの評価を行える.
2点目に対する解決策として,ある評価者の評価が適当であると依頼者が判断した場合には,その評価者に対して報酬を払わなくて良いようになっている.

長所は以下の4点.
・Fast Turnaround
 大学の学生に評価を依頼するよりも早く結果を得られる.
・Low Cost
 平均的に,ひとつのタスクに払うのは1セントのみ.
・High Quality
 個々の評価者の質は差があるが,コストが安いので1つのタスクを複数の評価者に評価してもらうことができ,十分な質が確保できる.
・Flexibility
 低コストなために,大量の評価を行い,様々な方法でその結果を組み合わせることができる.

短所は以下の2点.
・Artificiality of Task
 あるクエリの検索結果を評価する場合,評価者は本当にそのクエリで検索をしたいのではない.そのため,「そのクエリで検索したと想定して」という状況での評価になってしまう.
・Unknown Population
 誰が評価を行うかわからないという問題.例えばイタリア語の検索エンジンを評価したいときに,依頼者はイタリア語とイタリアの文化をよく知っている人に評価してほしいと考える.イタリア語に堪能であるだけでは不十分である.そのため,タスクを開始する前の質問を十分に練って,依頼者が望む人のみが評価を行うようにすべきである.


-その他, 論文紹介
-

関連記事

Personalized Models of Search Satisfaction

Ahmed Hassan Ryen W. White In Proc. of CIKM 2013 概要 ユーザが検索セッションに対して満足したか,不満足だったかを知ることは検索エンジンの質を高めるうえ …

A Study of Mobile Search Queries in Japan

Ricardo Baeza-yates Georges Dupret Javier Velasco In Proc. of WWW2007 概要 デスクトップ検索とモバイル検索の日本語のクエリログに着 …

【論文紹介】The automated acquisition of suggestions from tweets

Dong, Li and Wei, Furu and Duan, Yajuan and Liu, Xiaohua and Zhou, Ming and Xu, Ke AAAI 2013 ACM, PD …

【論文紹介】Detecting and Characterizing Eating-Disorder Communities on Social Media

Wang, Tao and Brede, Markus and Ianni, Antonella and Mentzakis, Emmanouil WSDM 2017 ACM, PDF 概要 摂食障害 …

Semantic Similarity Between Search Engine Queries Using Temporal Correlation

S. Chien, and N. Immorlica In Proc. of WWW 2005 http://dl.acm.org/citation.cfm?id=1060752 目的 クエリログを用 …