投稿日: SIGIR 論文紹介

Displaying relevance scores for search results

Shani, Guy
Tractinsky, Noam
In Proc. of SIGIR 2013
http://dl.acm.org/citation.cfm?id=2484112

概要

Web検索において、各検索結果の下にクエリとの適合度を数値、あるいは棒グラフで表示したときのユーザの検索行動への影響を調べた論文。

実験

被験者は69名。各被験者は15のタスクからランダムに選択された6個の検索タスクに取り組む。タスク例は「Name a popular bridge salon in Hollywood」で、被験者は自由にクエリを発行し、回答を見つけたら終了。検索結果はBing APIを用いて取得される。

実験用に3種類の検索結果表示インタフェースを用意。1つ目は通常のインタフェース。2つ目は各検索結果の下に、クエリとの適合度が数値で表示される。3つ目は各検索結果の下に、クエリとの適合度が棒グラフで表示される。クエリとの適合度は、順位が下るほど適合度も下がるようにランダムに決める。

結果

クリックされた順位の分布を見ると、全クリックに対する、1位または2位をクリックした割合は、通常のインタフェースでは98%であったのに対して、適合度を提示したインタフェースでは70%だけであった。特に棒グラフのインタフェースでは44%であった。つまり、適合度を提示することで、ユーザはより下位の検索結果まで閲覧することが明らかになった。

実験後のアンケートの結果、適合度を表示する際は数値で表示するよりも棒グラフで表示するほうが好まれていた。


-SIGIR, 論文紹介

関連記事

Crowdsourcing for relevance evaluation

Alonso, Omar Rose, Daniel E. Stewart, Benjamin In SIGIR Forum, Vol.42, Num.2 http://dl.acm.org/citat …

Measuring Pair-Wise Social Influence in Microblog

Zibin Yin Ya Zhang In Proc. of SocialCom 2012 概要 Weibo上でのリツイートのモデル化を提案。提案モデルを使うことで、ユーザAのツイートがフォロワーのユ …

Analyzing and evaluating query reformulation strategies in web search logs

Huang, Jeff Efthimiadis, Efthimis N. In Proc. of CIKM2009 http://dl.acm.org/citation.cfm?id=1645966 …

Identifying breakpoints in public opinion

Akcora, Cuneyt Gurcan Bayir, Murat Ali Demirbas, Murat Ferhatosmanoglu, Hakan In Proc. of SOMA 2010 …

Lessons from the Journey: A Query Log Analysis of Within-Session Learning

Carsten Eickhoff Jaime Teevan Ryen White Susan T. Dumais In Proc. of WSDM 2014 概要 ユーザの検索トピックに対する専門度は …