投稿日: SIGIR 論文紹介

Re-Examining Search Result Snippet Examination Time for Relevance Estimation

Lagun, Dmitry
Agichtein, Eugene
In Proc. of SIGIR2012
http://dl.acm.org/citation.cfm?id=2348509

概要

従来の研究では、SERP中のあるページを見る時間が長いほどそのページはクエリとの適合度が高いと仮定していたが、それが本当に成り立つかをeye trackingを用いて実験した。

実験設定

被験者はTREC2009の25個の検索タスクを実施。被験者とは別の人によって、検索結果の各ページのクエリとの適合度は3段階(bad、partially relevant、perfect)で与えられている。

結果

  • これまでの研究の仮定に反して、badなページに視線が向けられる時間とperfectなページに視線が向けられる時間に有意差はなく、badとpartially relevantの間にも有意差は無かった。つまり、長時間スニペットを見ているからといってそのページがクエリと適合しているとは限らない。
  • 検索結果の1位を見ている時間が短いということは、検索結果の下位まで見ており、検索結果の精度が高くないことが予想される。実際、検索結果の1位を見ている時間と検索結果のMAPには中程度の相関があった。

以上の結果から、各ページを見る時間を調べても、各ページとクエリとの適合度は推定できないが、検索結果の1件目を見る時間を調べることで、検索結果の精度はある程度推定できることがわかった。


-SIGIR, 論文紹介

関連記事

Unexpected Relevance: An Empirical Study of Serendipity in Retweets

Tao Sun Ming Zhang Qiaozhu Mei In Proc. of ICWSM 2013 概要 Serendipityな情報とはどのようなものかを定義した論文.また,その定義に基づい …

Understanding the importance of location, time, and people in mobile local search behavior

Teevan, Jaime Karlson, Amy Amini, Shahriyar Brush, A. J. Bernheim Krumm, John In Proc. of MobileHCI …

Tagging Your Tweets: A Probabilistic Modeling of Hashtag Annotation in Twitter

Ma, Zongyang Sun, Aixin Yuan, Quan Cong, Gao In Proc. of CIKM2014 http://dl.acm.org/citation.cfm?id= …

TwitterRank: Finding Topic-sensitive Influential Twitterers

Weng, Jianshu Lim, Ee-Peng Jiang, Jing He, Qi In Proc. of WSDM 2010 http://dl.acm.org/citation.cfm?i …

【論文紹介】Fun Facts: Automatic Trivia Fact Extraction from Wikipedia

Tsurel, David and Pelleg, Dan and Guy, Ido and Shahaf, Dafna WSDM 2017 ACM, PDF 概要 人物名を対象として、Wikiped …