投稿日: SIGIR 論文紹介

Re-Examining Search Result Snippet Examination Time for Relevance Estimation

Lagun, Dmitry
Agichtein, Eugene
In Proc. of SIGIR2012
http://dl.acm.org/citation.cfm?id=2348509

概要

従来の研究では、SERP中のあるページを見る時間が長いほどそのページはクエリとの適合度が高いと仮定していたが、それが本当に成り立つかをeye trackingを用いて実験した。

実験設定

被験者はTREC2009の25個の検索タスクを実施。被験者とは別の人によって、検索結果の各ページのクエリとの適合度は3段階(bad、partially relevant、perfect)で与えられている。

結果

  • これまでの研究の仮定に反して、badなページに視線が向けられる時間とperfectなページに視線が向けられる時間に有意差はなく、badとpartially relevantの間にも有意差は無かった。つまり、長時間スニペットを見ているからといってそのページがクエリと適合しているとは限らない。
  • 検索結果の1位を見ている時間が短いということは、検索結果の下位まで見ており、検索結果の精度が高くないことが予想される。実際、検索結果の1位を見ている時間と検索結果のMAPには中程度の相関があった。

以上の結果から、各ページを見る時間を調べても、各ページとクエリとの適合度は推定できないが、検索結果の1件目を見る時間を調べることで、検索結果の精度はある程度推定できることがわかった。


-SIGIR, 論文紹介

関連記事

【論文紹介】Exploiting Geographical Influence for Collaborative Point-of-Interest Recommendation

Ye, Mao and Yin, Peifeng and Lee, Wang-Chien and Lee, Dik-Lun In Proc. of SIGIR 2011 概要 POIに対するユーザの興 …

Improving relevance judgment of web search results with image excerpts

Li, Zhiwei Shi, Shuming Zhang, Lei In Proc. of WWW2008 http://dl.acm.org/citation.cfm?id=1367497.136 …

Modeling documents as mixtures of persons for expert finding

Serdyukov, Pavel Hiemstra, Djoerd In Proc. of ECIR2008 http://dl.acm.org/citation.cfm?id=1793313 概要 …

From Skimming to Reading: A Two-stage Examination Model for Web Search

Liu, Yiqun Wang, Chao Zhou, Ke Nie, Jianyun Zhang, Min Ma, Shaoping In Proc. of CIKM 2014 http://dl. …

A comparison of visual and textual page previews in judging the helpfulness of web pages

Aula, Anne Khan, Rehan M. Guan, Zhiwei Fontes, Paul Hong, Peter In Proc. of WWW2010 http://dl.acm.or …