投稿日: SIGIR 論文紹介

Re-Examining Search Result Snippet Examination Time for Relevance Estimation

Lagun, Dmitry
Agichtein, Eugene
In Proc. of SIGIR2012
http://dl.acm.org/citation.cfm?id=2348509

概要

従来の研究では、SERP中のあるページを見る時間が長いほどそのページはクエリとの適合度が高いと仮定していたが、それが本当に成り立つかをeye trackingを用いて実験した。

実験設定

被験者はTREC2009の25個の検索タスクを実施。被験者とは別の人によって、検索結果の各ページのクエリとの適合度は3段階(bad、partially relevant、perfect)で与えられている。

結果

  • これまでの研究の仮定に反して、badなページに視線が向けられる時間とperfectなページに視線が向けられる時間に有意差はなく、badとpartially relevantの間にも有意差は無かった。つまり、長時間スニペットを見ているからといってそのページがクエリと適合しているとは限らない。
  • 検索結果の1位を見ている時間が短いということは、検索結果の下位まで見ており、検索結果の精度が高くないことが予想される。実際、検索結果の1位を見ている時間と検索結果のMAPには中程度の相関があった。

以上の結果から、各ページを見る時間を調べても、各ページとクエリとの適合度は推定できないが、検索結果の1件目を見る時間を調べることで、検索結果の精度はある程度推定できることがわかった。


-SIGIR, 論文紹介

関連記事

Predicting web searcher satisfaction with existing community-based answers

Liu, Qiaoling Agichtein, Eugene Dror, Gideon Gabrilovich, Evgeniy Maarek, Yoelle Pelleg, Dan Szpekto …

Adaptive Query Suggestion for Difficult Queries

Liu, Yang Song, Ruihua Chen, Yu Nie, Jian-Yun Wen, Ji-Rong In Proc. of SIGIR 2012 http://dl.acm.org/ …

Supporting Complex Search Tasks

Ahmed Hassan Awadallah Ryen W. White Patrick Pantel Susan T. Dumais Yi-Min Wang In Proc. of CIKM2014 …

How smart does your profile image look? Estimating intelligence from social network profile images

Wei, Xingjie and Stillwell, David In Proc. of WSDM 2017 概要 Facebookの1,122ユーザを対象にして、(1)ユーザのIQ、(2)ユーザの …

Exploring and exploiting user search behavior on mobile and tablet devices to improve search relevance

Song, Yang Ma, Hao Wang, Hongning Wang, Kuansan In Proc. of WWW 2013 http://dl.acm.org/citation.cfm? …