投稿日: SIGIR 論文紹介

Re-Examining Search Result Snippet Examination Time for Relevance Estimation

Lagun, Dmitry
Agichtein, Eugene
In Proc. of SIGIR2012
http://dl.acm.org/citation.cfm?id=2348509

概要

従来の研究では、SERP中のあるページを見る時間が長いほどそのページはクエリとの適合度が高いと仮定していたが、それが本当に成り立つかをeye trackingを用いて実験した。

実験設定

被験者はTREC2009の25個の検索タスクを実施。被験者とは別の人によって、検索結果の各ページのクエリとの適合度は3段階(bad、partially relevant、perfect)で与えられている。

結果

  • これまでの研究の仮定に反して、badなページに視線が向けられる時間とperfectなページに視線が向けられる時間に有意差はなく、badとpartially relevantの間にも有意差は無かった。つまり、長時間スニペットを見ているからといってそのページがクエリと適合しているとは限らない。
  • 検索結果の1位を見ている時間が短いということは、検索結果の下位まで見ており、検索結果の精度が高くないことが予想される。実際、検索結果の1位を見ている時間と検索結果のMAPには中程度の相関があった。

以上の結果から、各ページを見る時間を調べても、各ページとクエリとの適合度は推定できないが、検索結果の1件目を見る時間を調べることで、検索結果の精度はある程度推定できることがわかった。


-SIGIR, 論文紹介

関連記事

【論文紹介】Cats and Captions vs. User Characteristics and the Clock: A Time-Controlled Analysis of Multimodal Content

Hessel, Jack and Lee, Lillian and Mimno David In Proc. of WWW 2017 概要 Redditと呼ばれるソーシャルニュースサイトに投稿された画 …

Good Abandonment in Mobile and PC Internet Search

Li, Jane Huffman, Scott Tokuda, Akihito In Proc of SIGIR2009 http://dl.acm.org/citation.cfm?id=15719 …

A Study of Mobile Search Queries in Japan

Ricardo Baeza-yates Georges Dupret Javier Velasco In Proc. of WWW2007 概要 デスクトップ検索とモバイル検索の日本語のクエリログに着 …

Deciphering Mobile Search Patterns: A Study of Yahoo! Mobile Search Queries

Yi, Jeonghee Maghoul, Farzin Pedersen, Jan In Proc. of WWW2008 http://dl.acm.org/citation.cfm?id=136 …

Improving the exploration of tag spaces using automated tag clustering

Radelaar, Joni Boor, Aart-Jan Vandic, Damir Van Dam, Jan-Willem Hogenboom, Frederik Frasincar, Flavi …