投稿日: SIGIR 論文紹介

Towards Better Measurement of Attention and Satisfaction in Mobile Search

Lagun, Dmitry
Hsieh, Chih-Hung
Webster, Dale
Navalpakkam, Vidhya
In Proc. of SIGIR2014
http://dl.acm.org/citation.cfm?id=2609631

概要

モバイルサーチに関して、SERPで画面に表示されている領域(viewport)とeye trackingを用いてユーザの検索行動を分析。

実験設定

2種類の検索について実験。1つ目はSERP中にknowledge graph(KG)が表示されるタスクで、2つ目はSERP中にinstant answer(IA)が表示されるタスク(「京都 天気」など)。その他の設定は以下の通り。

  • 被験者数は24人。
  • KG、IAそれぞれ20個の検索タスクを用意し、各被験者は40個すべてのタスクをこなす。すべてinformationalタスク。
  • KGでは、KGがクエリと適合していてかつ表示される、適合していなくて表示される、適合していて表示されない、適合していなくて表示されない、の4種類が存在(各種類20/4=5タスク)。
  • IAでは、IAがクエリと適合していてかつ表示される、適合していなくて表示される、の2種類が存在(各種類20/2=10タスク)。
  • 各タスクでは入力するクエリは決まっていて、ユーザはクエリの修正は行えない。
  • 答えを見つけたら、満足度を7段階で回答。
  • 実験中は被験者の視線の動きと、画面に表示されているSERPの領域を記録。

KGとIAに関する結果

  1. KGが表示された方が満足度は高い。
  2. KGが表示された場合、KGがクエリと適合している方が適合していないときよりも満足度は高い。
  3. KGが表示された場合、KGがクエリと適合している方が適合していないときよりもタスクの達成時間が短い。
  4. KGが表示された場合、KGがクエリと適合していない方が適合しているときよりもKGに視線が向けられる時間が長い。
  5. KGが表示された場合、KGがクエリと適合していない方が適合しているときよりもSERP画面をスクロールする回数が多い。

IAについても2、3、5は成立。

viewportと視線に関する結果

  • デスクトップ検索ではSERPの1位に視線が向けられる時間が最も長く、順位が下がるほど時間は短くなるが、モバイルサーチでは2位が最も長く、続いて3位、1位となり、4位以下は順位が下がるほど時間は短くなる。viewportは3位、2位、1位の順に長く、4位以下は順位が下がるほど時間は短くなる。
  • 全ての視線の68%は画面の上半分を見ており、86%は上3分の2を見ている。つまり下3分の1を見ている時間は全体のわずか14%。
  • vieportと視線の関係を調べたところ、両者には高い相関があり、視線検出装置を使わなくてもviewportである程度代用ができることが明らかになった。

-SIGIR, 論文紹介

関連記事

An Eye Tracking Study of the Effect of Target Rank on Web Search

Guan, Zhiwei Cutrell, Edward In Proc. of CHI2007 http://dl.acm.org/citation.cfm?id=1240691 概要 デスクトップ …

A New Semantic Similarity Measuring Method Based on Web Search Engines

Lu, Gang Huang, Peng He, Lijun Cu, Changyong Li, Xiaobo In W. Trans. on Comp. vol. 9 http://dl.acm.o …

Improving relevance judgment of web search results with image excerpts

Li, Zhiwei Shi, Shuming Zhang, Lei In Proc. of WWW2008 http://dl.acm.org/citation.cfm?id=1367497.136 …

Spatial influence vs. community influence: modeling the global spread of social media

Kamath, Krishna Y. Caverlee, James Cheng, Zhiyuan Sui, Daniel Z. In Proc. of CIKM 2012 http://dl.acm …

Understanding the importance of location, time, and people in mobile local search behavior

Teevan, Jaime Karlson, Amy Amini, Shahriyar Brush, A. J. Bernheim Krumm, John In Proc. of MobileHCI …