投稿日: SIGIR 論文紹介

Towards Better Measurement of Attention and Satisfaction in Mobile Search

Lagun, Dmitry
Hsieh, Chih-Hung
Webster, Dale
Navalpakkam, Vidhya
In Proc. of SIGIR2014
http://dl.acm.org/citation.cfm?id=2609631

概要

モバイルサーチに関して、SERPで画面に表示されている領域(viewport)とeye trackingを用いてユーザの検索行動を分析。

実験設定

2種類の検索について実験。1つ目はSERP中にknowledge graph(KG)が表示されるタスクで、2つ目はSERP中にinstant answer(IA)が表示されるタスク(「京都 天気」など)。その他の設定は以下の通り。

  • 被験者数は24人。
  • KG、IAそれぞれ20個の検索タスクを用意し、各被験者は40個すべてのタスクをこなす。すべてinformationalタスク。
  • KGでは、KGがクエリと適合していてかつ表示される、適合していなくて表示される、適合していて表示されない、適合していなくて表示されない、の4種類が存在(各種類20/4=5タスク)。
  • IAでは、IAがクエリと適合していてかつ表示される、適合していなくて表示される、の2種類が存在(各種類20/2=10タスク)。
  • 各タスクでは入力するクエリは決まっていて、ユーザはクエリの修正は行えない。
  • 答えを見つけたら、満足度を7段階で回答。
  • 実験中は被験者の視線の動きと、画面に表示されているSERPの領域を記録。

KGとIAに関する結果

  1. KGが表示された方が満足度は高い。
  2. KGが表示された場合、KGがクエリと適合している方が適合していないときよりも満足度は高い。
  3. KGが表示された場合、KGがクエリと適合している方が適合していないときよりもタスクの達成時間が短い。
  4. KGが表示された場合、KGがクエリと適合していない方が適合しているときよりもKGに視線が向けられる時間が長い。
  5. KGが表示された場合、KGがクエリと適合していない方が適合しているときよりもSERP画面をスクロールする回数が多い。

IAについても2、3、5は成立。

viewportと視線に関する結果

  • デスクトップ検索ではSERPの1位に視線が向けられる時間が最も長く、順位が下がるほど時間は短くなるが、モバイルサーチでは2位が最も長く、続いて3位、1位となり、4位以下は順位が下がるほど時間は短くなる。viewportは3位、2位、1位の順に長く、4位以下は順位が下がるほど時間は短くなる。
  • 全ての視線の68%は画面の上半分を見ており、86%は上3分の2を見ている。つまり下3分の1を見ている時間は全体のわずか14%。
  • vieportと視線の関係を調べたところ、両者には高い相関があり、視線検出装置を使わなくてもviewportである程度代用ができることが明らかになった。

-SIGIR, 論文紹介

関連記事

A New Semantic Similarity Measuring Method Based on Web Search Engines

Lu, Gang Huang, Peng He, Lijun Cu, Changyong Li, Xiaobo In W. Trans. on Comp. vol. 9 http://dl.acm.o …

【論文紹介】Regularising Factorised Models for Venue Recommendation using Friends and their Comments

Manotumruksa, Jarana and Macdonald, Craig and Ounis, Iadh CIKM 2016 Link 概要 グラスゴー大学のIadh Ounisのグループの …

Spatio-Temporal Topic Modeling in Mobile Social Media for Location Recommendation

Bo, Hu and Mohsen, Jamali and Martin, Ester In Proc. of ICDM 2013 概要 チェックインサービス等でのユーザと場所と時刻を考慮したモデル化 …

Mining Query Subtopics from Search Log Data

Hu, Yunhua Qian, Yanan Li, Hang Jiang, Daxin Pei, Jian Zheng, Qinghua In Proc. of SIGIR 2012 http:// …

Ready to buy or just browsing?: detecting web searcher goals from interaction data

Guo, Qi Agichtein, Eugene In Proc. of SIGIR 2010 http://dl.acm.org/citation.cfm?id=1835473 概要 ユーザの検索 …