投稿日:2014/11/10 更新日: CIKM 論文紹介

From Skimming to Reading: A Two-stage Examination Model for Web Search

Liu, Yiqun
Wang, Chao
Zhou, Ke
Nie, Jianyun
Zhang, Min
Ma, Shaoping
In Proc. of CIKM 2014
http://dl.acm.org/citation.cfm?id=2661907

概要

これまでの研究では、ユーザがSERP上のある検索結果上に閾値以上の時間、視線を向けていたらユーザはその結果を読んでいるとみなしていた。この論文では、視線が向けられていても読んでいるとは限らず、ユーザは読む前に「skimming」を行い、そのうえで検索結果を読むかどうかを決める、というモデルを提案している。このモデルにより、ユーザの行動からのrelevanceの推定精度が上昇することを確かめた。

実験

被験者数は37。各被験者は25個のタスクを実行。各タスクでクエリは固定で、検索結果は上位10件のみ表示される。タスクを実行している間の視線情報、マウスの位置、検索結果のクリック情報を記録。さらに、各タスクの終了後に、各検索結果のタイトルやURLやスニペットを読んだかを被験者に回答してもらう。

さらに、25クエリ×10検索結果のそれぞれについて、3人の評価者が適合度判定を行った。

提案モデルに関する結果

提案モデルは「ユーザはまず検索結果のskimmingを行い、skimingの結果適合している可能性があると思えばタイトルやスニペットを読み、その結果適合していればその検索結果をクリックする」というもの。
従来研究に倣って、視線が500ms以上止まっていたらfixation=trueとする。従来研究ではfixation=trueならばreading=trueとしていた。

実験の結果、fixation=trueとなった検索結果の中で、45.80%のものは被験者は「読んでない」と回答したものであった。また、「読んでいない」と回答したのにクリックされた検索結果の数はノイズレベルに少なかった。以上から、fixationは読むか否かを決めるのに必要で、読むことはクリックするか否かを決めるのに必要なことがわかり、提案モデルの正しさが示された。

検索行動のバイアスに関する結果

以下、fixation=trueかつreading=trueの確率をP(R|F)、reading=trueかつclick=trueの確率をP(C|R)とする。

  • Position Bias
  • P(R|F)は1位と2位で極端に高く、3位から6位まで徐々に下がり、7位から10位で更に下がる。P(C|R)も1位と2位が高いが、3位から10位はほぼ同じ。つまり、P(R|F)の方がposition biasを受けやすい。

  • Domain Bias
  • 信頼できるドメインほどクリックされやすいというバイアス。
    P(R|F)ではdomain biasの影響が見られたが、P(C|R)では見られなかった。また、P(R|F)については、1位と2位の結果に関してはdomain biasの影響は見られず、3位以降の結果にのみ影響が見られた。

  • Attractiveness Bias
  • タイトルやスニペット中にクエリと完全一致する語が含まれるほどクリックされやすいというバイアス。
    P(R|F)ではattractiveness biasの影響が見られたが、P(C|R)では見られなかった。また、P(R|F)については、1位と2位の結果に関してはdomain biasの影響は見られず、3位以降の結果にのみ影響が見られた。

ページの適合度推定

既存研究ではP(C|F)だけを使ってページの適合度を推定していたが、P(R|F)およびP(C|R)を併用することで、適合度の推定精度が上昇した。


-CIKM, 論文紹介

関連記事

Semantic Annotation of Mobility Data using Social Media

Wu, Fei and Li, Zhenhui and Lee, Wang-Chien and Wang, Hongjian and Huang, Zhuojie In Proc. of WWW 20 …

Tagging Your Tweets: A Probabilistic Modeling of Hashtag Annotation in Twitter

Ma, Zongyang Sun, Aixin Yuan, Quan Cong, Gao In Proc. of CIKM2014 http://dl.acm.org/citation.cfm?id= …

A music recommendation system based on annotations about listeners’ preferences and situations

Kaji, K. Hirata, K. Nagao, K. In Proc. of AXMEDIS 2005 http://ieeexplore.ieee.org/xpl/login.jsp?tp=& …

Emotional Divergence Influences Information Spreading in Twitter

Rene Pfitzner Antonios Garas Frank Schweitzer In Proc. of ICWSM 2012 概要 ツイッターでリツイートされやすいツイートの性質を、ツイー …

【論文紹介】How Much Novelty is Relevant?: It Depends on Your Curiosity

Zhao, Pengfei and Lee, Dik Lun In Proc. of SIGIR 2016 概要 心理学の分野では、対象物の刺激が強すぎても弱すぎても人は惹き付けられず、中程度のとき最 …