投稿日:2014/11/10 更新日: CIKM 論文紹介

From Skimming to Reading: A Two-stage Examination Model for Web Search

Liu, Yiqun
Wang, Chao
Zhou, Ke
Nie, Jianyun
Zhang, Min
Ma, Shaoping
In Proc. of CIKM 2014
http://dl.acm.org/citation.cfm?id=2661907

概要

これまでの研究では、ユーザがSERP上のある検索結果上に閾値以上の時間、視線を向けていたらユーザはその結果を読んでいるとみなしていた。この論文では、視線が向けられていても読んでいるとは限らず、ユーザは読む前に「skimming」を行い、そのうえで検索結果を読むかどうかを決める、というモデルを提案している。このモデルにより、ユーザの行動からのrelevanceの推定精度が上昇することを確かめた。

実験

被験者数は37。各被験者は25個のタスクを実行。各タスクでクエリは固定で、検索結果は上位10件のみ表示される。タスクを実行している間の視線情報、マウスの位置、検索結果のクリック情報を記録。さらに、各タスクの終了後に、各検索結果のタイトルやURLやスニペットを読んだかを被験者に回答してもらう。

さらに、25クエリ×10検索結果のそれぞれについて、3人の評価者が適合度判定を行った。

提案モデルに関する結果

提案モデルは「ユーザはまず検索結果のskimmingを行い、skimingの結果適合している可能性があると思えばタイトルやスニペットを読み、その結果適合していればその検索結果をクリックする」というもの。
従来研究に倣って、視線が500ms以上止まっていたらfixation=trueとする。従来研究ではfixation=trueならばreading=trueとしていた。

実験の結果、fixation=trueとなった検索結果の中で、45.80%のものは被験者は「読んでない」と回答したものであった。また、「読んでいない」と回答したのにクリックされた検索結果の数はノイズレベルに少なかった。以上から、fixationは読むか否かを決めるのに必要で、読むことはクリックするか否かを決めるのに必要なことがわかり、提案モデルの正しさが示された。

検索行動のバイアスに関する結果

以下、fixation=trueかつreading=trueの確率をP(R|F)、reading=trueかつclick=trueの確率をP(C|R)とする。

  • Position Bias
  • P(R|F)は1位と2位で極端に高く、3位から6位まで徐々に下がり、7位から10位で更に下がる。P(C|R)も1位と2位が高いが、3位から10位はほぼ同じ。つまり、P(R|F)の方がposition biasを受けやすい。

  • Domain Bias
  • 信頼できるドメインほどクリックされやすいというバイアス。
    P(R|F)ではdomain biasの影響が見られたが、P(C|R)では見られなかった。また、P(R|F)については、1位と2位の結果に関してはdomain biasの影響は見られず、3位以降の結果にのみ影響が見られた。

  • Attractiveness Bias
  • タイトルやスニペット中にクエリと完全一致する語が含まれるほどクリックされやすいというバイアス。
    P(R|F)ではattractiveness biasの影響が見られたが、P(C|R)では見られなかった。また、P(R|F)については、1位と2位の結果に関してはdomain biasの影響は見られず、3位以降の結果にのみ影響が見られた。

ページの適合度推定

既存研究ではP(C|F)だけを使ってページの適合度を推定していたが、P(R|F)およびP(C|R)を併用することで、適合度の推定精度が上昇した。


-CIKM, 論文紹介

関連記事

Finding Dimensions for Queries

Z. Dou, S. Hu, Y. Luo, R. Song, and JR. Wen In Proc. of CIKM2011 http://dl.acm.org/citation.cfm?id=2 …

Bad News Travel Fast: A Content-based Analysis of Interestingness on Twitter

Nasir Naveed Thomas Gottron Jérôme Kunegis Arifah Che Alhadi In Proc. of WebSci 2011 http://dl.acm.o …

Improving the exploration of tag spaces using automated tag clustering

Radelaar, Joni Boor, Aart-Jan Vandic, Damir Van Dam, Jan-Willem Hogenboom, Frederik Frasincar, Flavi …

It Is Not Just What We Say, But How We Say Them: LDA-based Behavior-Topic Model

Qiu, Minghui and Zhu, Feida and Jiang, Jing In Proc. of SDM 2013 概要 トピックモデルを用いて文書の生成過程をモデル化する際、通常は文書 …

On a Topic Model for Sentences

Balikas, Georgios and Amini, Massih-Reza and Clausel, Marianne In Proc. of SIGIR 2016 概要 通常のLDAでは文書ご …