投稿日:2014/11/10 更新日: CIKM 論文紹介

From Skimming to Reading: A Two-stage Examination Model for Web Search

Liu, Yiqun
Wang, Chao
Zhou, Ke
Nie, Jianyun
Zhang, Min
Ma, Shaoping
In Proc. of CIKM 2014
http://dl.acm.org/citation.cfm?id=2661907

概要

これまでの研究では、ユーザがSERP上のある検索結果上に閾値以上の時間、視線を向けていたらユーザはその結果を読んでいるとみなしていた。この論文では、視線が向けられていても読んでいるとは限らず、ユーザは読む前に「skimming」を行い、そのうえで検索結果を読むかどうかを決める、というモデルを提案している。このモデルにより、ユーザの行動からのrelevanceの推定精度が上昇することを確かめた。

実験

被験者数は37。各被験者は25個のタスクを実行。各タスクでクエリは固定で、検索結果は上位10件のみ表示される。タスクを実行している間の視線情報、マウスの位置、検索結果のクリック情報を記録。さらに、各タスクの終了後に、各検索結果のタイトルやURLやスニペットを読んだかを被験者に回答してもらう。

さらに、25クエリ×10検索結果のそれぞれについて、3人の評価者が適合度判定を行った。

提案モデルに関する結果

提案モデルは「ユーザはまず検索結果のskimmingを行い、skimingの結果適合している可能性があると思えばタイトルやスニペットを読み、その結果適合していればその検索結果をクリックする」というもの。
従来研究に倣って、視線が500ms以上止まっていたらfixation=trueとする。従来研究ではfixation=trueならばreading=trueとしていた。

実験の結果、fixation=trueとなった検索結果の中で、45.80%のものは被験者は「読んでない」と回答したものであった。また、「読んでいない」と回答したのにクリックされた検索結果の数はノイズレベルに少なかった。以上から、fixationは読むか否かを決めるのに必要で、読むことはクリックするか否かを決めるのに必要なことがわかり、提案モデルの正しさが示された。

検索行動のバイアスに関する結果

以下、fixation=trueかつreading=trueの確率をP(R|F)、reading=trueかつclick=trueの確率をP(C|R)とする。

  • Position Bias
  • P(R|F)は1位と2位で極端に高く、3位から6位まで徐々に下がり、7位から10位で更に下がる。P(C|R)も1位と2位が高いが、3位から10位はほぼ同じ。つまり、P(R|F)の方がposition biasを受けやすい。

  • Domain Bias
  • 信頼できるドメインほどクリックされやすいというバイアス。
    P(R|F)ではdomain biasの影響が見られたが、P(C|R)では見られなかった。また、P(R|F)については、1位と2位の結果に関してはdomain biasの影響は見られず、3位以降の結果にのみ影響が見られた。

  • Attractiveness Bias
  • タイトルやスニペット中にクエリと完全一致する語が含まれるほどクリックされやすいというバイアス。
    P(R|F)ではattractiveness biasの影響が見られたが、P(C|R)では見られなかった。また、P(R|F)については、1位と2位の結果に関してはdomain biasの影響は見られず、3位以降の結果にのみ影響が見られた。

ページの適合度推定

既存研究ではP(C|F)だけを使ってページの適合度を推定していたが、P(R|F)およびP(C|R)を併用することで、適合度の推定精度が上昇した。


-CIKM, 論文紹介

関連記事

Measuring Pair-Wise Social Influence in Microblog

Zibin Yin Ya Zhang In Proc. of SocialCom 2012 概要 Weibo上でのリツイートのモデル化を提案。提案モデルを使うことで、ユーザAのツイートがフォロワーのユ …

Mining Query Subtopics from Search Log Data

Hu, Yunhua Qian, Yanan Li, Hang Jiang, Daxin Pei, Jian Zheng, Qinghua In Proc. of SIGIR 2012 http:// …

Improving relevance judgment of web search results with image excerpts

Li, Zhiwei Shi, Shuming Zhang, Lei In Proc. of WWW2008 http://dl.acm.org/citation.cfm?id=1367497.136 …

Spatio-Temporal Topic Modeling in Mobile Social Media for Location Recommendation

Bo, Hu and Mohsen, Jamali and Martin, Ester In Proc. of ICDM 2013 概要 チェックインサービス等でのユーザと場所と時刻を考慮したモデル化 …

AutoWeb: automatic classification of mobile web pages for revisitation

Liu, Jie Xu, Wenchang Shi, Yuanchun In Proc. of MobileHCI 2012 http://dl.acm.org/citation.cfm?id=237 …