投稿日: CIKM 論文紹介

Improving passage ranking with user behavior information

Weize Kong
Elif Aktolga
James Allan
In Proc. of CIKM 2013

概要

検索中のユーザの振る舞いを基に検索結果をリランキングする研究はこれまでにも行われてきた.一方,あるWebページを対象としたときに,その中のある段落やセッションがクエリと適合しているという状況もある.
そこでこの論文では,ページ内でのユーザの振る舞いを基にページ内のセッションの重要度推定を行うことを目的とする.

使用データ

UpToDateという医療関係の文書検索サービスの検索ログを使用.検索される文書は一定のフォーマットにそって記述されており,通常のWebページに比べて構成が明確なものになっている.総文書量は16,000ページ.
セッション単位で以下のデータを収集する機能を持っている.

  • dwell
  • セッションが画面に表示されていた時間.

  • highlight and copy
  • セッション内の文が反転されたかどうか,セッション内の文がコピーされたどうかのバイナリ値.

  • clicks
  • セッションのクリックに関するデータはさらに3種類に分けられる.1つ目はrolloverで,検索結果にマウスをホバーしたときに表示される文書のスクリーンショット内でセクションをクリックしてページ内のそのセクションの部分を表示した場合に記録される.2つ目はoutlineで,ページの左側にページの章立てが記述されており,その中のセッションを選択してジャンプしたときに記録される.3つ目はseelinkで,あるセッション内にある別のセッションへのリンクがクリックされたときに記録される.

データ分析

ユーザの振る舞いと,クエリに対するセクションの適合度という観点から分析を行っている.セクションの適合度は人手で5段階で行った.

  • dwell
  • 適合度が1から4までは,適合度が高くなるほどdwellは長くなるが,適合度が5になると4のときよりわずかに下がる.また,クエリに適合したセッションの閲覧時間は49秒が最も妥当という結果が得られた.

  • highlight and copy
  • highlight,copyともに,適合度との関係はdwellと全く同じ傾向であった.

  • clicks
  • rolloverはdwellと同じ傾向であった.outlineは適合度が1から5と高くなるにつれてクリックの頻度もあがった.seelinkは適合度との相関はなかった.

実験

learning to rankを用いて1つのページ内のセッションのランキング精度を求めた.評価指標にはnDCGとMAPを使用.MAPではクエリとの適合度が3以上のセッションを正解とした.
素性は大きく分けて8つのカテゴリから成る.その内の6つは上記のdwell,highlight,click,outline,rollover,seelinkであり残りはユーザの振る舞いとは無関係な,セクションに関する素性と文書全体に関する素性.
実験の結果は,全ての素性を組み合わせた場合が最も良く,MAPで0.9331,nDCGで0.9509と高い値を示した.


-CIKM, 論文紹介
-,

関連記事

Fighting search engine amnesia: reranking repeated results

Shokouhi, Milad White, Ryen W. Bennett, Paul Radlinski, Filip In Proc. of SIGIR 2013 http://dl.acm.o …

Enhancing collaborative filtering systems with personality information

Hu, Rong and Pu, Pearl In Proc. of RecSys 2011 概要 協調フィルタリングを用いてあるユーザに推薦するアイテムを決める際、通常はそのユーザの過去のアイテムの …

What are you looking for? An eye-tracking study of information usage in Web search

Cutrell, Edward Guan, Zhiwei In Proc. of CHI2007 http://dl.acm.org/citation.cfm?id=1240690 概要 デスクトップ …

Music on YouTube: User engagement with traditional, user-appropriated and derivative videos

Liikkanen, Lassi A. and Salovaara, Antti In Computers in Human Behavior, vol. 50 概要 YouTubeの音楽動画を対象に …

【論文紹介】What Makes a Link Successful on Wikipedia?

Dimitrov, Dimitar and Singer, Philipp and Lemmerich, Florian and Strohmaier, Markus In Proc. of WWW …