投稿日: WSDM 論文紹介

Struggling or Exploring? Disambiguating Search Sessions

Ahmed Hassan
Ryen W. White
Susan Dumais
Yi-Min Wang
In Proc. of WSDM2014

概要

長い検索セッションには,ユーザが情報の探索をしているもの(exploring)と,欲しい情報が見つからず試行錯誤しているもの(struggling)がある.この論文では,exploringなセッションとstrugglingなセッションにおけるユーザの振る舞いの違いを分析する.さらにその分析に基づいて,セッションが与えられたときにそのセッションがexploringかstrugglingかを分類する.

データセット

この論文で定義しているexploringなセッションとstrugglingなセッションは共に,十分に長く,かつトピックが一貫しているセッションなので,まずはその条件にあうセッションをBingのクエリログから取得.その中から3,000セッションをサンプリングし,クラウドソーシングを用いてexploring,exploring with struggle,struggleのいずれかをラベル付けしてもらった.その結果,全体の40%がexploring,23%がexploring with struggle,36%がstrugglingであった.

ユーザの振る舞いの分析

上記のデータセットを使って,exploringなセッションとstrugglingなセッションにおけるユーザの振る舞いの違いを分析.

  • クエリ
  • セッション中のクエリの発行回数には差はなし.
    セッション中の各クエリについてそのセッションの最初のクエリとの類似度を測ると,strugglingセッションではセッションの後半でも最初のクエリとの類似度が高く,ユーザが目標の情報を探しあぐねていることを表している.
    Exploringセッションではセッションの最初のクエリに対してキーワードを追加したり削除したりして検索を行うことが多い.

  • クリック
  • セッションのどの時点でも,exploringの方が1つのクエリに対する検索結果のクリック数は多いが,後半になるほどその差は顕著になる.
    ページの滞在時間(dwell time)も,セッションのどの時点でもexploringの方が長い.

  • トピック
  • クエリのトピックを調べると,exploringに多いのはshopping,travel,entertainment,peopleで,strugglingに多いのはlocal,technical,
    downloads.

Exploringとstrugglingの予測

セッションのデータが与えられたときに,機械学習を用いてそのセッションがexploringかstrugglingかを予測.機械学習の素性は上記の分析で用いたデータが中心.
実験の結果,分類精度は81.67%.Query transition featureが最も有効な素性であった.

Exploringとstrugglingの活用例

セッションがexploringかstrugglingかのデータを,そのセッションが成功に終わったか失敗に終わったかをより高い精度で推定するために利用.セッションの成功・失敗を予測する従来の素性に加えて,exploringかstrugglingかの素性を加えたら精度が上がることを示した.


-WSDM, 論文紹介
-

関連記事

Mining long-term search history to improve search accuracy

Tan, Bin Shen, Xuehua Zhai, ChengXiang In Proc. of KDD2006 http://dl.acm.org/citation.cfm?id=1150493 …

From Skimming to Reading: A Two-stage Examination Model for Web Search

Liu, Yiqun Wang, Chao Zhou, Ke Nie, Jianyun Zhang, Min Ma, Shaoping In Proc. of CIKM 2014 http://dl. …

【論文紹介】Exploiting ranking factorization machines for microblog retrieval

Qiang, Runwei and Liang, Feng and Yang, Jianwu CIKM 2013 ACM, PDF 概要 入力として与えられたクエリに対してランキングされたツイートのリ …

Re-Examining Search Result Snippet Examination Time for Relevance Estimation

Lagun, Dmitry Agichtein, Eugene In Proc. of SIGIR2012 http://dl.acm.org/citation.cfm?id=2348509 概要 従 …

No clicks, no problem: using cursor movements to understand and improve search

Huang, Jeff White, Ryen W. Dumais, Susan In Proc. of CHI2011 概要 検索行動中のユーザのカーソルの動きに関する分析を行った。また、カーソルの …