投稿日: WSDM 論文紹介

Struggling or Exploring? Disambiguating Search Sessions

Ahmed Hassan
Ryen W. White
Susan Dumais
Yi-Min Wang
In Proc. of WSDM2014

概要

長い検索セッションには,ユーザが情報の探索をしているもの(exploring)と,欲しい情報が見つからず試行錯誤しているもの(struggling)がある.この論文では,exploringなセッションとstrugglingなセッションにおけるユーザの振る舞いの違いを分析する.さらにその分析に基づいて,セッションが与えられたときにそのセッションがexploringかstrugglingかを分類する.

データセット

この論文で定義しているexploringなセッションとstrugglingなセッションは共に,十分に長く,かつトピックが一貫しているセッションなので,まずはその条件にあうセッションをBingのクエリログから取得.その中から3,000セッションをサンプリングし,クラウドソーシングを用いてexploring,exploring with struggle,struggleのいずれかをラベル付けしてもらった.その結果,全体の40%がexploring,23%がexploring with struggle,36%がstrugglingであった.

ユーザの振る舞いの分析

上記のデータセットを使って,exploringなセッションとstrugglingなセッションにおけるユーザの振る舞いの違いを分析.

  • クエリ
  • セッション中のクエリの発行回数には差はなし.
    セッション中の各クエリについてそのセッションの最初のクエリとの類似度を測ると,strugglingセッションではセッションの後半でも最初のクエリとの類似度が高く,ユーザが目標の情報を探しあぐねていることを表している.
    Exploringセッションではセッションの最初のクエリに対してキーワードを追加したり削除したりして検索を行うことが多い.

  • クリック
  • セッションのどの時点でも,exploringの方が1つのクエリに対する検索結果のクリック数は多いが,後半になるほどその差は顕著になる.
    ページの滞在時間(dwell time)も,セッションのどの時点でもexploringの方が長い.

  • トピック
  • クエリのトピックを調べると,exploringに多いのはshopping,travel,entertainment,peopleで,strugglingに多いのはlocal,technical,
    downloads.

Exploringとstrugglingの予測

セッションのデータが与えられたときに,機械学習を用いてそのセッションがexploringかstrugglingかを予測.機械学習の素性は上記の分析で用いたデータが中心.
実験の結果,分類精度は81.67%.Query transition featureが最も有効な素性であった.

Exploringとstrugglingの活用例

セッションがexploringかstrugglingかのデータを,そのセッションが成功に終わったか失敗に終わったかをより高い精度で推定するために利用.セッションの成功・失敗を予測する従来の素性に加えて,exploringかstrugglingかの素性を加えたら精度が上がることを示した.


-WSDM, 論文紹介
-

関連記事

Exploring and exploiting user search behavior on mobile and tablet devices to improve search relevance

Song, Yang Ma, Hao Wang, Hongning Wang, Kuansan In Proc. of WWW 2013 http://dl.acm.org/citation.cfm? …

An Eye Tracking Study of the Effect of Target Rank on Web Search

Guan, Zhiwei Cutrell, Edward In Proc. of CHI2007 http://dl.acm.org/citation.cfm?id=1240691 概要 デスクトップ …

Bad News Travel Fast: A Content-based Analysis of Interestingness on Twitter

Nasir Naveed Thomas Gottron Jérôme Kunegis Arifah Che Alhadi In Proc. of WebSci 2011 http://dl.acm.o …

Ready to buy or just browsing?: detecting web searcher goals from interaction data

Guo, Qi Agichtein, Eugene In Proc. of SIGIR 2010 http://dl.acm.org/citation.cfm?id=1835473 概要 ユーザの検索 …

Modeling documents as mixtures of persons for expert finding

Serdyukov, Pavel Hiemstra, Djoerd In Proc. of ECIR2008 http://dl.acm.org/citation.cfm?id=1793313 概要 …