投稿日: SIGIR 論文紹介

Predicting web searcher satisfaction with existing community-based answers

Liu, Qiaoling
Agichtein, Eugene
Dror, Gideon
Gabrilovich, Evgeniy
Maarek, Yoelle
Pelleg, Dan
Szpektor, Idan
In Proc. of SIGIR 2011
http://dl.acm.org/citation.cfm?id=2009974

概要

Web検索の際に入力されたクエリに対して,CQAの回答を利用することを目的とした論文.クエリに対するCQAの回答の満足度の推定を行っている.さらに,クエリに適合する質問集合と回答集合が得られたときに,それぞれをクエリと質問の適合度,クエリに対する回答の満足度に応じてリランキングを行う.

手法

クエリが入力された際に,クエリに適合するCQA上の質問とその質問に対するベストアンサーの三つ組(クエリ,質問,回答)が得られたときに,クエリに対して回答がどれだけ満足できるものかを推定する.そのために,以下の3つの観点から満足度を推定する.

  • クエリの明確さ
  • クエリが明確であるほど,適切な回答が得られると仮定している.

  • クエリと質問の適合度
  • 質問はクエリと回答をつなぐ役割を果たすので,クエリに適した質問であるほど,その回答がクエリに適したものである可能性が高い.

  • 回答のクオリティ

以上の3つのカテゴリに対していくつかの素性を用意し,ロジスティック回帰によりクエリに対する回答の満足度を推定する.これに加えてcompositeアプローチという手法も用いており,この手法では,「クエリの明確さ」の素性だけを用いて回帰を行い,その値を「クエリと質問の適合度」の素性に加えて回帰を行い,さらにその値を「回答のクオリティ」の素性に加えて回帰を行う.最後に各回帰の値等を用いて最終的な回答の満足度を推定する.

実験

Yahoo! Answersのデータを使用.Googleのクエリログの中から,2人以上が入力した457個のクエリと,クエリの検索結果の中に提示されるYahoo! Answersの質問の中でクリックされた614の質問を収集.これに加えて,118個のクエリをGoogleに投入し,Yahoo! Answersだけが検索結果に含まれるようにURLを指定したうえで,検索結果の上位20件を収集.

上記のようにして得られる(クエリ,質問,回答)の組に対して,Amazon Mechanical Turkを用いてラベリングする.各組に対するクエリの明確さ,クエリと質問の適合度,クエリに対する回答の満足度を5人~7人に3段階で評価してもらい,平均値を正解値とする.回答のクオリティは,CQAで得られる質問者の回答に対する満足度を正解値とする.

さらに,各クエリに対して得られる質問集合と回答集合をリランキングの評価も行う.ベースラインはGoogleの検索結果ランキング.提案手法(compositeアプローチ)では,質問集合のランキングには「クエリと質問の適合度」の値を使用し,回答集合のランキングには回答の満足度を使用する.MTurkで得られた理想の順位と比較してnDCGを求める.

結果

回答の満足度推定では,compositeアプローチの方が単純なロジスティック回帰よりも高い精度で推定ができていた.

リランキングに関しては,質問集合のリランキングはGoogleの方が高い精度であった.これは,GoogleはCTR等も使用しているためと推測される.回答集合のリランキングについては提案手法の方が良い結果であった.


-SIGIR, 論文紹介
-

関連記事

Displaying relevance scores for search results

Shani, Guy Tractinsky, Noam In Proc. of SIGIR 2013 http://dl.acm.org/citation.cfm?id=2484112 概要 Web検 …

Mining Contentious Documents Using an Unsupervised Topic Model Based Approach

Amine, Trabelsi and Osmar R., Zaiane In Proc. of ICDM 2014 概要 ある話題に関する文書集合が与えられたときに、「賛成」や「反対」などの各観点( …

【論文紹介】How Much Novelty is Relevant?: It Depends on Your Curiosity

Zhao, Pengfei and Lee, Dik Lun In Proc. of SIGIR 2016 概要 心理学の分野では、対象物の刺激が強すぎても弱すぎても人は惹き付けられず、中程度のとき最 …

Predicting clicks: estimating the click-through rate for new ads

Richardson, Matthew Dominowska, Ewa Ragno, Robert In Proc. of WWW2007 概要 検索結果の横に表示される広告のCTRの推定を目的として …

【論文紹介】Online Actions with Offline Impact: How Online Social Networks Influence Online and Offline User Behavior

Althoff, Tim and Jindal, Pranav and Leskovec, Jure In Proc. of WSDM 2017 概要 スマホのArgusという活動記録アプリのログから …