投稿日: SIGIR 論文紹介

Predicting web searcher satisfaction with existing community-based answers

Liu, Qiaoling
Agichtein, Eugene
Dror, Gideon
Gabrilovich, Evgeniy
Maarek, Yoelle
Pelleg, Dan
Szpektor, Idan
In Proc. of SIGIR 2011
http://dl.acm.org/citation.cfm?id=2009974

概要

Web検索の際に入力されたクエリに対して,CQAの回答を利用することを目的とした論文.クエリに対するCQAの回答の満足度の推定を行っている.さらに,クエリに適合する質問集合と回答集合が得られたときに,それぞれをクエリと質問の適合度,クエリに対する回答の満足度に応じてリランキングを行う.

手法

クエリが入力された際に,クエリに適合するCQA上の質問とその質問に対するベストアンサーの三つ組(クエリ,質問,回答)が得られたときに,クエリに対して回答がどれだけ満足できるものかを推定する.そのために,以下の3つの観点から満足度を推定する.

  • クエリの明確さ
  • クエリが明確であるほど,適切な回答が得られると仮定している.

  • クエリと質問の適合度
  • 質問はクエリと回答をつなぐ役割を果たすので,クエリに適した質問であるほど,その回答がクエリに適したものである可能性が高い.

  • 回答のクオリティ

以上の3つのカテゴリに対していくつかの素性を用意し,ロジスティック回帰によりクエリに対する回答の満足度を推定する.これに加えてcompositeアプローチという手法も用いており,この手法では,「クエリの明確さ」の素性だけを用いて回帰を行い,その値を「クエリと質問の適合度」の素性に加えて回帰を行い,さらにその値を「回答のクオリティ」の素性に加えて回帰を行う.最後に各回帰の値等を用いて最終的な回答の満足度を推定する.

実験

Yahoo! Answersのデータを使用.Googleのクエリログの中から,2人以上が入力した457個のクエリと,クエリの検索結果の中に提示されるYahoo! Answersの質問の中でクリックされた614の質問を収集.これに加えて,118個のクエリをGoogleに投入し,Yahoo! Answersだけが検索結果に含まれるようにURLを指定したうえで,検索結果の上位20件を収集.

上記のようにして得られる(クエリ,質問,回答)の組に対して,Amazon Mechanical Turkを用いてラベリングする.各組に対するクエリの明確さ,クエリと質問の適合度,クエリに対する回答の満足度を5人~7人に3段階で評価してもらい,平均値を正解値とする.回答のクオリティは,CQAで得られる質問者の回答に対する満足度を正解値とする.

さらに,各クエリに対して得られる質問集合と回答集合をリランキングの評価も行う.ベースラインはGoogleの検索結果ランキング.提案手法(compositeアプローチ)では,質問集合のランキングには「クエリと質問の適合度」の値を使用し,回答集合のランキングには回答の満足度を使用する.MTurkで得られた理想の順位と比較してnDCGを求める.

結果

回答の満足度推定では,compositeアプローチの方が単純なロジスティック回帰よりも高い精度で推定ができていた.

リランキングに関しては,質問集合のリランキングはGoogleの方が高い精度であった.これは,GoogleはCTR等も使用しているためと推測される.回答集合のリランキングについては提案手法の方が良い結果であった.


-SIGIR, 論文紹介
-

関連記事

Mining long-term search history to improve search accuracy

Tan, Bin Shen, Xuehua Zhai, ChengXiang In Proc. of KDD2006 http://dl.acm.org/citation.cfm?id=1150493 …

Music on YouTube: User engagement with traditional, user-appropriated and derivative videos

Liikkanen, Lassi A. and Salovaara, Antti In Computers in Human Behavior, vol. 50 概要 YouTubeの音楽動画を対象に …

Quantifying Controversy in Social Media

Garimella, Kiran De Francisci Morales, Gianmarco Gionis, Aristides Mathioudakis, Michael In Proc. of …

Improving the exploration of tag spaces using automated tag clustering

Radelaar, Joni Boor, Aart-Jan Vandic, Damir Van Dam, Jan-Willem Hogenboom, Frederik Frasincar, Flavi …

Measuring Message Propagation and Social Influence on Twitter.com

Ye, Shaozhi Wu, S. Felix In Proc SocInfo 2010 http://dl.acm.org/citation.cfm?id=1929342 概要 マイケル・ジャクソ …