投稿日: CIKM 論文紹介

【論文紹介】Generative Feature Language Models for Mining Implicit Features from Customer Reviews

Karmaker Santu, Shubhra Kanti and Sondhi, Parikshit and Zhai, ChengXiang
CIKM 2016
ACM

概要

イリノイ大学のChengXiang Zhaiのグループの研究。商品のレビュー文で、「このスマホはポケットに入れやすい。」のように、「サイズ」という特徴を明示的に述べていなくても、その文がサイズについて言及していることを推定することを目的とした論文。

手法

この論文では、たとえばスマホのレビュー文集合において、その中で明示的に述べられる特徴(「サイズ」や「バッテリー」など)の集合はわかっているものという前提がある。「サイズ」という語を含む文をレビュー文集合から抽出し、コーパス内の各単語の出現頻度をベースにして「サイズ」という特徴に対する言語モデル(単語の生起確率分布)を作成する。特徴がk個あれば、k個の言語モデルを作成することになる。さらに全てのレビュー文内の単語を元に、背景語の言語モデルも作成。

レビュー文s中の単語wは次のようなプロセスで生成される。単語wは確率aで背景語から、確率1-aで特徴語から生成される。背景語の場合、背景語の言語モデルに応じた確率でwを生成。特徴語の場合、文sでは特徴iが確率\pi_{si}で選択され、その後特徴iの言語モデルに応じた確率でwが生成される。要するに混合分布。

背景語と特徴語の混合比を決めるaは0.6で決め打ち。\pi_{si}はEMアルゴリズムで推定。

レビュー文が与えられたとき、どの特徴について暗黙的に言及しているかを2種類の方法で推定。一つ目は単語ベースで、文中の各単語が各特徴から生成された確率を元にしている。特徴iから生成された確率が閾値以上の単語が一つ以上あれば、その文はiに言及していると判定。二つ目は文ベースで、\pi_{si}が閾値以上であれば、文sは特徴iに言及していると判定。

評価

2種類のデータセットを使用。一つ目のデータセットでは、314のレビューに含まれる4,259文の全てに対して、暗黙的にどの特徴に言及しているかを人手でラベリングして正解データを作成。二つ目のデータセットでは、明示的に「サイズ」という語を含む文から「サイズ」を削除する、という方法で人工的に暗黙的なレビュー文を生成して正解データを作成。

Precision、Recall、F1で評価したところ、ナイーブベイズ等のベースライン手法に比べて提案手法は高い精度を記録。単語ベースと文ベースの提案手法を比べると、単語ベースはprecisionが高く、文ベースはrecallが高い結果に。つまり、レビュー文中にひとつでも、ある特徴iから生成されたと高い確率で推定される語があれば、その文は確かにiから生成されていることを示している。

感想

各文が特定の特徴と関係があるか否かを推定する場合、トピックモデルを使う方法が思いつくが、論文中ではこの方法に対して「必ずしも特徴に対応するトピックが抽出されるとは限らないのでトピックモデルは適さない」と述べていた。ただ、明示的な特徴語の集合、つまりトピック数は分かっているので、たとえば「サイズ」という単語が出たら11番目のトピックから生成されたとする、といったように半教師ありのトピックモデルにすれば、特徴に対応したトピックがそれなりに抽出されそうな気がする。

4,259文についてのラベル付けは2人の評価者によって行われており、クラウドソーシングを使わないことが意外であったとともに、一体どれだけの時間を要したのかと、2人の評価者に同情した。


-CIKM, 論文紹介
-, ,

関連記事

How smart does your profile image look? Estimating intelligence from social network profile images

Wei, Xingjie and Stillwell, David In Proc. of WSDM 2017 概要 Facebookの1,122ユーザを対象にして、(1)ユーザのIQ、(2)ユーザの …

User see, user point: gaze and cursor alignment in web search

Huang, Jeff White, Ryen Buscher, Georg In Proc. of CHI 2012 http://dl.acm.org/citation.cfm?id=220859 …

Computers and iPhones and Mobile Phones, oh my! A logs-based comparison of search users on different devices.

Kamvar, Maryam Kellar, Melanie Patel, Rajan Xu, Ya In Proc. of WWW2009 http://dl.acm.org/citation.cf …

Crowdsourcing for relevance evaluation

Alonso, Omar Rose, Daniel E. Stewart, Benjamin In SIGIR Forum, Vol.42, Num.2 http://dl.acm.org/citat …

【論文紹介】The automated acquisition of suggestions from tweets

Dong, Li and Wei, Furu and Duan, Yajuan and Liu, Xiaohua and Zhou, Ming and Xu, Ke AAAI 2013 ACM, PD …