投稿日: WWW 論文紹介

【論文紹介】Cats and Captions vs. User Characteristics and the Clock: A Time-Controlled Analysis of Multimodal Content

Hessel, Jack and Lee, Lillian and Mimno David
In Proc. of WWW 2017

概要

Redditと呼ばれるソーシャルニュースサイトに投稿された画像の人気度を推定することを目的とした論文。画像特徴量、画像に付与されたテキスト情報、画像を投稿したユーザの情報、画像が投稿されたタイミングから推定している。

予備調査

Redditの6コミュニティを対象に、投稿された画像データを収集。Redditでは投稿された画像に対して、他のユーザがupvoteかdownvoteを投票することができる。upvoteとdownvoteの各数は取得できず、upvoteからdownvoteを引いたスコアのみ取得できるので、この研究ではこのスコアを画像の人気度として使用している。

画像が投稿された時刻とスコアの関係を調べるために、24時間を30分刻みに分割して、各時間帯での平均スコアを算出。その結果、午前9時では高スコアなのに対して午前0時は低スコアと、時間による影響が大きいことがわかった。

画像スコア推定

上記で述べた投稿時刻による影響を排除し、コンテンツから人気度を推定するため、各コミュニティでごく短い時間(たとえば30秒)の間に異なるユーザによって投稿された2つの画像ペアを大量に抽出。ペアワイズのlearning to rankにより、人気度を推定。使用する特徴量は大きく分けて以下の4カテゴリ。

  • 画像特徴量
  • HOG、GIST、画像ヒストグラムの他、深層学習に関するVGG-19とResNet50と呼ばれる特徴量も使用。

  • テキスト特徴量
  • 画像と一緒に投稿されたテキストに関して、単語ユニグラムやトピック、テキストの長さなどを使用。

  • ユーザ特徴量
  • これまでに画像を投稿した回数やコミュニティに参加している期間、平均コメント長などを使用。

  • 投稿タイミング
  • ペアの2つの画像のうち、どちらが早く投稿されたかなどを使用。

評価結果

4カテゴリの各特徴量を単独で使用した場合、最も精度が高かったのは画像特徴量のResNet50。テキスト特徴量に関しては、複雑な特徴量よりも、単純なユニグラムが最も高精度であった。
画像特徴量+テキスト特徴量というコンテンツに関する特徴量を使用した場合と、ユーザ特徴量+投稿タイミングというよりメタな特徴量を使用した場合では、前者の方が精度が高かった。

論文中では高スコア、中スコア、低スコアと推定された画像を示して定性的な評価も行っており、全体的に明るい画像が高スコアになりやすい傾向があった。


-WWW, 論文紹介

関連記事

Spatio-temporal Dynamics of Online Memes: A Study of Geo-tagged Tweets

Kamath, Krishna Y. Caverlee, James Lee, Kyumin Cheng, Zhiyuan In Proc. of WWW 2013 http://dl.acm.org …

【論文紹介】Personalised Rating Prediction for New Users Using Latent Factor Models

Seroussi, Yanir and Bohnert, Fabian and Zukerman, Ingrid In Proc. of HT 2011 概要 映画や書籍に対するユーザのレーティングを …

Semantic Role Labeling of Emotions in Tweets

Saif M. Mohammad Xiaodan Zhu Joel Martin In Proc. of WASSA 2014 概要 これまでにも、ツイートに含まれる感情を推定する研究は行われてきたが …

Toward self-correcting search engines: using underperforming queries to improve search

Hassan, Ahmed White, Ryen W. Wang, Yi-Min In Proc. of SIGIR 2013 http://dl.acm.org/citation.cfm?id=2 …

Cooooooooooooooollllllllllllll!!!!!!!!!!!!!! using word lengthening to detect sentiment in microblogs

Brody, Samuel Diakopoulos, Nicholas In Proc. of EMNLP2011 http://dl.acm.org/citation.cfm?id=2145498 …