投稿日: WWW 論文紹介

【論文紹介】Cats and Captions vs. User Characteristics and the Clock: A Time-Controlled Analysis of Multimodal Content

Hessel, Jack and Lee, Lillian and Mimno David
In Proc. of WWW 2017

概要

Redditと呼ばれるソーシャルニュースサイトに投稿された画像の人気度を推定することを目的とした論文。画像特徴量、画像に付与されたテキスト情報、画像を投稿したユーザの情報、画像が投稿されたタイミングから推定している。

予備調査

Redditの6コミュニティを対象に、投稿された画像データを収集。Redditでは投稿された画像に対して、他のユーザがupvoteかdownvoteを投票することができる。upvoteとdownvoteの各数は取得できず、upvoteからdownvoteを引いたスコアのみ取得できるので、この研究ではこのスコアを画像の人気度として使用している。

画像が投稿された時刻とスコアの関係を調べるために、24時間を30分刻みに分割して、各時間帯での平均スコアを算出。その結果、午前9時では高スコアなのに対して午前0時は低スコアと、時間による影響が大きいことがわかった。

画像スコア推定

上記で述べた投稿時刻による影響を排除し、コンテンツから人気度を推定するため、各コミュニティでごく短い時間(たとえば30秒)の間に異なるユーザによって投稿された2つの画像ペアを大量に抽出。ペアワイズのlearning to rankにより、人気度を推定。使用する特徴量は大きく分けて以下の4カテゴリ。

  • 画像特徴量
  • HOG、GIST、画像ヒストグラムの他、深層学習に関するVGG-19とResNet50と呼ばれる特徴量も使用。

  • テキスト特徴量
  • 画像と一緒に投稿されたテキストに関して、単語ユニグラムやトピック、テキストの長さなどを使用。

  • ユーザ特徴量
  • これまでに画像を投稿した回数やコミュニティに参加している期間、平均コメント長などを使用。

  • 投稿タイミング
  • ペアの2つの画像のうち、どちらが早く投稿されたかなどを使用。

評価結果

4カテゴリの各特徴量を単独で使用した場合、最も精度が高かったのは画像特徴量のResNet50。テキスト特徴量に関しては、複雑な特徴量よりも、単純なユニグラムが最も高精度であった。
画像特徴量+テキスト特徴量というコンテンツに関する特徴量を使用した場合と、ユーザ特徴量+投稿タイミングというよりメタな特徴量を使用した場合では、前者の方が精度が高かった。

論文中では高スコア、中スコア、低スコアと推定された画像を示して定性的な評価も行っており、全体的に明るい画像が高スコアになりやすい傾向があった。


-WWW, 論文紹介

関連記事

Placing Videos on a Semantic Hierarchy for Search Result Navigation

Tan, Song Jiang, Yu-Gang Ngo, Chong-Wah ACM TOMM 2014 http://dl.acm.org/citation.cfm?id=2578394 概要 「 …

Happy, Nervous or Surprised? Classification of Human Affective States in Social Media

Munmun De Choudhury Michael Gamon Scott Counts In Proc. of ICWSM 2012 概要 ツイートを11種類の感情に分類することを目的とした論文 …

Personalized Models of Search Satisfaction

Ahmed Hassan Ryen W. White In Proc. of CIKM 2013 概要 ユーザが検索セッションに対して満足したか,不満足だったかを知ることは検索エンジンの質を高めるうえ …

Modeling User Posting Behavior on Social Media

Xu, Zhiheng Zhang, Yang Wu, Yao Yang, Qing In Proc. of SIGIR 2012 http://dl.acm.org/citation.cfm?id= …

Mining Query Subtopics from Search Log Data

Hu, Yunhua Qian, Yanan Li, Hang Jiang, Daxin Pei, Jian Zheng, Qinghua In Proc. of SIGIR 2012 http:// …