投稿日: WWW 論文紹介

【論文紹介】Cats and Captions vs. User Characteristics and the Clock: A Time-Controlled Analysis of Multimodal Content

Hessel, Jack and Lee, Lillian and Mimno David
In Proc. of WWW 2017

概要

Redditと呼ばれるソーシャルニュースサイトに投稿された画像の人気度を推定することを目的とした論文。画像特徴量、画像に付与されたテキスト情報、画像を投稿したユーザの情報、画像が投稿されたタイミングから推定している。

予備調査

Redditの6コミュニティを対象に、投稿された画像データを収集。Redditでは投稿された画像に対して、他のユーザがupvoteかdownvoteを投票することができる。upvoteとdownvoteの各数は取得できず、upvoteからdownvoteを引いたスコアのみ取得できるので、この研究ではこのスコアを画像の人気度として使用している。

画像が投稿された時刻とスコアの関係を調べるために、24時間を30分刻みに分割して、各時間帯での平均スコアを算出。その結果、午前9時では高スコアなのに対して午前0時は低スコアと、時間による影響が大きいことがわかった。

画像スコア推定

上記で述べた投稿時刻による影響を排除し、コンテンツから人気度を推定するため、各コミュニティでごく短い時間(たとえば30秒)の間に異なるユーザによって投稿された2つの画像ペアを大量に抽出。ペアワイズのlearning to rankにより、人気度を推定。使用する特徴量は大きく分けて以下の4カテゴリ。

  • 画像特徴量
  • HOG、GIST、画像ヒストグラムの他、深層学習に関するVGG-19とResNet50と呼ばれる特徴量も使用。

  • テキスト特徴量
  • 画像と一緒に投稿されたテキストに関して、単語ユニグラムやトピック、テキストの長さなどを使用。

  • ユーザ特徴量
  • これまでに画像を投稿した回数やコミュニティに参加している期間、平均コメント長などを使用。

  • 投稿タイミング
  • ペアの2つの画像のうち、どちらが早く投稿されたかなどを使用。

評価結果

4カテゴリの各特徴量を単独で使用した場合、最も精度が高かったのは画像特徴量のResNet50。テキスト特徴量に関しては、複雑な特徴量よりも、単純なユニグラムが最も高精度であった。
画像特徴量+テキスト特徴量というコンテンツに関する特徴量を使用した場合と、ユーザ特徴量+投稿タイミングというよりメタな特徴量を使用した場合では、前者の方が精度が高かった。

論文中では高スコア、中スコア、低スコアと推定された画像を示して定性的な評価も行っており、全体的に明るい画像が高スコアになりやすい傾向があった。


-WWW, 論文紹介

関連記事

The Last Click: Why Users Give up Information Network Navigation

Aju Thalappillil Scaria Rose Marie Philip Robert West Jure Leskovec In Proc. of WSDM 2014 概要 リンクをたどっ …

What are you looking for? An eye-tracking study of information usage in Web search

Cutrell, Edward Guan, Zhiwei In Proc. of CHI2007 http://dl.acm.org/citation.cfm?id=1240690 概要 デスクトップ …

Deciphering Mobile Search Patterns: A Study of Yahoo! Mobile Search Queries

Yi, Jeonghee Maghoul, Farzin Pedersen, Jan In Proc. of WWW2008 http://dl.acm.org/citation.cfm?id=136 …

Improving relevance judgment of web search results with image excerpts

Li, Zhiwei Shi, Shuming Zhang, Lei In Proc. of WWW2008 http://dl.acm.org/citation.cfm?id=1367497.136 …

Quantifying Controversy in Social Media

Garimella, Kiran De Francisci Morales, Gianmarco Gionis, Aristides Mathioudakis, Michael In Proc. of …