投稿日:2016/07/30 更新日: CIKM 論文紹介

Where you Instagram?: Associating Your Instagram Photos with Points of Interest

Li, Xutao and Pham, Tuan-Anh Nguyen and Cong, Gao and Yuan, Quan and Li, Xiao-Li and Krishnaswamy, Shonali
In Proc. of CIKM 2015

概要

Instagramで撮影された写真がどのPOIで撮影されたものかを推定することを目的とした論文。写真に付与されたテキスト情報、写真の画像特徴量、ユーザのPOIに対する好みを考慮して推定する。ユーザ自ら写真にPOIの情報を付与することもできるが、Instagram上でPOIが付与されている写真は30%未満なので、推定することは各POIに興味のあるユーザに写真を表示したりするアプリケーションのためにも有用である。

先行研究との違い

Flickrの画像が撮影されたLandmarkを推定する研究はある。先行研究の場合、Landmarkには大量の教師画像がFlickrに存在するので学習が楽だったが、Instagramの場合、10枚以上の教師画像が存在するPOIは全体の10%程度で、教師画像の数が少ないので工夫が必要になる。

手法

3カテゴリの特徴量を使用。

  1. Textual context
  2. 写真に付与されたコメントからベクトルを作成。ベクトルの要素は単語の出現回数。テキストのない写真は要素が全て0になるが、Instagramでは90%以上の写真にコメントが付与されている。

  3. Visual context
  4. SIFTを利用して画像をn次元のベクトルで表現。

  5. User preference
  6. ユーザが各POIで写真を撮影した回数だけからユーザのPOIに対する好みを学習すると、データがスパースすぎるので、ユーザとPOIをそれぞれk次元のトピックベクトルで表現。ベクトルの内積によって、ユーザのPOIに対する好みを求める。

Textual contentのベクトルの各要素に対する重み、Visual contextのベクトルの各要素に対する重み、User preferenceのk次元のベクトルの値をSGDで求める。

評価方法

ニューヨークとシンガポールのInstagramのデータを使用。MRRや上位n件に正解が含まれるテストデータの割合で評価し、3カテゴリ全てを考慮した場合の精度が最も高いことを示した。


-CIKM, 論文紹介

関連記事

Statistical Models of Music-listening Sessions in Social Media

Zheleva, Elena and Guiver, John and Mendes Rodrigues, Eduarda and Milić-Frayling, Nataša In Proc. of …

Semantic Similarity Between Search Engine Queries Using Temporal Correlation

S. Chien, and N. Immorlica In Proc. of WWW 2005 http://dl.acm.org/citation.cfm?id=1060752 目的 クエリログを用 …

User see, user point: gaze and cursor alignment in web search

Huang, Jeff White, Ryen Buscher, Georg In Proc. of CHI 2012 http://dl.acm.org/citation.cfm?id=220859 …

Time-sensitive query auto-completion

Shokouhi, Milad Radinsky, Kira In Proc. of SIGIR 2012 http://dl.acm.org/citation.cfm?id=2348364 概要 従 …

Modeling Paying Behavior in Game Social Networks

Fang, Zhanpeng and Zhou, Xinyu and Tang, Jie and Shao, Wei and Fong, A.C.M. and Sun, Longjun and Din …