IBM DeveloperIBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.
YouTubeの推薦アルゴリズムの変遷を追う〜深層学習から強化学習まで〜
はじめにこの記事は「eureka Advent Calendar 2019」24日目の記事です。 こんにちは、Data Analystの @pacocat です！ 私はeurekaには2019年11月に入社したばかりなのですが、毎日楽しく仕事させてもらっています。最近はプロダクト開発のための定性調査の仕組みづくりを手伝ったり、事業分析や組織開発をしていたりと、様々な定量・定性データを活用してどのように事業成長に貢献できるか考える日々です。 前職ではAI PdMとして、ゲームや強化学習領域でのAI活用を推進していました（興味ある方はGDC2019での発表や各種スライド slideshare / speakerdeck をご覧ください）。直近はがっつりAIに関わっているわけではありませんが、趣味で推薦×強化学習分野のサーベイをしていたら面白い話題がたくさんあったので、それらの中からYouTub
Google Cloud Next 2019 in SF , BigQuery 関連発表まとめ
Google Cloud Next 2019 in SF が 4 月 9 - 11 日で開催されました。その中での BigQuery 関連の発表をまとめました。 BigQuery だけでも盛り沢山ですね。 BigQueryBigQuery では複数の関数が追加されたほか、 Partition の新しい型のサポート、定額プランがより使いやすくなるなどの発表がありました。BigQuery Storage API は BigQuery に格納されたデータのバルクでの取り出しが高速になり、projection などにも対応しています。Dataflow や Hadoop/Spark のマネージドサービスである Dataproc などでもより高速に BigQuery のデータが処理できるようになりました。これにより、 BigQuery は単なるデータウェアハウスとしてだけではなく、 BigQuery
口コミのdoc2vecを用いたリコメンデーションシステムの構築 - Qiita
Rettyのクラフトビール担当兼エンジニアのbokenekoです。 doc2vecを使って実験的なリコメンデーションシステムを作ってみたのでその手法を紹介します。 doc2vec doc2vecはword2vecの進化系です。word2vecはある単語はその周りにどんな単語が現れやすいかでその単語の意味を捉えようとしますが、doc2vecはそこにさらに文脈を加味するように学習します。 例えば、「私はxxxを飼っている」という文章のxxxには「犬」とか「猫」とかが入るので「犬」も「猫」も似た意味を持つのだろうというのがword2vecの考え方です。 ですが、もしこの文章が犬の話の小説のものであれば「猫」よりも「犬」が圧倒的に出やすくなりますし、SM小説の一節なら...まあ出やすい単語が変わるのは分かっていただけるかと思います。 つまり文章の文脈によって単語の出やすさが変わるので、どんな単語が
特徴抽出器の学習と購買履歴を必要としない類似画像による関連商品検索システム/related-product-search-system-based-on-similar-images
情報処理学会インターネットと運用技術研究会(IOT) 通算第 37 回 研究会 http://www.iot.ipsj.or.jp/news/iot37-program
Convolutional neural network - Wikipedia
A convolutional neural network (CNN) is a regularized type of feed-forward neural network that learns features by itself via filter (or kernel) optimization. Vanishing gradients and exploding gradients, seen during backpropagation in earlier neural networks, are prevented by using regularized weights over fewer connections.[1][2] For example, for each neuron in the fully-connected layer, 10,000 we
Dimensionality reduction - Wikipedia
Dimensionality reduction, or dimension reduction, is the transformation of data from a high-dimensional space into a low-dimensional space so that the low-dimensional representation retains some meaningful properties of the original data, ideally close to its intrinsic dimension. Working in high-dimensional spaces can be undesirable for many reasons; raw data are often sparse as a consequence of t
協調フィルタリング - Wikipedia
協調フィルタリングを使用してユーザーの評価を予測する例。最初は、さまざまな項目 (動画、画像、ゲームなど) を評価する。その後、システムは、ユーザーがまだ評価していないアイテムに対するユーザーの評価について予測する。これらの予測は、アクティブなユーザーと同様の評価を持つ他のユーザーの既存の評価に基づいて作成される。例えば上記の場合、システムは、アクティブなユーザーがビデオを気に入らないだろうと予測している。 協調フィルタリング（きょうちょうフィルタリング、Collaborative Filtering、CF）は、多くのユーザの嗜好情報を蓄積し、あるユーザと嗜好の類似した他のユーザの情報を用いて自動的に推論を行う方法論である。趣味の似た人からの意見を参考にするという口コミの原理に例えられることが多い。 例えば、ユーザAがアイテムXを好むとすると、アイテムXを好む別のユーザBが好むアイテムYを
レコメンダシステム - Wikipedia
レコメンダシステム（英: recommender system）は、情報フィルタリング (IF) 技法の一種で、特定ユーザーが興味を持つと思われる情報（映画、音楽、本、ニュース、画像、ウェブページなど）、すなわち「おすすめ」を提示するものである。通常のレコメンダシステムは、ユーザーのプロファイルを何らかのデータ収集基準と比較検討し、ユーザーが個々のアイテムにつけるであろう評価を予測する。基準は情報アイテム側から形成する場合（コンテンツベースの手法）とユーザーの社会環境から形成する場合（協調フィルタリングの手法）がある。 ユーザーのプロファイルを構築するとき、データ収集の明示的部分と暗黙的部分を区別する。 明示的データ収集には次のようなものがある。 ユーザーにあるアイテムの評価を付けてもらう（例えば5段階評価）。 ユーザーに一群のアイテムを好きか嫌いかランク付けしてもらう。 ユーザーに2つの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - spotify/annoy: Approximate Nearest Neighbors in C++/Python optimized for memory usage and loading/saving to disk
https://dl.acm.org/doi/10.1145/2827872
MovieLens - Wikipedia
Which algorithms are used in recommender systems? - Quora
AI Hub)
Matrix factorization (recommender systems) - Wikipedia
What is the Alternating Least Squares method in recommendation systems? And why does this algorithm work (intuition behind this)?
Real-time Recommendations using Spark Comcast Labs