1: 購入 0: 閲覧(したが購入してない) -: 未観測 ユーザーベース型 ユーザー同士の類似度を計算 「あなたと購入履歴の似たユーザーはこんな商品を買っています」 行を各ユーザーのベクトルとみなして、似たユーザーを見つける（上位N人） 似たユーザーが購入しているアイテムを推薦する（N人の平均値などで購入しそうな順に提示） アイテムベース型 アイテム同士の類似度を計算 「この商品を買ったユーザーはこんな商品も買ってます」 列を各アイテムのベクトルとみなして、類似度の高いアイテムを推薦する（上位M件） 類似度計算には、コサイン類似度やJaccard類似度が使われる。 類似度を計算する際に、未観測「-」は適当な値（0, 0.5など）で埋めるか、無視をする。 ログデータを使うため、情報の少ない新規アイテム/新規ユーザーに弱いコールドスタート問題がある。 コンテンツベースフィルタリング アイテム
クリック率を最大化しない推薦システム
セレンディピティのある推薦、多様性のある推薦、コンテンツ生産者を配慮した推薦など、クリック率の最大化（だけ）を目指さない推薦システムについての紹介です。 連絡先: @joisino_ (T…
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 RAGのシステムの中では、どんな情報にアクセスするかを決定する際に、Embeddingと呼ばれる文章をベクトル化する技術が使用されています。そして多くの場合では小数(float)の多次元ベクトルが採用されています。 しかし、Embeddingの中には各ベクトルの数値を1Bitのデータとして扱うBinary Embeddingというものが存在します。 本記事では、Embeddingの手法の一つであるそのBinary Embeddingについて解説と検証を行います。 サマリー Binary Embeddingを採用することで以下のような効果を得ることができます。 保管するベクトルデータの容量を96%ほど削減で
篠田真貴子さんがオススメする5冊 篠田 真貴子 エール株式会社取締役。社外人材によるオンライン1on 1を通じて、組織改革を進める企業を支援している。2020年3月のエール参画以前は、マッキンゼー、ノバルティス等を経て、2008年〜2018年ほぼ日取締役CFO。米ペンシルバニア大ウォートン校MBA、ジョンズ・ホプキンス大国際関係論修士。『LISTEN──知性豊かで創造力がある人になれる』監訳。 『日本社会のしくみ』 小熊 英二 篠田真貴子さんの推薦文 「社会のしくみ」は私たちの雇用、教育、さらにはアイデンティティまでを規定している。著者はそれを「企業のメンバーシップ」「職種のメンバーシップ」「制度化された自由労働市場」の三つの社会的機能に分解した。日本社会のしくみは三つの組み合わせで表すことができ、各々の特徴や濃淡を他国や過去と比較して分析している。 「ロスジェネ」を引き起こしたのは不景気
10X ソフトウェアエンジニアの @metalunk です。ネットスーパー、ネットドラッグストアのプラットフォームである Stailer 事業で、機械学習（ML）と検索を専門として働いています。 2024年4月からいま（2024年8月）までの5ヶ月間で6つの推薦機能をリリースできました。この成果を支えたのはチームと ML platform（機械学習の基盤システム）です。このブログではチームの取り組み、ML platform の機能、および具体的な成果についてご紹介します。 このブログは技術ブログの体ではありますが、さまざまな業界、職種の方に読んでいただくことを目指して執筆しました。 (3) 章, (5) 章だけは機械学習に取り組んでいる人向けの内容を含みますので興味のない方は読み飛ばしてもらって結構です（機械学習に取り組んでいなくても興味のある方はぜひ読んでください）が、それ以外は IT
はじめに ML・データ部推薦基盤ブロックの佐藤（@rayuron）です。私たちはZOZOTOWNのパーソナライズを実現するために、機械学習モデルとシステムを開発・運用しています。本記事ではクーポン推薦のための機械学習モデルとシステム改善に取り組んだ話を紹介します。 はじめに 背景 課題 1. 古い基盤でシステムが運用されている 2. KPIに改善の余地がある 3. 機械学習モデルの評価体制がない 課題解決のために 1. Vertex AI Pipelinesへの移行 2. Two-Stage Recommenderの導入 プロジェクトへの導入 Candidate Generation 1. 過去の実績 2. 人気ブランド 3. 興味を持っているブランドの類似ブランド 評価方法 Reranking 学習データの作成 アンダーサンプリング 特徴量エンジニアリング 学習 バリデーション 推論 3
Social Network を活用するには自分の興味にあったアカウントをフォローすることが大事です．そのために重要な役割を果たすのが「おすすめユーザ推薦 (friend recommendation)」です．
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 本記事では、LLMを使用したレコメンドエンジン作成のフレームワークについて、簡潔に解説していきます。 サマリー LLMを使用したレコメンドエンジン作成のフレームワーク(以降、「提案されたレコメンドエンジン」)は、Amazonの研究チームによって発表された論文で提唱されました。 このレコメンドエンジンの特徴は、ファインチューニングを利用していないLLMとユーザーの行動(商品のクリックなど)情報を元に、レコメンドの性能を継続的に改善できる点です。ユーザーの行動をもとに、LLMにより関連性の高い商品を推測させることでレコメンドの性能を上げています。 より詳細な解説は以下の記事、もしくは論文を参照してください。
自己紹介 2 小関 俊祐（Shunsuke Ozeki）/ @ozeshun_ - お仕事 - 2022年にDSとしてタイミーに入社 - MLモデルの改善、ML pipelineの構築、 推薦API基盤の運用など幅広くやってます - 最近検索にも手を出し始めました - 趣味 - 野球全般。ロッテ、レンジャースが好き - 海外旅行 - 個人開発的な
はじめに こんにちは。Kagglerの 中間 と 若月 です。業務では主に人材領域でのレコメンドシステムの改善に取り組んでいます。 この記事では、レコメンドシステムにTwo-Towerモデルと近似最近傍探索による候補生成ロジックを導入することで、精度とコストを改善することに成功したので、その取り組みについて紹介します。 背景 導入したロジックについて説明する前に、まず既存のレコメンドシステムについて簡単に説明します。 既存のレコメンドシステムでは、ユーザとアイテムについてルールベースによる候補生成を行った後、機械学習モデルを用いてスコアを付与し、スコア順にユーザに推薦するアイテムを選択していました。 しかし、ルールベースによる候補生成はベースラインとしてはよいものの、性能改善には限界があり、ルールベースが複雑になればなるほど計算コストもかかるようになっていきます。 そこで、性能改善がしやす
Generative Recommendation : LLMを活用した推薦システム | Wantedly Engineer Blog
この記事はWantedly Advent Calendar 2023 兼 情報検索・検索技術 Advent Calendar 2023の3日目の記事です。 ウォンテッドリーでデータサイエンティストをしている角川(＠nogawanogawa)です。ウォンテッドリーのデータサイエンスチームは、9/18〜9/23にシンガポールにて開催されたRecSys2023に聴講参加しました。 RecSys 2023, the seventeenth conference in this series, will be held in Singapore. It will bring together researchers and practitioners from academia and industry to present their latest results and identify new
こんにちは、クラスター株式会社でサーバーサイドをメインに開発している id:shiba_yu36 です。 僕は今年の2月にclusterというサービスでウィークリーランキングの機能を担当しました。clusterではユーザーが自由にゲームやアート作品などの3Dコンテンツを作りアップロードでき、そのコンテンツを複数人ですぐ遊べます。その中から人気のコンテンツを探しやすくするため、週間ランキングを開発しました。 この機能開発時に、実装をする前にPMとデータを見て試行錯誤しながら、ウィークリーランキングの目的を満たすシンプルなアルゴリズムを決めるという工夫をしました。このやり方によって、最小限の実装工数で目的を満たすランキングアルゴリズム実装を行えました。 そこで今回は実装前にどのような流れでアルゴリズムを決定していったかを書いていきたいと思います。同じような機能開発を行っていてPMとどう連携する
ファンコミュニティのUGCを効率的に届けるためiALSベースの協調フィルタリング推薦システムを作った話 - Gaudiy Tech Blog
はじめまして。GaudiyでMLエンジニアをしているMomijiと申します。主に推薦システムの開発を担当しています。 今年4月から、Gaudiyが開発・提供するプロダクト「Gaudiy Fanlink」に協調フィルタリングベースの推薦機能を追加したので、本記事ではそのロジックとシステムアーキテクチャについて書いてみたいと思います。 1. 「Gaudiy Fanlink」における推薦 2. 協調フィルタリングによるパーソナライズ推薦 2-1. 学習 2-2. バッチ推論 2-3. リアルタイム推論 3. システムアーキテクチャ 4. これから 1. 「Gaudiy Fanlink」における推薦 Gaudiy Fanlinkは、IPファンが集う、SNS型のコミュニティプラットフォームです。そこにおける「推薦」の役割は、ユーザーとコンテンツのマッチングを促進し、コミュニティ内の活動総量を増加させ
名古屋市教育委員会事務局が市内全16区の校長会など80以上の教員の団体から毎年、1団体ごとに3万円前後の現金などを受け取っていたことが関係者への取材で分かった。各団体は次年度の市立小中学校の校長に推薦する教員の名簿とともに金品を納めていた。事務局幹部は取材に「激励と受け止めている。金品が人事に反映されることはない」と話したが、事態を把握した市は「団体側から市教委への上納金」と判断、不適切な金品の授受にあたるとして調査する方針だ。 複数の関係者によると、この慣習は少なくとも10年以上、続いている。各団体が校長に推薦する教員の名簿とともに納める金品は、市教委事務局で教員の人事を担当する教職員課が...
『萩生田氏の地元・八王子市長選挙 自公推薦の初宿さんが初当選 裏金事件の逆風しのぐ：東京新聞 TOKYO Web』へのコメント
ブックマークしました ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください Twitterで共有
Recommendation Industry Talks #2 で発表した内容です。 https://recommendation-industry-talks.connpass.com/event/310180/
はじめに はじめまして！2023年9月にAIスペシャリストのインターンシップに参加させていただきました、柳（ @ynt0485 ）と申します。普段は数理最適化や機械学習関連の研究を行っています。 今回のインターンでは、DeNAが運営するX（旧Twitter）アカウントの投稿文を自動生成するというタスクに取り組みました。この記事では、どのような工夫によって生成の精度を上げることができたのかについて紹介します ！ 課題内容 概要 初めに、今回のタスクの概要についてお話します。 近年の大規模言語モデルの発展により、文章の自動生成は様々な分野での活用が期待されています。特に、ある分野に特化させた文章の生成はクリエイティブの制作やサービス専用のチャットボットの構築に利用することが できます。 そのため、今回は特定分野に特化させた文章生成の1つとして、あるX（旧Twitter）アカウントの過去の投稿文
Introducing Voyager: Spotify's New Nearest-Neighbor Search Library - Spotify Engineering
Introducing Voyager: Spotify’s New Nearest-Neighbor Search Library For the past decade, Spotify has used approximate nearest-neighbor search technology to power our personalization, recommendation, and search systems. These technologies allow engineers and researchers to build systems that recommend similar items (like similar tracks, artists, or albums) without needing to run slow and expensive m
No one is an island. Learnings from fostering a developers community.
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
レコメンドアルゴリズム入門：基礎から応用まで実装に必要な知識を解説 - Qiita
ベクトルデータの容量を96%削減するBinary Embedding
著名人が推薦する「新しい世界と出会える書籍」 2023年上半期版 | 篠田真貴子、宮沢和史、斎藤哲也、沼野恭子、音部大輔
10X の推薦を作るチームと ML platform - 10X Product Blog
クーポン推薦モデルとシステム改善の取り組み - ZOZO TECH BLOG
Bluesky のフォロー推薦モデルを書いた - HackMD
LLMで学習不要のレコメンドエンジンを実現
タイミーにおける H3を活用したレコメンドの改善事例
Two-Towerモデルと近似最近傍探索による候補生成ロジックの導入
実装前にPMとデータを見ながらランキングアルゴリズムを決定する - Cluster Tech Blog
名古屋市教委が各区校長会などから金品受け取る、校長推薦名簿とともに 毎年3万円前後：中日新聞Web
クックパッドが取り組むレシピレコメンドの面白さと難しさ
LLMを用いたSNSのテーマ推薦と投稿文の自動生成 | BLOG - DeNA Engineering
リーガルテックにおける検索・推薦技術