LLMで学習不要のレコメンドエンジンを実現
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 本記事では、LLMを使用したレコメンドエンジン作成のフレームワークについて、簡潔に解説していきます。 サマリー LLMを使用したレコメンドエンジン作成のフレームワーク(以降、「提案されたレコメンドエンジン」)は、Amazonの研究チームによって発表された論文で提唱されました。 このレコメンドエンジンの特徴は、ファインチューニングを利用していないLLMとユーザーの行動(商品のクリックなど)情報を元に、レコメンドの性能を継続的に改善できる点です。ユーザーの行動をもとに、LLMにより関連性の高い商品を推測させることでレコメンドの性能を上げています。 より詳細な解説は以下の記事、もしくは論文を参照してください。
クリック率を最大化しない推薦システム
セレンディピティのある推薦、多様性のある推薦、コンテンツ生産者を配慮した推薦など、クリック率の最大化（だけ）を目指さない推薦システムについての紹介です。 連絡先: @joisino_ (T…
推薦システムの実績をLookerでモニタリングする - ZOZO TECH BLOG
はじめに こんにちは。ML・データ部/推薦基盤ブロックの佐藤（@rayuron）です。私たちは、ZOZOTOWNのパーソナライズを実現する機械学習を用いた推薦システムを開発・運用しています。また、推薦システムの実績を定常的に確認するためのシステムも開発しています。本記事では、Lookerを用いて推薦システムの実績をモニタリングするシステムの改善に取り組んだ件についてご紹介します。 はじめに 改善の背景と課題 背景 課題 課題解決のために 要件1. 指標異常時の自動アラート 要件2. サマリの定期配信 要件3. 上記2つをSlack通知できること ダッシュボードの候補の比較 要件を満たすための設計 要件の実現方法 開発環境と本番環境 実装 ディレクトリ構成 ダッシュボード ダッシュボード構築の流れ 配信実績に関して 推薦結果に関して GitHub Actions 1. 指標異常時の自動アラー
マッチングアプリにおける推薦システム
2023年2月16日開催、サイバーエージェント メディア事業部主催のデータ活用に関する勉強会「メディアサービスにおけるデータ・AIの活用事例 #2」登壇資料です。 https://cyberagent.connpass.com/event/270224/
バンディットアルゴリズムを用いた推薦システムの構成について - ZOZO TECH BLOG
はじめに ZOZO研究所ディレクターの松谷です。 ZOZO研究所では、イェール大学の成田悠輔氏、東京工業大学の齋藤優太氏らとの共同プロジェクトとして機械学習に基づいて作られた意思決定の性能をオフライン評価するためのOff-Policy Evaluation（OPE）に関する共同研究とバンディットアルゴリズムの社会実装に取り組んでいます（共同研究に関するプレスリリース）。また取り組みの一環としてOPEの研究に適した大規模データセット（Open Bandit Dataset）とOSS（Open Bandit Pipeline）を公開しています。これらのオープンリソースの詳細は、こちらのブログ記事にまとめています。 techblog.zozo.com 本記事では、ZOZO研究所で社会実装を行ったバンディットアルゴリズムを活用した推薦システムの構成について解説します。バンディットアルゴリズムを用い
Amazonの推薦システムの20年
IEEE Internet Computingの2017年5・6月号に "Two Decades of Recommender Systems at Amazon.com" という記事が掲載された。 2003年に同誌に掲載されたレポート "Amazon.com Recommendations: Item-to-Item Collaborative Filtering" が Test of Time、つまり『時代が証明したで賞』を受賞したことをうけての特別記事らしい 1。 「この商品を買った人はこんな商品も買っています」という推薦で有名なAmazonが1998年にその土台となるアルゴリズムの特許を出願してから20年、彼らが 推薦アルゴリズムをどのような視点で改良してきたのか 今、どのような未来を想像するのか その一端を知ることができる記事だった。 アイテムベース協調フィルタリング 20年前も
『運用型広告【A.J.A.】の紹介と高速化の工夫』
技術本部メディア広告開発室のこまはらです。 A.J.A.という運用型広告システムの開発・運用を担当しています。 A.J.A.では、現在、アメーバブログ、Spotlight、by.Sといった自社メディアに、インフィード広告を中心とした広告を配信しており、配信先を順次拡大しています。 様々な種類の広告を配信していますが、すべてひっくるめると1日に10億impression前後の配信規模になっています。 今回は、A.J.A.の概要編ということで、前半で基本的なシステムの構成についてご紹介し、後半に高速なレスポンスを実現するための工夫について書かせていただきます。 基本構成A.J.A.の広告システムは、 ユーザの広告リクエストを受け、広告を返す配信サーバ数ある広告の候補から最適なものを選択するレコメンデーションAPIサーバ配信設定や実績のレポーティングを行うための運用管理画面配信実績のリアルタイム
Microsoft Cognitive Services に含まれる Recommendations API を試してみた - しばやん雑記
昨日は Build 2016 のニコ生に出演していて、今も寝不足で頭がぼーっとしているのですが、キーノートで発表された Cognitive Services が最高に未来感あって興味をひかれました。 Cognitive Services—APIs for AI Solutions | Microsoft Azure Cognitive Services には様々な API が用意されていますが、今回は Recommendations API が現実的な需要が多い気がしたので、サンプルコードとドキュメントを見ながら試してみます。 ちなみに Cognitive Service は Azure Portal から作る必要があります。 Recommendations API を使うための手順は以下のようになります。 Azure Portal からアカウントを作成 Model を作成 Catalog
ハッカドールにおけるElasticsearch利用法について発表しました - mosa_siru’s blog
DeNA社内でのElasticsearch勉強会にて、アプリ「ハッカドール」におけるElasitcsearch利用法について発表してきました。 スライドはこちら。 Elasticsearch for Hackadoll from mosa siru Elasitcsearchの中身や運用について濃く触れるというよりは、ちゃんとした検索エンジン作るための泥臭い話がメインになっています。 （ある意味で昨年Tokyo WebMiningにて発表した捗るリコメンドシステムの裏事情（ハッカドール）の派生スライドです。） ハッカドールは1周年を迎え、来月にはアニメ化もされます。ニュースアプリがアニメ化とか開発者としてもどうなるか予想がつきませんが、放映時には全裸待機しようと思います！ hackadoll-anime.com
【レコメンド】内容ベースと協調フィルタリングの長所と短所・実装方法まとめ - Qiita
※この表は神嶌 敏弘先生が人工知能学会誌に連載した解説記事『推薦システムのアルゴリズム』から転載したものです。 アルゴリズムの説明 ■ 協調フィルタリングとは アイテム利用者の行動履歴を元にレコメンドする方法です。Amazonの『この商品を買った人は、こんな商品も』機能が有名です。協調フィルタリングによるレコメンドはユーザの行動を元にレコメンドする方法です。 ■ 内容ベース（コンテンツベース）フィルタリングとは アイテムの特徴ベクトルで類似度ソートしてレコメンドする方法です。 グルメサイトでユーザが入力した『新宿・エスニック料理』というキーワードに関連付けられたお店が表示される場合が該当します。内容ベースによるレコメンドはアイテムの特徴を元にレコメンドする方法です。 特性の詳細について ■ 多様性 協調: o 内容ベース: x 内容ベースでは商品内容に記載されていない情報はレコメンドされま
Solrのdismaxを使ってお手軽（？）レコメンド - Qiita
はじめに レコメンドといえば協調フィルタリングがパッと思い浮かびますが、傾向を表すために必要なデータが不足している場合などはルールベースのレコメンドをまず検討するかと思います。 今回はSolrを使ってルールベースのレコメンドをどうやって（比較的楽に）実現するかを検討してみました。 Mahout+Solrでゴリゴリやるぜ。という記事ではありません。 環境 Solr4.10.4 インデクスの準備 データはiTunes Media API、スキーマ定義はDynamicFieldで定義しインデクシングしました。インデクシング部分は本筋ではないので割愛します。 型の定義は、SolrのExamplesのCollection1と同様です trackIdをuniqueKeyとしています。_tはtext_ja,_lはlong,*_dtはdateです。 データのサンプルをお見せします。 "response":
Apache Spark による推薦システム案件例
2015-03-21 #TokyoWebmining 44th の発表資料です。
RubyのレコメンドエンジンRecommendifyを試してみる - さかなチキンぱん。
以前ユーザー毎のアクセス履歴を、Googleアナリティクスに記録する為のライブラリmeron.history.js を書いた。 今回はこの記録された履歴を利用して、このブログの各エントリー毎のオススメ記事を算出してみたい。 使ってみたのはRubyのレコメンドライブラリRecommendify。 Redisを利用してコメンデーションする為、軽快に動作するのが売りなライブラリらしい。 手順は次の通り GoogleアナリティクスのCore Reporting API からアクセス履歴を取得 アクセス履歴を元にRecommendifyでレコメンドする レコメンド結果を表示 前提として事前にmeron.history.jsである程度の期間、ユーザーのアクセス履歴をトラッキングして置く必要がある (Core Reporting APIの利用には、前回の記事GoogleアナリティクスAPIの承
第2回 レコメンドシステムの実装と課題 | gihyo.jp
今回はレコメンドシステムの実装の問題と、その解決策として利用するHadoopについて説明します。 今回のポイントは以下の通りです。 スケールアップの限界 分散処理フレームワークの民主化 Hadoop Map Reduceの概要 増え続けるデータをどう扱うか レコメンドシステムを協調フィルタリングのうち、ユーザベース方式により実装することを考えます。このシステムでは次のような映画の評価履歴を使い、「この映画を評価した人はこの映画も評価しています」という映画の推薦を行います。 駄右衛門、ザスーラ、5、2009/12/21、・・・・ 駄右衛門、ジュマンジ、5、2009/12/28、・・・・ 菊之助、ブルースブラザーズ、5、2009/12/29、・・・・ 利平、ザスーラ、4、2010/01/01、・・・・ 十三、ハングオーバー、4、2010/01/01、・・・・ 利平、ジュマンジ、4、2010/
コンテンツ推薦システム·Recommendations MOONGIFT
ホームページが作れるようになった時、ブログが出来るようになったとき、常に言われてきたのが「個人でも情報発信が出来るようになった」ということだった。まるでそれによって旧来のメディアは不要であるかのように言われてきたが、むしろ個人の中でのメディアが進んでいる。 検索結果。コンテンツを皆で集積していく 情報発信できるようになったからといって、みんながみんな情報を発信したい訳ではない。人によっては受動的に構えている方が楽という選択だって十分にある。そのような方々を含め、コンテンツを推薦し合うのがRecommendationsだ。 今回紹介するオープンソース・ソフトウェアはRecommendations、ソーシャルリコメンデーションとでも言うべきソフトウェアだ。 RecommendationsはRuby on Railsで作られたWebアプリケーションで、各ユーザが自分でコンテンツを作成する。その際
レコメンド（推薦）・サービスに一番大切なこと - llameradaの日記
flickrの写真をクリック履歴から自動的に推薦するサービス「フォト見る」を数日前にリリースしました。さいわい、気に入って頂いた方もいるようです（Route 477(2009-03-12)）。「フォト見る」をリリースしてみて思ったのですが、レコメンド（推薦）を軸としたサービスでは初心者ユーザにいかに使ってもらえるかが一番大切だなと思いました。 ユーザに何かを推薦するには、当たり前ですが、そのユーザの好みを知っている必要があります。例えば、「フォト見る」では、ユーザが過去にクリックした写真から好みを推定しています。ところが、初めてページを訪れたユーザの好みは全く分かりません。1つでも写真をクリックしてくれれば、ユーザの好みが少しでも分かります。ところが、ユーザの好みが分からない状態では推薦は無理なので、初めてのユーザに対してはどうでもよい写真が表示されやすく、写真をクリックしてもらうのがなか
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クックパッドにおける推薦（と検索）の取り組み
レコメンドエンジン(協調フィルタリング)をPHP+Redisで実装 - Qiita