Item2vecを用いた商品レコメンド精度改善の試み | メルカリエンジニアリング
こんにちは、メルカリのレコメンドチームで ML Engineer をしている ML_Bear です。 普段はメルカリのホーム画面などに表示されるレコメンドパーツの改善を担当しています。今回はメルカリの莫大なユーザーログデータと、出品された商品に付与されているメタデータ(詳細後述)を活用したレコメンドロジック改善事例をご紹介します。 商品メタデータについて メルカリではユーザーの商品検索体験を向上させるため、出品された商品に対して様々なメタデータを付与しています。ファッションアイテムだと色や生地感、家電だと型番といった、主として商品の属性をあらわす様々なデータをメタデータと呼称しています。 今回、私は本やマンガに紐づいているメタデータ (以下、タイトルデータと記載) に着目しました。 メルカリアプリ内では、本やマンガに商品が属するシリーズを表現するメタデータが付与されています。例えば「キング
入力テキストと文書の関連度に基づく指示追従検索
入力テキストと文書の関連度に基づく指示追従検索 こんにちは！愛媛大学大学院 修士1年の杉山誠治です。この度は、株式会社レトリバの夏季インターンシップに参加し、指示追従検索に関する研究に取り組みました。本記事では、インターンシップで取り組んだ研究内容について報告します。 はじめに 情報検索では、ユーザが検索時に入力した語句（クエリ）と文書をコンピュータが比較できる数値列（ベクトル）に変換し、ベクトル間の類似度に基づいてクエリに最も近い文書を検索します。 例えば、図1のように「池袋 グルメ」というクエリが与えられた場合、「東京 池袋のマップ」という文書よりも「東京 池袋おすすめグルメ」のベクトルが近ければ、類似度が高いとみなされ、クエリに対する上位の検索結果として選択されます。 図1：クエリと文書による検索 近年、クエリだけでなくユーザの嗜好や意図を反映した具体的な補足・リクエスト（指示文）に
RecSys 2025参加レポート - ZOZO TECH BLOG
はじめに こんにちは、データシステム部推薦基盤ブロックの上國料（@Kamiko20174481）とMA推薦ブロックの住安（@kosuke_sumiyasu）です。 私たちは2025年9月22日〜9月26日にチェコのプラハにて開催されたRecSys2025（19th ACM Conference on Recommender Systems）に現地参加しました。本記事では会場の様子や現地でのワークショップ、セッションの様子をお伝えすると共に、気になったトピックをいくつか取り上げてご紹介します。 はじめに RecSys とは 開催地のプラハについて 会場の様子 論文の紹介 Orthogonal Low Rank Embedding Stabilization 感想・考察 Suggest, Complement, Inspire: Story of Two-Tower Recommendatio
識別モデルと生成モデル - 機械学習・自然言語処理の勉強メモ
機械学習の分類問題は、識別モデルと生成モデルに大別される。 （識別関数によるアプローチもあるがここでは言及しない。） 自分の頭の整理のために、これらの違いをまとめる。 識別モデル（Discriminative model） サンプルデータがクラスに分類する条件付き確率を直接モデル化する。 分類時は、を選択する。 分類問題で求めたいのは、個々のデータがどのクラスに所属するかであり、識別モデルは所属確率を直接求めるモデルである。この考え方は最もシンプルで理にかなっており、機械学習で分類問題を解く場合、識別モデルによるアプローチが一般的な手法となっている。 生成モデル（Generative models） 観測データを生成する確率分布を想定し、観測データからその確率分布を推定する方法。 識別モデルと同様に条件付き確率をモデル化するがその方法が異なる。 （生成モデルでは直接これをモデル化しない。）
21/12/14 複雑ネットワーク科学入門書籍の感想 - LWのサイゼリヤ
複雑ネットワーク科学 ここ2週間でネットワーク科学をザッと勉強したのでまとめておく。勉強する羽目になった経緯と結果は後日サイゼミの記事に書く。 概ね難易度順。ネットワーク科学はかなり新しい分野でここ20年くらいの発展が著しいので出版年も書いておいた（訳書の場合は原著も）。理論を解説する記事ではないので気になった人は適当なやつを自分で読んでください。 複雑ネットワーク科学 ①増田直紀、今野紀雄『「複雑ネットワーク」とは何か』 ②増田直紀『私たちはどうつながっているのか』 ③マーク・ブキャナン『歴史は「べき乗則」で動く』 ④ダンカン・ワッツ『スモールワールド・ネットワーク』 ⑤アルバート・ラズロ・バラバシ『新ネットワーク思考』 ⑥増田直紀、今野紀雄『複雑ネットワーク：基礎から応用まで』 ⑦バラバシ・アルバート・ラズロ『ネットワーク科学』 ①増田直紀、今野紀雄『「複雑ネットワーク」とは何か』 「
物体検出モデルの推論高速化入門
はじめに 株式会社EVERSTEELで機械学習エンジニアをしている加藤です。 機械学習システムの運用において、推論の高速化は重要な課題です。特にリアルタイムでの処理が求められるアプリケーションでは、レスポンス時間の短縮がユーザー体験に直結します。また、クラウド環境のコスト削減やエッジデバイスのリソース制約など、様々な観点から推論の効率化が必要とされます。 本記事では特に物体検出モデルのCPU推論に焦点を当て、ディープラーニングモデルの推論を高速化する方法を紹介するとともに、それらのベンチマーク結果を共有します。 「鉄ナビ検収AI」における推論高速化ニーズ 弊社では鉄スクラップの画像解析を行う「鉄ナビ検収AI」というアプリケーションを開発しています。本アプリケーションを提供するために多様な画像認識モデルを運用していますが、その中でも速度要件が厳しいものとして、荷台検出モデルが存在します。 荷
テキスト埋め込みモデルの蒸留に関する調査
テキスト埋め込みモデルの蒸留に関する調査 こんにちは！名古屋大学大学院 博士1年の矢野千紘です。 8月1日から9月30日までの2ヶ月間、株式会社レトリバのインターンに参加させていただきました。本記事ではインターンで取り組んだ、テキスト埋め込みモデルの蒸留に関する調査について紹介します。 テーマの概要 近年の言語モデルは高度化とともに大規模化が進んでいます。しかし、実応用においては大きなモデルは推論コストの観点から使いにくい場面も多いです。そこで、大きくて強いモデルを能力は維持したまま小さくしようという試みが存在します。 知識蒸留はそんな試みの一つであり、教師モデルと呼ばれる強いモデルの出力を利用して、生徒モデルに知識を落とし込もうという手法です。 知識蒸留のイメージ テキストを計算可能な表現に変換する、テキスト埋め込みモデルにおいても大規模化は進んでいます。以下はMTEB (Massive
Label Studioによる固有表現抽出のデータアノテーション ～ spacy のファインチューニング
ほかにもHomebrewやDockerなどでインストールすることもできます。詳細は公式ドキュメントをご参照ください。 インストールできた場合は、次のコマンドでLabel Studioを立ち上げられます。 localhost:8080 に接続して以下のような画面が表示されたら成功です。 HumanSignal. Label Studioのログイン画面のスクショ アノテーション ユーザー作成 「SIGN UP」を選択し、適当なメールアドレス、パスワードを入力してアカウントを作成してください。（メールアドレスは実際に使用しているものでも、user@example.com のようなものでもよいと思います。） 無事にユーザー作成ができた場合は以下のような画面に移ります。 HumanSignal. Label Studioのプロジェクト一覧画面のスクショ プロジェクト作成 「Create Projec
[DL輪読会]Adaptive Gradient Methods with Dynamic Bound of Learning Rate
[DL輪読会]Adaptive Gradient Methods with Dynamic Bound of Learning Rate
![[DL輪読会]Adaptive Gradient Methods with Dynamic Bound of Learning Rate](https://cdn-ak-scissors.b.st-hatena.com/image/square/d99958630e56d841519bd8ef69695d84250b8177/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fadabound-190325085133-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Two-Tower モデルで作る高速でスケーラブルなレコメンドシステム｜株式会社ココペリ Tech blog
こんにちは、Fact & Dataグループの岡﨑です。近年、ECサイトやコンテンツプラットフォームにおいて、リアルタイムでパーソナライズされたレコメンデーションの重要性が増しています。しかし、大規模なユーザー・アイテムデータを扱うレコメンドシステムでは、スケーラビリティ（大規模なデータへの対応力）を確保しながら、低レイテンシ（高速応答）を実現することが課題となっています。 従来のMatrix FactorizationやFactorization Machinesといった手法では、特徴量の柔軟な追加が難しく、新しいユーザーやアイテムが追加された場合や特徴量が変化した際にモデル全体の再学習が必要となるため、大規模サービスでの運用においてスケーラビリティの課題があります。 この課題を解決する手法として注目されているのが『Two-Tower モデル』です。この手法では、ユーザーとアイテムの特徴を
Evolutionary Optimization of Model Merging Recipesを理解する(論文編)
Evolutionary Optimization of Model Merging Recipesについて 先日、sakana.aiが発表した論文になっています。大規模言語モデル(LLM)のパラメータと下流タスクでの性能の関係は、Task Arithmeticなどで研究されてきました。そこから、複数のLLMのレイヤーをパラメータを混ぜて一つにする方法が提案されてきました。この論文では、パラメータの混ぜ方だけでなく、レイヤーのマッチングまで一本化して最適化する手法を提案しています。 個人的に、この手法の発展が楽しみです。行く末は、ビッグテックが要するクローズドな大きなモデル(GPT4, Geminiなど)を、オープンソースの複数のモデルが超えていく未来が来るかもしれません(スイミーのように)。 この論文が扱う問題の理解 この論文が解く問題は、モデルの合体(model merging)の最適
勾配ベースの最適化手法について直近に読んだ論文のまとめ
概要 勾配ベースの最適化手法について直近数ヶ月で読んだ論文を元にまとめる。網羅的ではないことに注意。 構成 以下のような構成でまとめる。 Adamの派生手法 補助的に用いられる最適化手法 リソース消費を最適化する手法 1. Adamの派生手法 Decoupled weight decay (SGDW, AdamW) [5]ではAdamのweight decayの実装の問題点を理論的に解明し、これに対処する代替アルゴリズムを提案した。提案手法はAdamの汎化性能を改善し、CIFAR-10, ImageNet32x32による評価でSGD with momentum(提案手法以前ではAdamを上回ることが多かった)と同等の性能となることを示した。 Rectified Adam (RAdam) RMSpropやAdamなどのadaptiveな最適化手法において、warmupが学習の安定性や汎化性能
検索結果0件を回避するためのクエリ書き換えアプローチ - ZOZO TECH BLOG
はじめに こんにちは、データサイエンス部の朝原です。普段はZOZOTOWNにおける検索の改善を担当しています。 ZOZOTOWNには100万点を超える商品が存在し、毎日2700点もの新商品が追加されています。このような膨大な商品数を扱うZOZOTOWNにおいて、ユーザーが求める商品を見つけやすくするための検索機能は非常に重要です。 一方で、ファッションという日々ニーズが激しく変化するドメインにおいて、ユーザーのニーズを検索クエリから正確に把握し、適切な商品を提示することは困難を伴います。特に、検索システムにおいて検索結果が0件である（以下 0件ヒット）ことはユーザーにとって悪い体験となり、離脱を招いてしまいます1。実際にZOZOTOWNでは、日々0件ヒットが発生しており、大きな課題となっています。 本記事では、検索結果が0件になる主な原因と、その対策の1つであるクエリ書き換えについて紹介し
おすすめされた理由がわかるXAIレコメンドモデルを動画配信サービスログで試してみた - ENGINEERING BLOG ドコモ開発者ブログ
はじめに 本記事はNTTドコモ R&D Advent Calendar 2022の20日目の記事です。 こんにちは。 NTTドコモ サービスイノベーション部の明石です。 私は業務でドコモが持つECサイトや動画配信サービスにおけるレコメンドシステムの研究開発をしております。 本記事では、レコメンドとは？という部分から、レコメンドされた内容の理由を説明するXAI（eXplainable AI）モデルの評価結果について述べます。 本記事の内容は情報処理学会所属、MBL研究会*1第104回発表会にて報告した内容*2を基に執筆しております。光栄なことに当発表会において優秀発表賞を頂くことができましたので、論文の方も是非ご覧になってください。 忙しい方向け レコメンドは様々なサービスで利用され、ユーザに合ったコンテンツを推薦します。 XAIとは、判断に至った理由を説明してくれるAIです。 レコメンドに
対話要約研究の最前線 前編 〜データセットと評価指標の紹介〜 - RevComm Tech Blog
本記事の著者はResearch Engineerの大野です。最近は、ホロウナイトというゲームをやっていましたが、もう少しでクリアというところで敵が倒せず諦めました。 はじめに RevCommは電話営業や顧客応対の通話を支援するAI搭載型のIP電話「MiiTel」を提供しています。 この製品は、通話の文字起こしを保存する機能を備えており、RevCommは数千時間の対話データに接しています。 この対話データに対する支援の1つとして対話要約が考えられます。対話要約とは、入力された対話から、その主要な概念を含むより短い文書（要約）を自動的に作成することです。 ユーザは、要約を作成する手間が省けたり、あるいは要約を読むことで対話の概要をより早く理解できるなどの利点があります。 これから前編と後編の2回に分けて、対話要約に関する記事を書きます。今回の記事では、はじめにいくつかの対話要約のデータセットを
【論文紹介】A foundation modelfor the Earth system:気象や環境等の時空間データ向けの基盤モデル
【論文紹介】A foundation modelfor the Earth system:気象や環境等の時空間データ向けの基盤モデル こんにちは！よっしゃと申します。 今回は、気象や環境等の時空間データを対象とした基盤モデルのモデルの論文「A foundation modelfor the Earth system」の紹介します。 地球システムデータとは(天候、海洋、大気...etc) 地球システムデータの特徴 多次元:緯度経度(空間)×気圧階層(高度)×時間方向を持つ多次元構造のデータ 多変数：大気、海洋、陸面、氷床など、多様な物理現象を含む ビッグデータ:数年、数十年の観測、日本全域あるいは地球全体の観測データ 扱う上での難しさ 異種データの統合：異なる変数（気温、風、湿度、波高、大気化学成分など）でそれぞれの（水平・鉛直・時間）解像度がバラバラ 高次元性：全球かつ高解像度データは超大
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ウォンテッドリーにおける推薦システムのオフライン評価の仕組み
UI/UXが無意識に検索行動に与える影響について
RANSACを利用した3次元点群の前処理について
KDD2022論文読み会：LinkedInの推薦システムから学ぶ
