Vision-Language Modelを活用した「見た目が近い商品」レコメンド改善の取り組み | メルカリエンジニアリング
こんにちは、メルカリのAI/LLMチームで機械学習エンジニアをしているarr0wとshoです！ 本テックブログでは、Vision-Language Modelの一つであるSigLIP [1]を、メルカリの商品データ（Image-Text Pairs）でファインチューニングし、メルカリの商品画像Embeddingの性能を大幅に改善したプロジェクトについて紹介します。 今回作成したSigLIPの性能を評価するために、商品詳細ページの「見た目が近い商品」のレコメンド機能でA/Bテストを実施しました。 この「見た目が近い商品」のレコメンド機能は、社内ではSimilar Looksと呼ばれています。作成したモデルをSimilar Looksの類似画像検索に適用し、既存モデルとの比較のためのA/Bテストを行いました。 そして、その結果として、主要なKPIにおいて以下のような顕著な改善が確認できました。
深層学習と古典的画像アルゴリズムを組み合わせた類似画像検索内製化
第63回 コンピュータビジョン勉強会＠関東の発表資料。 https://kantocv.connpass.com/event/344139/ 概要： 世界182ヶ国に1100万人超の会員を有し、出品数630万品を超える CtoC EC サイト BUYMA を運営する株式会社エニグモにおいて、類…
VAEによる画像検索システム - Qiita
※データセットの配布元： GitHub「fashion-mnist／zalandoresearch」。The MIT License (MIT) Copyright © [2017] Zalando SE, https://tech.zalando.com ※出典： Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms. Han Xiao, Kashif Rasul, Roland Vollgraf. arXiv:1708.07747 また、ネットワークは以下のようなものを用います。 エンコーダー デコーダー VAEの結果 作成したVAEモデルは以下のような結果になりました。 訓練結果 最初はテストデータの誤差が異常に大きくなっていましたが、正常に訓練できています。 再現画像 上段
特徴抽出器の学習と購買履歴を必要としない類似画像による関連商品検索システム/related-product-search-system-based-on-similar-images
情報処理学会インターネットと運用技術研究会(IOT) 通算第 37 回 研究会 http://www.iot.ipsj.or.jp/news/iot37-program
Airbnbにおける分散表現を用いた推薦の改善と、風景内の文字検出
3/29のarXivTimes輪講では、Airbnbから公開された分散表現を用いた推薦の改善と、風景内の文字(看板の文字など)を検出する手法のサーベイ論文を扱いました。 Real-time Personalization using Embeddings for Search Ranking at Airbnb こちらはユーザーに推薦する物件を分散表現を用いて改善したという研究です。ユーザーの嗜好を短期と長期2つの観点から捉えようとしており、前者については時系列のクリックセッションから、後者については予約履歴から分散表現を作成しています。ただ予約のインターバルは長いため、素直に後者を行うとあまり参考になりません。そこで、ユーザー/物件をカテゴリに分けカテゴリ単位でデータ集約して分散表現を作成しています。企業研究らしく、実際の検証/効果測定についても記載がありとても参考になります。 Scen
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
