似非エラトステネスの篩は「アイデアとして正しい」のか？ - もうカツ丼はいいよな
少し前に某所でエラトステネスの篩の実装が正しくないとかなんとかで話題になったことがあった*1*2。そこでの結論が「アイデアとしては正しいが高速化のための実装としては間違い」みたいなところに落ち着いてしまってイマイチ腑に落ちなかったので少し調べた。 背景の整理 一般的に知られるエラトステネスの篩について エラトステネスの篩は、次のようなアルゴリズムとして紹介されることが多い。 適当な上限を定める。 上限までの長さの論理値配列を作成し、全ての値を真で初期化する。 真または偽のいずれかを素数を示す目印とするが、ここでは真で素数を示すものとする。 1番目の値を偽にする。 配列を先頭から順に見ていく。 値が真だったら、その値のインデックスの整数倍（1倍を除く）のインデックスにある値を偽にする。 例：3番目のインデックスであれば、6番目、9番目、12番目…の値を偽にする。 このとき、確認する範囲をイン
"Item Recommendation from Implicit Feedback"の紹介 | | AI tech studio
AILab Creative Researchチームの富樫です。 このブログでは先月末にarxivに投稿された“Item Recommendation from Implicit Feedback”[1]という論文を軸に紹介しつつ、 周辺分野の話題について議論したいと思います。 この論文はitem推薦というタスクにおける手法の各種パラダイムの概観をコンパクトに解説した教科書的内容になっています。 著者はBayesian Personalized Ranking (BPR)[2]を開発したGoogle Research所属のSteffen Rendle氏であり、 長年この分野を開拓してきた権威の一人です。 元論文の内容は元論文を読めばわかることですし、 蛇足かもしれませんが、最近の研究との関連性や議論、個人的な感想などを示すことで、このブログが元論文に対する補足資料のようになることを目指した
論文解説 IntentRec: Netflixにおける訪問意図を考慮したパーソナライズ推薦
この記事は、Netflixが発表した推薦システムに関する手法 IntentRecについて解説します。 ユーザーが「今、何をしたいか」という意図を予測し、それを次の推薦アイテムの予測に活用する「階層的マルチタスク学習」のアーキテクチャを提案し、Netflixの実データでSOTA（最高性能）を達成した内容です。 この論文のすごいところ ユーザーの「次に何をしたいか」という意図 （例：新しい作品の発見、いつもの続きを視聴）を予測し、それを推薦に活かす新しい手法 IntentRecを提案しました。 「意図予測」→「アイテム予測」という階層的マルチタスク学習（Hierarchical-Multi-Task-Learning, 以下H-MTL）を採用しました。これにより、意図を予測するだけでなく、その予測結果を「特徴量」として次のアイテム推薦に利用することで、推薦精度を大幅に向上させた。Netflix
[CCSE] メルカリでのパーソナライゼーション機能の研究開発サイクル / CCSE2020-Pesonalization-Research-and-Development-Cycle
CCSE2020 12月11日（金） 13:10~ A3会場
![[CCSE] メルカリでのパーソナライゼーション機能の研究開発サイクル / CCSE2020-Pesonalization-Research-and-Development-Cycle](https://cdn-ak-scissors.b.st-hatena.com/image/square/849bf4dd346bde49b0c5c1732561d7db802bb128/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F02d32b85407142b4be0da1b8b3572779%2Fslide_0.jpg%3F16895679)
日経電子版におけるリアルタイムレコメンドシステム開発の事例紹介/nikkei-realtime-recommender-system
日経電子版におけるリアルタイムレコメンドシステム開発の事例紹介/nikkei-realtime-recommender-system
日本語SPLADEモデルと学習コードのOSS公開
はじめに こんにちは。株式会社ビズリーチの検索基盤グループで機械学習エンジニアをしているDatと申します。 求職者検索の高度化とセマンティック検索への挑戦 「ビズリーチ」では、企業と求職者との最適なマッチング機会を最大化するため、日々検索品質の向上に取り組んでいます。特に、求職者の職務経歴書や企業の求人票の複雑な内容を深く理解し、関連性の高い候補者を見つけ出すことは、プラットフォームのコアな課題です。この課題を解決するため、我々はセマンティック検索の開発を進めています。 セマンティック検索は、単語の一致だけでなく、意味的な類似性に基づいて結果を返す技術です。この技術のプロダクトへの展開において、我々は高精度かつ低レイテンシと高い解釈性というプロダクト要件を満たす検索モデルの採用が必要でした。その解決策として着目したのが、SPLADE (Sparse Lexical AnD Expansio
Item2vecを用いた商品レコメンド精度改善の試み | メルカリエンジニアリング
こんにちは、メルカリのレコメンドチームで ML Engineer をしている ML_Bear です。 普段はメルカリのホーム画面などに表示されるレコメンドパーツの改善を担当しています。今回はメルカリの莫大なユーザーログデータと、出品された商品に付与されているメタデータ(詳細後述)を活用したレコメンドロジック改善事例をご紹介します。 商品メタデータについて メルカリではユーザーの商品検索体験を向上させるため、出品された商品に対して様々なメタデータを付与しています。ファッションアイテムだと色や生地感、家電だと型番といった、主として商品の属性をあらわす様々なデータをメタデータと呼称しています。 今回、私は本やマンガに紐づいているメタデータ (以下、タイトルデータと記載) に着目しました。 メルカリアプリ内では、本やマンガに商品が属するシリーズを表現するメタデータが付与されています。例えば「キング
入力テキストと文書の関連度に基づく指示追従検索
入力テキストと文書の関連度に基づく指示追従検索 こんにちは！愛媛大学大学院 修士1年の杉山誠治です。この度は、株式会社レトリバの夏季インターンシップに参加し、指示追従検索に関する研究に取り組みました。本記事では、インターンシップで取り組んだ研究内容について報告します。 はじめに 情報検索では、ユーザが検索時に入力した語句（クエリ）と文書をコンピュータが比較できる数値列（ベクトル）に変換し、ベクトル間の類似度に基づいてクエリに最も近い文書を検索します。 例えば、図1のように「池袋 グルメ」というクエリが与えられた場合、「東京 池袋のマップ」という文書よりも「東京 池袋おすすめグルメ」のベクトルが近ければ、類似度が高いとみなされ、クエリに対する上位の検索結果として選択されます。 図1：クエリと文書による検索 近年、クエリだけでなくユーザの嗜好や意図を反映した具体的な補足・リクエスト（指示文）に
RecSys 2025参加レポート - ZOZO TECH BLOG
はじめに こんにちは、データシステム部推薦基盤ブロックの上國料（@Kamiko20174481）とMA推薦ブロックの住安（@kosuke_sumiyasu）です。 私たちは2025年9月22日〜9月26日にチェコのプラハにて開催されたRecSys2025（19th ACM Conference on Recommender Systems）に現地参加しました。本記事では会場の様子や現地でのワークショップ、セッションの様子をお伝えすると共に、気になったトピックをいくつか取り上げてご紹介します。 はじめに RecSys とは 開催地のプラハについて 会場の様子 論文の紹介 Orthogonal Low Rank Embedding Stabilization 感想・考察 Suggest, Complement, Inspire: Story of Two-Tower Recommendatio
識別モデルと生成モデル - 機械学習・自然言語処理の勉強メモ
機械学習の分類問題は、識別モデルと生成モデルに大別される。 （識別関数によるアプローチもあるがここでは言及しない。） 自分の頭の整理のために、これらの違いをまとめる。 識別モデル（Discriminative model） サンプルデータがクラスに分類する条件付き確率を直接モデル化する。 分類時は、を選択する。 分類問題で求めたいのは、個々のデータがどのクラスに所属するかであり、識別モデルは所属確率を直接求めるモデルである。この考え方は最もシンプルで理にかなっており、機械学習で分類問題を解く場合、識別モデルによるアプローチが一般的な手法となっている。 生成モデル（Generative models） 観測データを生成する確率分布を想定し、観測データからその確率分布を推定する方法。 識別モデルと同様に条件付き確率をモデル化するがその方法が異なる。 （生成モデルでは直接これをモデル化しない。）
21/12/14 複雑ネットワーク科学入門書籍の感想 - LWのサイゼリヤ
複雑ネットワーク科学 ここ2週間でネットワーク科学をザッと勉強したのでまとめておく。勉強する羽目になった経緯と結果は後日サイゼミの記事に書く。 概ね難易度順。ネットワーク科学はかなり新しい分野でここ20年くらいの発展が著しいので出版年も書いておいた（訳書の場合は原著も）。理論を解説する記事ではないので気になった人は適当なやつを自分で読んでください。 複雑ネットワーク科学 ①増田直紀、今野紀雄『「複雑ネットワーク」とは何か』 ②増田直紀『私たちはどうつながっているのか』 ③マーク・ブキャナン『歴史は「べき乗則」で動く』 ④ダンカン・ワッツ『スモールワールド・ネットワーク』 ⑤アルバート・ラズロ・バラバシ『新ネットワーク思考』 ⑥増田直紀、今野紀雄『複雑ネットワーク：基礎から応用まで』 ⑦バラバシ・アルバート・ラズロ『ネットワーク科学』 ①増田直紀、今野紀雄『「複雑ネットワーク」とは何か』 「
物体検出モデルの推論高速化入門
はじめに 株式会社EVERSTEELで機械学習エンジニアをしている加藤です。 機械学習システムの運用において、推論の高速化は重要な課題です。特にリアルタイムでの処理が求められるアプリケーションでは、レスポンス時間の短縮がユーザー体験に直結します。また、クラウド環境のコスト削減やエッジデバイスのリソース制約など、様々な観点から推論の効率化が必要とされます。 本記事では特に物体検出モデルのCPU推論に焦点を当て、ディープラーニングモデルの推論を高速化する方法を紹介するとともに、それらのベンチマーク結果を共有します。 「鉄ナビ検収AI」における推論高速化ニーズ 弊社では鉄スクラップの画像解析を行う「鉄ナビ検収AI」というアプリケーションを開発しています。本アプリケーションを提供するために多様な画像認識モデルを運用していますが、その中でも速度要件が厳しいものとして、荷台検出モデルが存在します。 荷
テキスト埋め込みモデルの蒸留に関する調査
テキスト埋め込みモデルの蒸留に関する調査 こんにちは！名古屋大学大学院 博士1年の矢野千紘です。 8月1日から9月30日までの2ヶ月間、株式会社レトリバのインターンに参加させていただきました。本記事ではインターンで取り組んだ、テキスト埋め込みモデルの蒸留に関する調査について紹介します。 テーマの概要 近年の言語モデルは高度化とともに大規模化が進んでいます。しかし、実応用においては大きなモデルは推論コストの観点から使いにくい場面も多いです。そこで、大きくて強いモデルを能力は維持したまま小さくしようという試みが存在します。 知識蒸留はそんな試みの一つであり、教師モデルと呼ばれる強いモデルの出力を利用して、生徒モデルに知識を落とし込もうという手法です。 知識蒸留のイメージ テキストを計算可能な表現に変換する、テキスト埋め込みモデルにおいても大規模化は進んでいます。以下はMTEB (Massive
Label Studioによる固有表現抽出のデータアノテーション ～ spacy のファインチューニング
ほかにもHomebrewやDockerなどでインストールすることもできます。詳細は公式ドキュメントをご参照ください。 インストールできた場合は、次のコマンドでLabel Studioを立ち上げられます。 localhost:8080 に接続して以下のような画面が表示されたら成功です。 HumanSignal. Label Studioのログイン画面のスクショ アノテーション ユーザー作成 「SIGN UP」を選択し、適当なメールアドレス、パスワードを入力してアカウントを作成してください。（メールアドレスは実際に使用しているものでも、user@example.com のようなものでもよいと思います。） 無事にユーザー作成ができた場合は以下のような画面に移ります。 HumanSignal. Label Studioのプロジェクト一覧画面のスクショ プロジェクト作成 「Create Projec
[DL輪読会]Adaptive Gradient Methods with Dynamic Bound of Learning Rate
[DL輪読会]Adaptive Gradient Methods with Dynamic Bound of Learning Rate
![[DL輪読会]Adaptive Gradient Methods with Dynamic Bound of Learning Rate](https://cdn-ak-scissors.b.st-hatena.com/image/square/d99958630e56d841519bd8ef69695d84250b8177/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fadabound-190325085133-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Two-Tower モデルで作る高速でスケーラブルなレコメンドシステム｜株式会社ココペリ Tech blog
こんにちは、Fact & Dataグループの岡﨑です。近年、ECサイトやコンテンツプラットフォームにおいて、リアルタイムでパーソナライズされたレコメンデーションの重要性が増しています。しかし、大規模なユーザー・アイテムデータを扱うレコメンドシステムでは、スケーラビリティ（大規模なデータへの対応力）を確保しながら、低レイテンシ（高速応答）を実現することが課題となっています。 従来のMatrix FactorizationやFactorization Machinesといった手法では、特徴量の柔軟な追加が難しく、新しいユーザーやアイテムが追加された場合や特徴量が変化した際にモデル全体の再学習が必要となるため、大規模サービスでの運用においてスケーラビリティの課題があります。 この課題を解決する手法として注目されているのが『Two-Tower モデル』です。この手法では、ユーザーとアイテムの特徴を
Evolutionary Optimization of Model Merging Recipesを理解する(論文編)
Evolutionary Optimization of Model Merging Recipesについて 先日、sakana.aiが発表した論文になっています。大規模言語モデル(LLM)のパラメータと下流タスクでの性能の関係は、Task Arithmeticなどで研究されてきました。そこから、複数のLLMのレイヤーをパラメータを混ぜて一つにする方法が提案されてきました。この論文では、パラメータの混ぜ方だけでなく、レイヤーのマッチングまで一本化して最適化する手法を提案しています。 個人的に、この手法の発展が楽しみです。行く末は、ビッグテックが要するクローズドな大きなモデル(GPT4, Geminiなど)を、オープンソースの複数のモデルが超えていく未来が来るかもしれません(スイミーのように)。 この論文が扱う問題の理解 この論文が解く問題は、モデルの合体(model merging)の最適
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ウォンテッドリーにおける推薦システムのオフライン評価の仕組み
UI/UXが無意識に検索行動に与える影響について
RANSACを利用した3次元点群の前処理について
