日本語SPLADEモデルと学習コードのOSS公開
はじめに こんにちは。株式会社ビズリーチの検索基盤グループで機械学習エンジニアをしているDatと申します。 求職者検索の高度化とセマンティック検索への挑戦 「ビズリーチ」では、企業と求職者との最適なマッチング機会を最大化するため、日々検索品質の向上に取り組んでいます。特に、求職者の職務経歴書や企業の求人票の複雑な内容を深く理解し、関連性の高い候補者を見つけ出すことは、プラットフォームのコアな課題です。この課題を解決するため、我々はセマンティック検索の開発を進めています。 セマンティック検索は、単語の一致だけでなく、意味的な類似性に基づいて結果を返す技術です。この技術のプロダクトへの展開において、我々は高精度かつ低レイテンシと高い解釈性というプロダクト要件を満たす検索モデルの採用が必要でした。その解決策として着目したのが、SPLADE (Sparse Lexical AnD Expansio
識別モデルと生成モデル - 機械学習・自然言語処理の勉強メモ
機械学習の分類問題は、識別モデルと生成モデルに大別される。 （識別関数によるアプローチもあるがここでは言及しない。） 自分の頭の整理のために、これらの違いをまとめる。 識別モデル（Discriminative model） サンプルデータがクラスに分類する条件付き確率を直接モデル化する。 分類時は、を選択する。 分類問題で求めたいのは、個々のデータがどのクラスに所属するかであり、識別モデルは所属確率を直接求めるモデルである。この考え方は最もシンプルで理にかなっており、機械学習で分類問題を解く場合、識別モデルによるアプローチが一般的な手法となっている。 生成モデル（Generative models） 観測データを生成する確率分布を想定し、観測データからその確率分布を推定する方法。 識別モデルと同様に条件付き確率をモデル化するがその方法が異なる。 （生成モデルでは直接これをモデル化しない。）
Two-Tower モデルで作る高速でスケーラブルなレコメンドシステム｜株式会社ココペリ Tech blog
こんにちは、Fact & Dataグループの岡﨑です。近年、ECサイトやコンテンツプラットフォームにおいて、リアルタイムでパーソナライズされたレコメンデーションの重要性が増しています。しかし、大規模なユーザー・アイテムデータを扱うレコメンドシステムでは、スケーラビリティ（大規模なデータへの対応力）を確保しながら、低レイテンシ（高速応答）を実現することが課題となっています。 従来のMatrix FactorizationやFactorization Machinesといった手法では、特徴量の柔軟な追加が難しく、新しいユーザーやアイテムが追加された場合や特徴量が変化した際にモデル全体の再学習が必要となるため、大規模サービスでの運用においてスケーラビリティの課題があります。 この課題を解決する手法として注目されているのが『Two-Tower モデル』です。この手法では、ユーザーとアイテムの特徴を
因果表現学習と概念ベースの表現学習の理論とマーケティングにおける応用の考察 - tomtom58’s blog
はじめに 1. なぜ因果表現学習が必要になったのか 1.1 従来の表現学習の限界 1.2 分布シフト問題 1.3 解釈可能性の欠如 1.4 変数間の独立性の仮定 2. 因果表現学習とは何か 2.1 因果表現学習の基本概念 2.2 因果グラフと構造方程式モデル 2.3 識別可能性（Identifiability） 2.4 因果表現学習の主要アプローチ 2.4.1 β-VAE（β-Variational Autoencoder） 2.4.2 CausalVAE 2.4.3 iVAE（identifiable VAE） 3. 概念ベース表現学習（CBRL） 3.1 CBRLの基本理念 3.2 CBRLの数学的定式化 概念抽出段階 概念ベース予測段階 3.3 CBRLの主要手法 3.3.1 Concept Bottleneck Models（CBM） 3.3.2 PCBM（Post-hoc Con
遺伝的アルゴリズムによる非線形重回帰分析の変数＆関数選択
まず回帰分析とは 回帰分析とは何らかの目的変数を別のパラメータ（説明変数）から導き出すモデルを考えることです。 例えばある人の身長は遺伝によりその人の父親の身長と相関があると考えられます。この時息子の身長を「目的変数」として父親の身長から息子の身長を推定することを考えます。 まず、何人もの人の父親の身長(x(i))と息子の身長(y(i))を調べてデータを作ります(x(1),y(1)), x(2),y(2)), x(3),y(3))...)。それをプロットしたところ下図のようになったとします。 この時、なんとなく以下の直線のような関係があると推測できます。式で書くとy=ax+bです。 ではどのようなa,bを選ぶのが一番いいのでしょう？ それは誤差が一番少なくなるa,bです。具体的にはy=ax+bで計算したyの値（理論値）と実際のyの値の差（の2乗）の和（ 残差平方和 ）が最小になるa,bです
Implicit biasによる正則化効果 - Preferred Networks Research & Development
本記事は，2019年度インターン生だった東京大学 D1 の中島蒼さんによる寄稿です．中島さんはインターンシップにおいて，畳み込みニューラルネットワークの学習について研究を行いました．この記事は，インターンシップ中に文献調査していたimplicit bias に関するレビューとなっています． NN の学習はなぜうまくいくのか 畳み込みニューラルネットワーク（Convolutional NN; CNN）は画像処理など様々な分野に応用され，大きな成功を納めています．すなわち，様々なデータについて，訓練データから学習したニューラルネットワーク（Neural Network; NN）を用いて未知のデータについての予測や分類が行われています．このようにNN の学習が上手くいく，すなわち未知データに良く汎化することは経験的には分かっていますが，理論的な説明はまだ完全には成功していません． NN に限らず
推薦/情報検索システムにおけるバイアス除去と不偏学習 - Google スライド
このブラウザ バージョンのサポートは終了しました。サポートされているブラウザにアップグレードしてください。
ニューラルネットへのベイズ推定 - Bayesian Neural Network - nykergoto’s blog
ニューラルネットワークの過学習防止としてDropout という機構が用いられているのはご案内のとおりです。 この Dropout 、見方を変えるとディープラーニングにおける重みのベイズ推定に相当しているのではないか、という内容が Uncertainty in Deep Learning にて述べられていて、この記事ではその内容について解説していきたいと思います。 また末尾では実際にベイズ推定を実装して、予測がちゃんと不確実性を盛り込んだものになっているかどうか、を確認します。 基本的に記事の内容は元の論文(YARIN GAL さんの博士論文です)と同著者の解説ページを元にしています。それぞれ以下からアクセスできますので、解説じゃなくて自分で読みたい!という方はそちらを参考にしてください。個人的には解説も論文もとても読みやい (なんと数式もとても丁寧に記述されています!!) ので、英語が苦手
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
![[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent](https://cdn-ak-scissors.b.st-hatena.com/image/square/2f2f33cca068922eab045d09c5540a01ff9a48ad/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20171106dl2-171108033614-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
深層自己符号化器＋混合ガウスモデルによる教師なし異常検知
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
拡散モデルのサンプリング性能の良さを体感してみる - VISASQ Dev Blog
はじめに 検索チームの tumuzu です。 画像生成などの技術的進歩は凄まじいですね。簡単なプロンプトから綺麗で多様なデータが生成されていて驚きっぱなしです。そこで拡散モデルの理論的なところが気になったので勉強して記事にしてみました。 この記事では拡散モデルから生成されたデータの質の高さの大きな要因であるサンプリング性能について見ていきます。拡散モデルのサンプリング性能の良さを体感するために、一般的なサンプリング法での問題点を確認しそれが拡散モデルと同等のモデルでは解決できていることを簡単な2次元データを使って見ていきます。 ちなみに『拡散モデル データ生成技術の数理』という書籍を参考にしてます。わかりやすくてとてもいい本でした。日本語で書かれた詳しい説明が見たい方はおすすめです。 一部環境ではてなブログの数式が崩れて表示されるようです。 数式を右クリックし、Common HTML を選
Gmail の優先トレイの論文を読んだ - @nojima's blog
最近、会社のグループウェアの通知がやたらと多い。 人によっては全ての通知を見ているらしいんだけど、自分の場合は自分宛て通知はみるけど、それ以外の通知は一部しか読んでない。 どうせ一部しか読まないのであれば、できるだけ価値のある通知を読みたいので、通知の中から読む価値の高い上位件をフィルタしてくれるプログラムを書きたい。 そういうわけで、偉大な先駆者である Gmail の優先トレイのアルゴリズムに関する論文『The Learning Behind Gmail Priority Inbox』を読んでみた。 Gmail 優先トレイ 優先トレイは、ユーザーごとの統計モデルを用いて、メールを重要度でランキングすることにより、information overload を軽減する試みである。 チャレンジ: メールの重要度をユーザーの明示的なラベリングなしに推定する 非定常的かつノイジーな訓練データを扱え
メタ学習（meta-learning）の紹介：Regression版で今年の東京の気温を当ててみました～ | GMOインターネット 次世代システム研究室
2018.10.01 メタ学習（meta-learning）の紹介：Regression版で今年の東京の気温を当ててみました～ こんにちは。次世代システム研究室のK.S.（女性、外国人）です。 夏休みはいかがでしたか？ 暑い日々がそろそろ終わり、これからは涼しくなって行くでしょう。では、来月の気温はどれくらいになるでしょうか？ 気温がよい感じで下がってくれれば、秋には綺麗な紅葉が見られるかな？ 紅葉を楽しみにしているので、機械学習の関連技術を利用し、東京の気温を予測してみたいなあと思いました。 最近、International Conference on Learning Representations (ICLR)といった有名な機械学習の学会が去年の3つの最優秀論文を発表しました。その中の一つは メタ学習についての論文 でした。発表結果を聞いて、え、meta-learningってなんです
Neural Tangentsによる無限幅深層ニューラルネットワークの構築とベイズ推論
要点¶Neural TangentsはGoogle AIが開発したJAXのラッパーライブラリです。無限幅 (中間層のユニット数$\to \infty$)のニューラルネットワーク (以後, NN: neural networks)を高速かつ簡単に構築及び学習させることを目的としています。 Neural Tangentsでは無限幅のNNを学習させる手法としてNNGP (Neural Network Gaussian Process)と NTK (Neural Tangent Kernel)の2つを実装しています。 この記事ではNNGPとNTKの要点を紹介し、Neural Tangentsを用いた実装について紹介していきます。 Neural-Tangentsに関連する文献¶ Paper : https://arxiv.org/abs/1912.02803 OpenReview : https:/
『Pythonではじめる数理最適化』の7章「商品推薦のための興味のスコアリング」をStanで解く
この記事は確率的プログラミング言語 Advent Calendar 2023の12/8の記事です。 概要 『Pythonではじめる数理最適化』はいい本ですよね。親しみやすい実例、分かりやすい数式、きれいなPythonコードと三拍子そろっています (今年のアドカレで改訂版が近いうちに出ることを知りました)。 7章「商品推薦のための興味のスコアリング」では、「何日前に直近の閲覧があったか」と「閲覧回数」の二つの軸で興味のスコアを考えます。興味のスコアが単調減少であるという制約のもと、再閲覧の割合と推定値の二乗誤差を最小化するという凸二次計画問題として解いています。この記事ではStanで解くとこんな感じですというのを示します。メリットとしてベイズ信頼区間も推定されます。 データ 公式のリポジトリの7章のipynbファイルを途中まで実行して得られるデータフレームrf_dfを使用します。他の人の扱い
DAG の構造学習を連続最適化問題に落とし込んで解く NO TEARS アルゴリズム - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? NO TEARS アルゴリズムとは NO TEARS はデータから有向非巡回グラフ（Directed Acyclic Graph; DAG）を推定するためのアルゴリズムです。因果推論ライブラリ CausalNex の中で使われています。 $d$ 個の変数間の関係を知るために DAG を推定しようとすると、$d$ に対して計算量が急増化することは容易に想像できます。実際、DAG 学習問題は素直に取り組むと NP 困難となります。これを解消するために、NO TEARS アルゴリズムでは「非巡回」という条件を滑らかな関数で表現し、DAG の学
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
情報検索のためのユーザモデル
情報検索における評価指標の最新動向と新たな提案
Minimum Bayes-Risk Decoding における性能変動の理解に向けて（2024年6月5日 第59回 NLPコロキウム）
論文紹介：What Learning Algorithm is In-Context Learning?�Investigation with Linear Models
