NLP2025 参加報告 - Gunosy Tech Blog
こんにちは、データサイエンス部の森田、大城、新規事業開発室の井口です。 もう気がつけば開催から一月経ってしまいましたが、今回の記事は 3/10 ~ 3/14 の 5 日間にわたって開催された言語処理学会第 31 回年次大会 (NLP2025) の参加レポートになります。 スポンサーしてます NLP2025 について 論文紹介 [P8-15] 逆プロンプトを用いたコールドスタート推薦 [A2-1] 大規模言語モデルにおける複数の指示追従成功率を個々の指示追従成功率から推定する [A5-4] プロンプトに基づくテキスト埋め込みのタスクによる冗長性の違い まとめ NLP2025 について 言語処理学会は人工知能の一分野である（自然）言語処理を専門とする学会です。近年は特に LLM の話題が多く、参加者の幅も広がっているようです。 昨年に引き続きオフライン・オンラインのハイブリッド開催となり、長崎
MetaのWatermark Anything Modelの論文を読み解く - stMind
arxiv.org Metaが画像電子透かし技術に関する論文を発表しました。MetaのAnything Modelといえば、Segment Anything Modelがありますが、今回の論文はWatermark Anything Model。一体どのような技術なのか？論文の内容をまとめてみました。 Introのまとめ 画像電子透かし技術は、人間の目には見えない形で画像に情報を埋め込む技術です。従来は著作権保護などを目的としていましたが、近年のAI生成画像の普及に伴い、その用途は大きく変化しています。 ホワイトハウスの行政命令やEUのAI法など、各国政府はAI生成コンテンツの識別を容易にするための規制を導入しており、電子透かしはそのための重要な手段として注目されています。 しかし、従来の電子透かし技術は、画像の一部を切り貼りする「スプライシング」などの操作に対して脆弱です。例えば、電子透か
分散共分散行列の固有値問題と主成分分析(PCA)｜スクラッチ実装で理解する機械学習アルゴリズム #1 - Liberal Art’s diary
データ分析や機械学習を行う上で、必ずしも全ては必要ないにしても最低限の理論の理解は欠かせません。とはいえ、とっつきづらかったり数学がネックになったりで学習に挫折するケースをよく拝見します。 こういった挫折のケースの要因は読み手の知識不足の際もあるのですが、本によっては説明が不十分だったり読みにくかったり誤植があったりと単に理解しやすい文面で書かれていないというのもあります。また、実装本の中にはライブラリの使い方の説明がメインのケースもあります。 そこで、本シリーズではあえてスクラッチ実装を元に機械学習のアルゴリズムを実装していくことで、アルゴリズムの概要を掴んだり理論の流れを掴んだりできるようにできればと思います。実装のほとんどが車輪の再発明に近くなりますが、ベーシックなアルゴリズムをあえて一から自分で追ってみるというのは引き出しを増やすという意味で非常に有意義です。 #1では主成分分析に
nDCGを2つのランキングが変わらないことの確認に使ってみた
Spearman相関係数とSpearman Footruleに関しては、2つのランキングで要素がどのくらい移動したかを数値化したもので、上位k件での評価をすると不一致要素が発生しうる。もう一方のランキングに含まれない要素は距離計算不能となるのでその点でこの2つは今回の要件的には不適切です。上位を重視するという点については、nDCGは下位ほど減点することで相対的に上位に加点することになりますし、不一致要素も関連度0として扱えばよいので今回の要件をクリアしています。 nDCGとは？ nDCG(Normalized Discounted Cumulative Gain)は、検索結果やレコメンデーションの品質の評価などに使われる指標です。 nDCGはDCGを正規化した指標で、理想のDCG(IDCG)で割ることで正規化しており、これにより検索クエリ同士比較しやすくなります。 \mathrm{nDCG
最強DB講義 #35 大規模言語モデルに基づく検索モデル
BERTやGPTなどの大規模言語モデルに基づく検索モデルは、様々なテストコレクションにおいて優れた性能を発揮し多くの注目を集めている。これまでに様々な検索モデルが提案されてきており、大規模言語モデルの情報検索への適用は、実サービスにおいても一般的なものとなっている。本講義では、大規模言語モデルを利用した…
Raggle第2回コンペ - StaticEmbeddingで安全に爆速RAGを実施する
Raggleの第2回コンペでアイデア賞をいただいたのでメモ。ありがとうございます〜 ソースコード 下記を参考に、Transformerモデル組み込みたいんやけど...と生成AIに相談してコード作りました。要件定義と手元デバッグ野郎でした。 解法のコア このツイートにほぼすべてが詰まっています。Twitter最高! TransformerではないEmbeddingモデルである、static-embedding-japaneseをベクトル検索に用いました。 著者のセコンさんもTwitterに書いてくださっていますが、CPUでも爆速でEmbeddingできます。 今回のコンペで使った文書のEmbeddingに使う時間を比較してみたところ、以下の通りでした。 モデル 時間 上記は 396chunks（1chunk, 1000文字ごとチャンク） での計測時間です。 ※ 各々のCPUのスペックやOpe
小型LLM「ABEJA Qwen2.5-7B Model」学習のための蒸留のパイプライン並列化 - ABEJA Tech Blog
はじめに こんにちは、Labsチームの藤本です。 弊社は、経済産業省とNEDOが実施する、国内の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の1期に続き、2期にも採択され、そこで大規模言語モデルの開発を進めています。今回は、そのプロジェクトの中で実施した大規模言語モデルの蒸留（Knowledge Distillation）に関する技術的な取り組みをご紹介します。 本蒸留の成果については、以前の記事（https://tech-blog.abeja.asia/entry/geniac2-qwen25-7b-v0.1）で既に紹介しております。本記事では、特にNeMoフレームワークにおける蒸留の仕組みと、NeMoで大規模なモデルを効率的に蒸留する際の技術的課題およびABEJAではどのように実装したかについて紹
DistillerでDeepLearningのモデルを軽量化: Gradual Pruning編 - tkato’s blog
DeepLearningのモデル軽量化の気になっていたライブラリを使ってみました。今回はざっくりと導入の仕方と簡単な使い方、ライブラリの仕組みなどを調べた内容を書きたいと思います。はじめて使う人のガイドになればと思います。 IntelのNeural Network Distiller。pruningや8-bit quantizationなど軽量化アルゴリズムのフレームワーク。PyTorchのモデルを軽量化してONNX出力。TensorBoardと連携したモニタリングもできて使い勝手良さそう。https://t.co/5qm2IoUuuA— tkato (@_tkato_) 2018年5月1日 Distillerとは PyTorch向けのモデル圧縮ライブラリです。以下のような特徴があります。 数種類の枝刈り(pruning), 量子化(quantization), 正則化(regulariz
相互情報量からみるDeep Learning
Deep Learningの表現学習を情報量という観点で見てみる。 所属組織のしがらみがあるので公開情報に限定し自分の考察などは基本記述しない まとめ 相互情報量使うといろいろおもしろ表現学習できるし汎化誤差にも関係ありそうだし、相互情報量大事だよ！ おまけで相互情報量を計算するサンプルコード載せたよ！ 相互情報量とは？ ２つの確率変数XとYの情報がどれだけかぶっていないかを表す指標で以下で定義される I\left(X;Y\right)\equiv D_{{\rm KL}}\left(p\left(x,y\right)||p\left(x\right)p\left(y\right)\right)=\iint p\left(x,y\right)\log\frac{p\left(x,y\right)}{p\left(x\right)p\left(y\right)}dxdy ここでD_{\rm{
MPR(Mean Percentage Ranking)〜暗黙的にユーザの嗜好を得られるレコメンドシステムにおけるオフライン評価指標の紹介
Precisionベースの測定指標はユーザにとってどれくらいレコメンド結果が望ましくないかを図る指標です。 確かに、レコメンドしたアイテムがユーザにとって望ましいかったのか、そうでなかったのかはAmazonで商品を評価するために☆をつけたり、Youtubeでgoodボタンやbadボタンを押したりといった、レコメンド結果に対する明示的な評価がないとわかりません。 MPRの定義MPRの定義は以下になります。 $$ MPR = \frac{\sum_{u \in U}\sum_{i \in l(u)} r_{u,i} \overline{rank_{u,i}}}{\sum_{u \in U}\sum_{i \in w(u)} r_{u,i}} $$ \( U \) はユーザの集合\( l(u) \) はユーザ \( u \) へのレコメンドしたアイテムの集合\( r_{u,i} \) はユーザ
【論文要約】FederBoost: Private Federated Learning for GBDT - 名前はまだない
はじめに Federated Learningに興味があり色々確認していたのですが、決定木ベースのモデルはないのかと思うようになりました。 探してみると以下の論文が出てきたので、読みました。 メモとしてここで簡単にまとめます。 arxiv.org はじめに 概要 イントロ 事前知識 GBDT Federated learning Secure aggregation Differential privacy 設定 環境の設定 FLの設定 Vertical FederBoost 学習 バスケット化 差分プライバシーノイズ付加 学習の全体像 推論 プライバシー保護について Horizontal FederBoost 分散バケット構築 学習 プライバシー保護について 実装と実験 有用性の検証 効率性の確認 LAN設定の場合の結果 WAN設定の場合の結果 概要 Federated Learning
DeepLabV3を使った商品棚のSemantic Segmenation - Safie Engineers' Blog!
こんにちは。セーフィーで画像認識エンジニアをやっている柏木です。 今回はセーフィーで行ったPoC (Proof of Concept) の一つである、商品棚のSemantic Segmentationについて紹介いたします！ 背景と課題 Semantic Segmentation DeepLabV3 データセットとアノテーション MMSegmentationを使った学習 データセットClassの作成 データセットConfigの作成 学習・テストConfigの作成 環境 学習 評価結果 終わりに 背景と課題 大手スーパーマーケット様より、商品棚の欠品状況を解析したいとのお話がありました。欠品の状況が解析できれば、品出しのタイミングを最適化し、機会損失を削減することができます。イメージングチームではこれらの課題を解決すべく、PoCを行ってみることとしました！ こちらが実際の商品棚の写真になりま
Implicit biasによる正則化効果 - Preferred Networks Research & Development
本記事は，2019年度インターン生だった東京大学 D1 の中島蒼さんによる寄稿です．中島さんはインターンシップにおいて，畳み込みニューラルネットワークの学習について研究を行いました．この記事は，インターンシップ中に文献調査していたimplicit bias に関するレビューとなっています． NN の学習はなぜうまくいくのか 畳み込みニューラルネットワーク（Convolutional NN; CNN）は画像処理など様々な分野に応用され，大きな成功を納めています．すなわち，様々なデータについて，訓練データから学習したニューラルネットワーク（Neural Network; NN）を用いて未知のデータについての予測や分類が行われています．このようにNN の学習が上手くいく，すなわち未知データに良く汎化することは経験的には分かっていますが，理論的な説明はまだ完全には成功していません． NN に限らず
GENIAC第2期成果/データグリッド：汎用画像生成基盤モデルの軽量化のためのTransformersベースLDM—LocalDiT—の開発
データ前処理: 元画像の中央を基準に1:1比率でクロップし、各解像度にリサイズしました。この処理によりアスペクト比の一貫性を保ちつつ、重要な被写体を中心に維持することができました。 効率的なデータパイプライン: WebDatasetフォーマットを採用し、NVIDIA DALIを使用した高速データローディングパイプラインを構築しました。これにより、I/Oボトルネックを最小限に抑え、GPUの稼働率を向上させることができました。 ただし、全解像度のデータを個別に保存する方式を採用したため、ディスク容量の不足や、データ移行に多大な時間を要するなどの課題も生じました。今後の改善点として、最高解像度（1Kや2K）のデータセットのみを保存し、学習時に動的にリサイズする戦略も検討価値があると考えています。 学習過程における特筆すべき観察点 学習過程で以下のような興味深い現象が観察されました： データ品質の
Deep Q-Network 論文輪読会
1. The document discusses implicit behavioral cloning, which was presented in a 2021 Conference on Robot Learning (CoRL) paper. 2. Implicit behavioral cloning uses an implicit model rather than an explicit model to map observations to actions. The implicit model is trained using an InfoNCE loss function to discriminate positive observation-action pairs from negatively sampled pairs. 3. Experiments
強化学習のマンカラ環境を作った話 - マルチエージェントRLライブラリ概観
初めに この記事は強化学習アドベントカレンダー 2021の記事として書かれたものです． 初めまして，qqhann です．筑波大で修士をしており，修了の瀬戸際です． 強化学習若手の会を知ったのは今年の初め頃だったと思います．Slack コミュニティに参加し，勉強会に参加してたまに質問させていただいたり，共有された記事を読んだりして，いつもためになっています．最近では，ゼロから作る Deep Learning 4 のオープンレビューをそこで知り，通読させていただきました．レビューするつもりで文章を読むと集中力が違うからか，理解も進むように感じますね．強化学習若手の会にせっかく参加しているので，そこでもいつまでも読み専門というのも良くないなと思い，記事を書くことにしました．初めての Zenn 記事でもあります． 今年の前半に，強化学習を動かせるマンカラ環境を作成し，公開しました． 当時は Ope
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【DL輪読会】GradMax: Growing Neural Networks using Gradient Information
ざっくりTabMを知る
【DL輪読会】Flow Matching for Generative Modeling
Mip-NeRF ICCV2021輪読会スライド