Owl/Crow：ModernBERTをゼロから学習したコード検索特化モデル
※追記（2025/11/19） 記事タイトルをより内容に即したものへ変更しました トークナイザの構築に関するセクションを新たに追加しました 言い回しを少し修正しました はじめまして。 私は大学で コード特化言語モデルを利用したコード検索の研究を行っています。 概要 本記事では、従来の CodeBERT / GraphCodeBERT 系モデルでは扱いづらかった 最大 512 トークンという入力長の制約 FlashAttention 非対応による学習・推論コストの高さ 事前学習・追加学習の再現性の低さ といった課題を踏まえつつ、ModernBERT アーキテクチャを用いてスクラッチ学習（ゼロから学習）からコード検索向けの埋め込みモデルを自作・公開するまでをまとめました。 具体的には、以下の点を中心に紹介します。 既存のコード特化言語モデル（CodeBERT / GraphCodeBERT 等
対話要約研究の最前線 前編 〜データセットと評価指標の紹介〜 - RevComm Tech Blog
本記事の著者はResearch Engineerの大野です。最近は、ホロウナイトというゲームをやっていましたが、もう少しでクリアというところで敵が倒せず諦めました。 はじめに RevCommは電話営業や顧客応対の通話を支援するAI搭載型のIP電話「MiiTel」を提供しています。 この製品は、通話の文字起こしを保存する機能を備えており、RevCommは数千時間の対話データに接しています。 この対話データに対する支援の1つとして対話要約が考えられます。対話要約とは、入力された対話から、その主要な概念を含むより短い文書（要約）を自動的に作成することです。 ユーザは、要約を作成する手間が省けたり、あるいは要約を読むことで対話の概要をより早く理解できるなどの利点があります。 これから前編と後編の2回に分けて、対話要約に関する記事を書きます。今回の記事では、はじめにいくつかの対話要約のデータセットを
BERTを用いて膨大なコンテンツにメタデータを自動付与する 〜 Yahoo!ショッピングの商品属性推定
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo! JAPAN研究所の鍜治です。 みなさんはコンテンツにメタデータを付与したいとき、どのようにしていますか？ もちろん手作業で付与することもできますが、コンテンツ量が膨大なときには、自動的にメタデータを付与できる仕組みがあると便利だと思いませんか？ 私がリーダーを務めている研究開発チームでは、Yahoo!ショッピングの商品に属性というメタデータを自動付与するため、BERTを用いた商品属性推定モデルを開発しています。本記事では、そもそも商品の属性とはどういうものなのか、どのようにBERTを使っているのか、既存モデルと精度はどのくらい違うのか、などについてお話したいと思いますので、よろしくお願いします。 Yaho
深層学習で部分空間を扱うときは射影行列を考えるとよい - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
拙著『グラフニューラルネットワーク』が重版して第 5 刷となりました。皆さまありがとうございます！ 【重版速報🎉🎉🎉🎉】 機械学習プロフェッショナルシリーズの重版が決まりました😆ご愛読ありがとうございます‼️ 松井孝太・熊谷亘『転移学習』【4刷】 https://t.co/Qic24KAwxD 佐藤竜馬『グラフニューラルネットワーク』【5刷】 https://t.co/Peqn1ZQavo pic.twitter.com/VBkNp2Uwjj— 講談社サイエンティフィク🖋️📔 (@kspub_kodansha) 2024年8月1日 グラフニューラルネットワーク (機械学習プロフェッショナルシリーズ) 作者:佐藤竜馬講談社Amazon 拡散モデルと最適輸送（最適輸送第 5 刷）や GNN の最新動向（グラフニューラルネットワーク第 3 刷）でもやりましたが、重版に感謝して書き下
byte列を直接処理する言語モデル
Table of Contents これは何？byte列をpatchに区切る具体例提案手法のメリット学習効率の向上1つの処理単位に押し込める情報量をコントロールするサブトークンの特徴の利用どのように実現したか？byte列の表現の粒度提案手法における「語彙数」の定義言語モデルのアーキテクチャ所感提案手法のアプローチはマルチバイト言語に対しても有効か？ReferenceAppendixA. byte単位の表現とn-gram表現の持ち方 Metaが2024年12月13日に公開した論文 "Byte Latent Transformer: Patches Scale Better Than Tokens" [Pagnoni, 2024] を読んだのでその内容をまとめます。 ここで掲載された図は特に説明がない限り全て[Pagnoni, 2024]からの引用で、著作権は著者らに所属します。 これは何？
2025年度 人工知能学会全国大会（第39回）参加報告 - Sansan Tech Blog
こんにちは、Sansan株式会社 技術本部 研究開発部の田柳です。 2025年5月27日（火）〜30日（金）の4日間、大阪国際会議場（グランキューブ大阪）にて開催された 2025年度 人工知能学会全国大会（JSAI2025）に参加してきました。弊社はプラチナスポンサーとして協賛し、大田尾・黒木・竹長・田柳・山内が現地参加しました。 私自身、学生時代は経済学を専攻し、現在は契約書データのキーワード抽出技術の研究開発などに取り組んでいます。こうした機械学習系の学会への参加は今回が初めてで、多くの刺激を受けました。 本記事では、印象に残ったセッションや発表、そして会場の雰囲気などをレポートします。 ブースにて、写真左からでの田柳・竹長・大田尾 JSAI2025について 以下、JSAI2025の公式HPから引用します。 JSAI 2025は、人工知能学会（JSAI）が主催する日本最大級のAI学術イ
日本語ModernBERTの開発: 開発と評価編 (1/3) - SB Intuitions TECH BLOG
概要 こんにちは、SB Intuitions株式会社インターンの塚越です。 日本語・英語合わせて約4.4T tokensを学習した日本語ModernBERTというモデルを構築・公開しました。 本記事では、その開発過程や評価結果についてお話しします。 我々が開発した日本語ModernBERTは、30m, 70m, 130m, 310mと4つの異なるパラメータサイズをもち、それぞれのモデルが同パラメータ規模のモデルと比較して、本記事公開時点では最も高い性能を達成しています。 開発した一連のモデルはHuggingFaceにてMITライセンスのもと公開しておりますので、商用・研究用問わず自由にお使いいただけます。 https://huggingface.co/sbintuitions/modernbert-ja-30m https://huggingface.co/sbintuitions/mod
NLP2025 参加報告 - Gunosy Tech Blog
こんにちは、データサイエンス部の森田、大城、新規事業開発室の井口です。 もう気がつけば開催から一月経ってしまいましたが、今回の記事は 3/10 ~ 3/14 の 5 日間にわたって開催された言語処理学会第 31 回年次大会 (NLP2025) の参加レポートになります。 スポンサーしてます NLP2025 について 論文紹介 [P8-15] 逆プロンプトを用いたコールドスタート推薦 [A2-1] 大規模言語モデルにおける複数の指示追従成功率を個々の指示追従成功率から推定する [A5-4] プロンプトに基づくテキスト埋め込みのタスクによる冗長性の違い まとめ NLP2025 について 言語処理学会は人工知能の一分野である（自然）言語処理を専門とする学会です。近年は特に LLM の話題が多く、参加者の幅も広がっているようです。 昨年に引き続きオフライン・オンラインのハイブリッド開催となり、長崎
最強DB講義 #35 大規模言語モデルに基づく検索モデル
BERTやGPTなどの大規模言語モデルに基づく検索モデルは、様々なテストコレクションにおいて優れた性能を発揮し多くの注目を集めている。これまでに様々な検索モデルが提案されてきており、大規模言語モデルの情報検索への適用は、実サービスにおいても一般的なものとなっている。本講義では、大規模言語モデルを利用した…
Raggle第2回コンペ - StaticEmbeddingで安全に爆速RAGを実施する
Raggleの第2回コンペでアイデア賞をいただいたのでメモ。ありがとうございます〜 ソースコード 下記を参考に、Transformerモデル組み込みたいんやけど...と生成AIに相談してコード作りました。要件定義と手元デバッグ野郎でした。 解法のコア このツイートにほぼすべてが詰まっています。Twitter最高! TransformerではないEmbeddingモデルである、static-embedding-japaneseをベクトル検索に用いました。 著者のセコンさんもTwitterに書いてくださっていますが、CPUでも爆速でEmbeddingできます。 今回のコンペで使った文書のEmbeddingに使う時間を比較してみたところ、以下の通りでした。 モデル 時間 上記は 396chunks（1chunk, 1000文字ごとチャンク） での計測時間です。 ※ 各々のCPUのスペックやOpe
日本語 BERT RetroMAE モデルの公開と、後続検索タスクでの評価 - A Day in the Life
結果として、ほぼ全てのスコアにおいて性能向上が確認されており、RetroMAEの有益性が確認された。また学習方法も、教師なしでテキストのみを与えれば良いという手軽さも実用性が高いであろう。 RetroMAE について RetroMAEの特徴は、Masked Auto-Encoderの手法を採用しながら、以下の3つの設計を取り入れた点である。 入力文に対して異なるマスクを適用する新しいワークフロー エンコーダーとデコーダーで非対称な構造を採用 エンコーダーとデコーダーで異なるマスク率を使用 これらの工夫により、文書の意味をより深く理解し、効果的な検索を可能にする表現学習を実現している。実際の評価においても、BEIRやMS MARCOなどのベンチマークで優れた性能を示している。また高性能のマルチリンガル密ベクトルモデルの BAAI/bge-m3 も RetroMAE を用いた事前学習を行なって
最近の埋め込みモデルのクロスリンガル検索能力をチェックする｜oshizo
私が最近経験したタスクに、クエリに英語と日本語が混在し、検索対象のドキュメントは日本語のみのクロスリンガルな検索がありました。 このタスクでは、日本語クエリと比べ英語クエリによる検索精度が相対的に低い傾向が見られていました。 まあそれはそうだろうという話なのですが、これを機に、今クロスリンガル検索タスクをやるにはどのモデルを選ぶと良さそうか、最近の有力なモデルを軽く比べてみました。 詳細は後ろのセクションで話しますが、日本語クエリ-日本語ドキュメントを重視するならcl-nagoya/ruri-v3-310m、英語クエリを含めたバランスを重視するならCohereのembed-v4.0がよさそうな感じです。 ただし、データセット1つでの簡易評価なので、ご参考までに。実際にモデルを選ぶ際はご自身のタスクで評価してみてください。 embed-v4.0はマルチモーダル対応もしているので、個人的にアツ
日本語向け教師なしキーフレーズ抽出の検証 - ABEJA Tech Blog
ABEJAでデータサイエンティストをしている藤原です。 先月開催された 言語処理学会第31回年次大会(NLP2025) に参加し、その際に 埋め込みモデルベースの教師なしキーフレーズ抽出における長文に対する抽出精度の改善 というタイトルで発表を行いました。今回はその発表内容について改めて紹介させていただきます。 発表概要としては、日本語のテキストに対して種々の教師なしキーフレーズ抽出手法を統一したインターフェースで実行できるようにツールを整備し、評価用データセットを構築して各種手法の性能比較を行いました。本記事では開発したツール・評価データセットなど原稿であまり触れられなかった部分や、より詳細な実験結果についても記載します。 開発したツール・評価データセットはこちらからご利用いただけます。GitHub - flatton/keyphrase_extraction_tools はじめに キー
テキスト埋め込みモデルPLaMo-Embedding-1Bの開発 - Preferred Networks Research & Development
2025/04初頭時点で、OpenAIのtext-embedding-3-largeなどの他社モデルを上回り、日本語テキスト埋め込みモデルとしてトップのスコアを記録しています (**)。特にテキスト埋め込みモデルの主要な用途と言えるRetrieval (検索タスク) では既存のモデルの最高スコアから2ポイント以上の更新を達成しており、情報検索での利用に適したモデルであることを示唆していると言えます。 (*) コンテキスト長1024で計測 (以降も断りがなければ同様)。これは学習時に用いたコンテキスト長が1024までであるため。ただし、ベースモデルの最大コンテキスト長であり、PLaMo-Embedding-1Bのconfig上の最大コンテキスト長である4096で計測しても、そこまで性能が下落するわけではないことがわかっています (Appendix参照)。 (**) 2025/04/14にRu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
文献紹介：Dynamic Contextualized Word Embeddings
知識拡張型言語モデルLUKE
[DL輪読会] Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm![[DL輪読会] Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm](https://cdn-ak-scissors.b.st-hatena.com/image/square/ce3953f5073baa935a87558b3ee8bf7de92477d4/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdljpsoneoka171215-171214074013-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
係り受けに基づく日本語単語埋め込み - LAPRAS Tech Blog
言語と数理の交差点：テキストの埋め込みと構造のモデル化 (IBIS 2024 チュートリアル)
深層学習による自然言語処理 輪読会#5 資料