はてなブックマーク

この記事は、金融チームインターンの伊藤 辰都さんによる寄稿です。 はじめに 2025年度夏季インターンシップに参加させていただきました、北海道大学修士1年の伊藤辰都です。普段は大学で、特定のタスクに特化したLLMモデルの精度向上に関する研究に取り組んでいます。 今回のインターンでは、投資家の方が業界全体を直感的に把握できる「業界マッピングWebアプリケーション」を開発しました。このツールには主に2つの機能を備えています。以下にデモ動画を示します。 1. 選択したテーマを可視化 可視化デモ 選択したテーマ（AI, ゲーム関連, 半導体）の可視化結果 「半導体」では東京エレクトロン、「ゲーム関連」では任天堂が関連度が高い企業として表示されています。 ※今回の分析対象はTOPIX100に含まれる企業に限定しています 2. テーマを追加 テーマ追加デモ テーマ（ゲーム関連）追加後の結果 デモではテ

この記事はエンジニアの鈴木渓太の執筆です。 概要 データ駆動でLLM Agentを開発するAutomated Design of Agentic Systems (ADAS) を提唱する論文の解説を行います 論文の手法をベースにした独自の手法により、高速且つ元論文を超える性能のAgentの開発に成功しました PFNでは引き続きLLM Agentの社会実装や研究開発を進めていきます ADAS論文紹介 本段落ではAutomated Design of Agentic Systemという論文の解説を行います。この論文はLLM Agentの自動設計を提唱する論文であり、NeurIPS 2024 Open-World Agentic WorkshopのOutstanding Paperに選出されています。 論文URL: https://arxiv.org/abs/2408.08435 GitHub:

表2: Preferred Multi-turn Benchmark for Finance in Japaneseによる計測 PFNで整備した、日本語かつ金融分野に特化した応答性能を見るベンチマーク。12種類のタスクからなる360件の対話データで構成されており、執筆、ロールプレイ、知識応答タスク、情報抽出、推論、数学、コーディング、アイデア生成、翻訳、倫理的判断、信頼性評価、およびESG関連タスクが含まれています。10段階評価の平均点としてベンチマーキングされます。このベンチマークにより、日本語による金融関連の対話におけるLLMの応答性能を評価することができます。参考：金融分野に特化した複数ターン日本語生成ベンチマークの構築 プレスリリースで示したベンチマークは、金融に関する一般的な知識や特定のタスクに関する質問応答の性能を問うものであり、実際の日本企業の間の関係や事業内容に関する知識を

先日（2025年5月27日）、Preferred Networksは「PLaMo翻訳」を発表しました。このモデルは、翻訳タスクに特化した大規模言語モデルであり、PLaMo Community License（ライセンス文、解説記事）のもとで一般公開（Hugging Face）されています。この度、このモデルをより手軽にローカル環境で利用できるようにするためのコマンドラインツール「PLaMo翻訳CLI」をOSSとして公開*1しました。 plamo-translate-cli: https://github.com/pfnet/plamo-translate-cli *1: プログラムコード・ツール自体はOSSライセンスですが、内部で利用するPLaMo翻訳モデルがPLaMo Community Licenseであるため、合わせて利用する際にはモデルライセンスの制約が加わることにご注意ください。

Preferred Networks（以下PFN）とグループ会社のPreferred Elements（以下PFE）では2024年10月から開始したGENIAC 第2期にて、高性能かつ軽量な大規模言語モデル（LLM）の開発を行っています。その中で特化型大規模言語モデルのひとつとして『PLaMo翻訳』の開発を行いました（プレスリリース）。このモデルを PLaMo Community License （ライセンス文、解説記事）のもとで公開（Huggingface）し、誰でも利用できるデモページも提供しています。今ある翻訳モデルと比べて訳文が流暢で読みやすくなっていると思いますので、ぜひ使っていただけると幸いです。また性能も高く商用利用にもたえると自負しておりますので、商用利用を考えている方はぜひフォームよりご相談ください。今回の記事では、このモデルについて紹介します。 ※上記にあるように、この

この記事は、パートタイムエンジニアの川上航さん、エンジニアの鈴木渓太・吉川 真史とリサーチャーの岩澤諄一郎による共著です。 概要 既存の大規模言語モデル (LLM) に対し、日本語医療ドメインの独自コーパスを用いた継続事前学習とReasoning Preference Optimization (RPO) という二段階のfine-tuningを行い、医療分野に特化した72BパラメータのLLM、Preferred-MedLLM-Qwen-72B を開発しました。 開発したモデルは、日本医師国家試験のベンチマーク (IgakuQA) において、GPT-4o を上回る最高水準の正答率を達成しました。 継続事前学習でドメイン知識を注入し、RPOで推論能力をさらに洗練させることで、高い精度を実現しました。RPOは説明生成時における性能の一貫性向上にも寄与することを確認しました。 本モデルの重みはHu

2025/04初頭時点で、OpenAIのtext-embedding-3-largeなどの他社モデルを上回り、日本語テキスト埋め込みモデルとしてトップのスコアを記録しています (**)。特にテキスト埋め込みモデルの主要な用途と言えるRetrieval (検索タスク) では既存のモデルの最高スコアから2ポイント以上の更新を達成しており、情報検索での利用に適したモデルであることを示唆していると言えます。 (*) コンテキスト長1024で計測 (以降も断りがなければ同様)。これは学習時に用いたコンテキスト長が1024までであるため。ただし、ベースモデルの最大コンテキスト長であり、PLaMo-Embedding-1Bのconfig上の最大コンテキスト長である4096で計測しても、そこまで性能が下落するわけではないことがわかっています (Appendix参照)。 (**) 2025/04/14にRu

2024年夏季インターンの矢野一樹さんによる寄稿です。 はじめに LLMの飛躍的な文章生成・理解能力の向上に伴い，金融ドメインにおける様々なタスクへの応用が活発に進められています．その中でも，金融因果関係抽出は特に重要なタスクの一つです．金融における因果関係の正確な把握は，意思決定プロセスにおいて非常に重要な役割を果たします．具体的には，株価変動の要因，為替レートの変動メカニズム，企業業績の変化要因などの理解が，リスク管理や投資戦略の最適化に不可欠です[1]．本稿では，こうした金融因果関係抽出タスクに対し，LLMの性能をさらに向上させるための方法を検証します． 金融因果関係の知識構造化と継続事前学習 本稿では金融テキストにおける，因果関係抽出タスクに対して，金融的因果関係を「知識」として捉えます．金融的な因果関係は一種の体系的な構造をもち，それらに関連する文脈を知識としてみなすことが可能だ

はじめに Preferred Networks (以下PFN) 子会社のPreferred Elements (以下PFE) は、PLaMo 2シリーズの開発を進めており、その成果の一部としてPLaMo 2 1BおよびPLaMo 2 8Bの事前学習済みモデルを先日公開しました。モデルの詳細は以下の記事をご覧ください。 大規模言語モデルの次期バージョン PLaMo 2 の事前検証: SSMの採用と合成データによる性能改善の取り組み 大規模言語モデルの次期バージョン PLaMo 2 8Bによる検証 PLaMo 2の開発は、高品質データセットをどれだけ構築できるかが重要なポイントと考えています。実際、高品質データセットを使用したPLaMo 2 8Bは、8BというサイズでPLaMo-100Bに相当する性能をJMMLUやJHumanEvalで獲得しています。 事前学習チームでは、その源泉となった高品

Preferred Networks（以下PFN）とグループ会社のPreferred Elements（以下PFE）では2024年10月からGENIAC 第2期の支援のもと、高性能な大規模言語モデル（以下LLM）の開発（※）を行っています。そして本日、PLaMo 2 8Bのモデル（pfnet/plamo-2-8b · Hugging Face）を条件付きで商用利用可能な PLaMo Community License のもとで公開しました。このライセンスは、特に日本の知識に長けたPLaMoシリーズによって自由なLLM利用やデータ整備を促進しながらも、今後もPFN/PFEが持続可能な形で基盤モデルの開発を行い、継続的な性能向上を通して広く貢献するためのものです。 具体的には、個人や中小規模の企業は有償無償問わずPLaMo 2 8Bを利用できます。追加学習で自作キャラクターと会話できるモデルを

本記事は、PFNのインターンシップを経て現在はアルバイトとして勤務されている松本直樹さんによる寄稿です。 PFN における分散キャッシュシステム PFN では深層学習におけるデータセット読み込みやコンテナイメージ配布を高速化するために、独自の分散キャッシュシステムであるSimple Cache Service (SCS) を提供しています(深層学習のための分散キャッシュシステム – Preferred Networks Research & Development)。SCSは、GET, PUT のシンプルな HTTP API を持ち、Kubernetes クラスタ上にデプロイされた Pod上のPython をはじめとする種々のアプリケーションから容易に利用することができます。2023年のデプロイ以降、2年に渡る運用で生じた種々の問題(詳細は上記ブログをご参照ください)を解決し、ピーク時 3

背景 Preferred Networks(以下PFN)とグループ会社のPreferred Elements(以下PFE)では2024年10月からGENIAC 第2期を開始し、その中で高性能かつ軽量なLLMの開発を行っています。その中で、予備実験・検証として、枝刈り（pruning）による20億 (2B) パラメータ規模のLLM (PLaMo 2 2B) の学習を行いました。今回の記事では、このモデルの開発について紹介します。 上記にあるように、この開発は経済産業省及び国立研究開発法人新エネルギー‧産業技術総合開発機構（NEDO）が実施する、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の支援を受けて実施しました。 GENIAC 第2期におけるPFNとPFEの目標 今回PFNとPFEではモデルサイ

背景 Preferred Networks(以下PFN)とグループ会社のPreferred Elements(以下PFE)では2024年10月からGENIAC 第2期を開始し、その中で高性能かつ軽量なLLMの開発を行っています。この開発で、予備実験・検証として、先日blogで公開した10億 (1B) パラメータ規模のLLM (PLaMo 2 1B)に加えて80億（8B）パラメータ規模のLLM (PLaMo 2 8B) の学習を行いました。今回の記事では、PLaMo 2 8Bの開発について紹介します。 PLaMo 2 8Bのアーキテクチャや利用したデータセットに関しては、先日公開しましたPLaMo 2 1Bの記事をご覧ください。 https://tech.preferred.jp/ja/blog/plamo-2/ 上記にあるように、この開発は経済産業省及び国立研究開発法人新エネルギー‧産業技

はじめに Preferred Networks (以下PFN) 子会社のPreferred Elements (以下PFE) は1000億 (100B) パラメータ規模のLLMであるPLaMo-100Bについて、2024年2月から5月にかけて事前学習を実施しました。現在はPLaMo-100Bを元にPLaMo Prime/PLaMo Liteをリリースし、主要日本語ベンチマークで世界最高レベルの精度をAPIやChatサービスとして提供しています。また、PFNとPFEの共同で2024年10月から現在にかけて、より高性能かつ軽量なLLMであるPLaMo 2の開発を行っています。 本記事では、PLaMo-100Bや現在開発中のPLaMo 2の事前学習を支える技術について紹介します。 PLaMo-100B、PLaMo 2の開発は、経済産業省が主導する国内の生成AIの開発力を強化するためのプロジェクト

Preferred Networks（以下、PFN）および Preferred Elements（以下、PFE）では、大規模言語モデル（以下、LLM）の開発を進めており、PLaMo 100B を 2024 年 10 月に公開しました。現在は次世代モデルである PLaMo 2 の開発（※）を行っています。今回の記事では、PLaMo 2 に採用したトークナイザの改善について紹介します。 PLaMo 2 のトークナイザは、前のバージョンである PLaMo 100 B と比較して、日本語のトークン効率が 45 %、英語のトークン効率が 25 % 向上しました。ここでいうトークン効率とは、入出力に使われる文字列において 1 トークンで平均で何文字表現できるかを表します。これが改善する（増える）ことは、日本語の文章生成が 45 % 高速化し、同じ計算資源で学習できるデータ量が 45 % 増えることを意

本記事はアルバイトとして勤務されている加藤大地さんによる寄稿です。 はじめに Python 3.13 より、PEP 703 で提案された free threading が実験的にサポートされるようになりました。これまで、Python（厳密にはCPython）のインタプリタでは、global interpreter lock (GIL) という機構によって、同時刻において1つのスレッドしか実行できないようになっており、これによってスレッドセーフであることを保証していました。しかし、3.13 で導入された free threading により、複数のスレッドが同時に実行できるようになったことで、実行時間の短縮が見込まれます。 その一方、C-APIにいくつかの後方互換性のない変更が加わったことで、一部のC拡張モジュールがfree threading モードでは正しく動作しなくなる可能性があり、p

背景 Preferred Networks(以下PFN)とグループ会社のPreferred Elements(以下PFE)では10月から高性能かつ軽量なLLMの開発を行っています。その中で、予備実験・検証として10億 (1B) パラメータ規模のLLM (PLaMo 2 1B) の学習を行いました。今回の記事では、このモデルの開発について紹介します。 この開発は経済産業省及び国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が提供する、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の計算資源の提供支援を受けて実施しました。 GENIAC 第2期におけるPFNとPFEの目標 今回PFNとPFEではモデルサイズを抑えたまま高い性能を実現するために高品質なデータを作成し、そのうえで状態空間モデ

はじめに PFN のエンジニアの小松です。Cluster Services チームという機械学習基盤を開発・運用するチームに所属し、日々基盤の改善や新機能の開発を進めています。また、最近では社内基盤に限らず Preferred Computing Platform の開発・運用も行っています。 PFN での機械学習基盤ではコンテナを実行するオーケストレータとして Kubernetes を採用し、日々運用をしています。本記事ではKubernetes の機械学習基盤の日々の運用で社内からもらったフィードバックを 実装し、Kubernetes のアップストリームへ貢献した話題を紹介します。 PFN のクラスタチーム PFN の機械学習基盤を運用/保守しているクラスタチームでは、Kubernetes のバージョンアップの追従にも力をいれています。Kubernetes クラスタを継続的に更新し、バグ

本記事は、2024年夏季インターンシッププログラムで勤務された俵 遼太さんによる寄稿です。 こんにちは、京都大学 工学部 電気電子工学科3回生の 俵 遼太 (id:walnuts1018) です。 今回、PFN 2024 夏期国内インターンシップに参加し、社内機械学習基盤の開発・運用を行うCluster Servicesチームにて、「Podごとのインターネットトラフィック量を計測するツールの開発」というテーマに取り組みました。 この記事では、社内のKubernetesクラスタにおける課題と、Podごとのインターネットトラフィック量を計測するために作成したツールについて紹介します。 社内のKubernetesクラスタにおける課題 社内の Kubernetes クラスタでは、複数のユーザーが同じクラスタを利用して様々なワークロードを動かしています。このような構成をとることで、マシンリソースの利

はじめに AutoSamplerは、状況に応じてOptunaに実装されているものの中からSamplerを自動で選択し、解の探索を行います。ユーザは、下記のコード例のようにAutoSamplerを使用するだけで、最適化アルゴリズムの使い分けを意識することなく、Optunaのデフォルトと比較して同等かそれ以上の最適化パフォーマンスを得ることができます。 study = optuna.create_study( sampler=optunahub.load_module( "samplers/auto_sampler" ).AutoSampler() # 内部でアルゴリズムを自動選択 ) 本記事では、OptunaHubに10月31日に公開されたAutoSamplerについて、「なぜ最適化アルゴリズムの使い分けが必要なのか」といった背景やSamplerの自動選択ルールの設計方針について共有し、その

本記事は、2024年夏季インターンシッププログラムに参加された九門涼真さんによる寄稿です。今回はPLaMoをベースにしたテキスト埋め込みモデルの開発に取り組んでいただきました。PFN/PFEではこのようなLLM性能改善のための研究開発を進めています。本取り組みで得られた知見・成果は今後PLaMoに取り入れていく予定です。 2024年度夏季インターンシップに参加した、東京大学大学院情報理工学系研究科修士一年の九門涼真と申します。現在は谷中研究室で自然言語処理に関する研究をしています。 今回のインターンでは、大規模言語モデル (LLM) を用いたテキスト埋め込みモデルについて研究と開発を行いました。LLMの持つ特徴を生かし、質の高いテキスト埋め込みを生成することを目指しました。 背景 テキスト埋め込みは、テキスト分類、文書検索など自然言語に関わる様々なタスクで用いられており、必要不可欠なものと

はじめに 7月からOptunaHubという新しいOptuna向け機能共有プラットフォームのベータ版を提供中です。今回は新たに導入されたImplicit Natural Gradient Optimization (INGO) [1]という自然勾配法ベースの最適化アルゴリズムについて紹介します。INGOは進化計算における強力な手法である CMA-ES (共分散行列適応進化戦略) に近いアルゴリズムで、本記事の実験ではCMA-ESよりも良い性能を示しました。 OptunaHubに登録されたINGOアルゴリズム この節ではOptunaHubに登録したINGOのSamplerを実際に実行してみます。今回の実装はYuhei Otomoさんに協力して頂きました。実装はこちらで見ることができます。 このSamplerの実装にあたり、簡単な単体テストでの動作確認やベンチマーキング結果が論文の主張と整合して

Preferred Networksの子会社のPreferred Elements(以下PFE)では7月から約1ヶ月の間、1兆 (1T) パラメータ規模のLLMの事前学習について検証を行っていました。今回の記事ではこの取り組みとその結果について紹介します。 この検証は経済産業省が主導する国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」のもと、NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）の助成事業に採択され、計算資源の提供支援を受けて実施しました。 超巨大モデル学習の目的 今回の取り組みは、超巨大な (1Tクラスの) DNNモデルを学習できるかを確認することを目的としています。そもそもなぜこの検証をしたのかについての説明から始めようと思います。 LLMの事前学習では、学習に利用したデ

Preferred Networksの子会社のPreferred Elements（以下、PFE）では、2月から1,000億（100B）パラメータ規模のLLM「PLaMo-100B」の開発を行っていました。5月に事前学習部分を終え、以降は後段となる事後学習を行っていました。今回の記事では、後段の事後学習の取り組みを紹介します。 事後学習を終えたPLaMo-100B-Instructの性能は、Jasterという日本語性能評価ベンチマークでGPT-4を超え、日本固有の知識を問うRakuda BenchmarkでもGPT-4の性能を超えることが確認できました。以下のプレスリリースもご覧ください。 PFEが開発する大規模言語モデルPLaMo β版の無料トライアルの申込受付を開始 この「PLaMo-100B」の開発は、日本の生成AI基盤モデル開発力向上を目指す政策GENIACにおいて、国立研究開発法

この記事は、パートタイムエンジニアの川上航さんとLLM応用に取り組んでいるエンジニアの鈴木渓太とリサーチャーの岩澤諄一郎による寄稿です。 概要 既存の大規模言語モデル (LLM) に対して医療ドメインの独自コーパスを用いた finetuning を行い、医療特化の大規模言語モデル Llama3-Preferred-MedSwallow-70B を開発しました。 Llama3-Preferred-MedSwallow-70B は日本医師国家試験において、 GPT-4 を上回る成績を収め、Hugging Face Hub で公開されているモデルの中で最高性能を誇ります。 PFN では医療・ヘルスケアを含む様々な分野での LLM 活用を目指し、引き続き研究開発を進めていきます。 はじめに 大規模言語モデル (Large Language Model, LLM) は医療やヘルスケアの分野で診断補助

Preferred Networks(以下PFN)の子会社のPreferred Elements(以下PFE)では2月より1,000億（100B）パラメータ規模のLLM、「PLaMo-100B」の開発を行ってきました。このPLaMo-100Bの開発に関して、5月に事前学習部分はひと段落したので、今回の記事ではこのモデルの事前学習部分に関して紹介します。 この「PLaMo-100B」の開発は経済産業省が主導する国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」のもと、NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）の助成事業に採択され、計算資源の提供支援を受けて実施しました。 PLaMo-100Bの事前学習の概要 学習済みモデルを元に日本語データなどで追加学習を行うLLMは多くの成功を収め