PLaMo 2の8Bモデルをオープンなライセンスで公開: 条件付きで商用利用可能なPLaMo Community Licenseについて - Preferred Networks Research & Development
Home Blog PLaMo 2の8Bモデルをオープンなライセンスで公開: 条件付きで商用利用可能なPLaMo Community Licenseについて Preferred Networks（以下PFN）とグループ会社のPreferred Elements（以下PFE）では2024年10月からGENIAC 第2期の支援のもと、高性能な大規模言語モデル（以下LLM）の開発（※）を行っています。そして本日、PLaMo 2 8Bのモデル（pfnet/plamo-2-8b · Hugging Face）を条件付きで商用利用可能な PLaMo Community License のもとで公開しました。このライセンスは、特に日本の知識に長けたPLaMoシリーズによって自由なLLM利用やデータ整備を促進しながらも、今後もPFN/PFEが持続可能な形で基盤モデルの開発を行い、継続的な性能向上を通して広
大規模言語モデルの次期バージョン PLaMo 2 の事前検証: SSMの採用と合成データによる性能改善の取り組み - Preferred Networks Research & Development
背景 Preferred Networks(以下PFN)とグループ会社のPreferred Elements(以下PFE)では10月から高性能かつ軽量なLLMの開発を行っています。その中で、予備実験・検証として10億 (1B) パラメータ規模のLLM (PLaMo 2 1B) の学習を行いました。今回の記事では、このモデルの開発について紹介します。 この開発は経済産業省及び国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が提供する、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の計算資源の提供支援を受けて実施しました。 GENIAC 第2期におけるPFNとPFEの目標 今回PFNとPFEではモデルサイズを抑えたまま高い性能を実現するために高品質なデータを作成し、そのうえで状態空間モデ
OptunaHubに登録された自然勾配法ベースの最適化アルゴリズム「INGO」の紹介 - Preferred Networks Research & Development
はじめに 7月からOptunaHubという新しいOptuna向け機能共有プラットフォームのベータ版を提供中です。今回は新たに導入されたImplicit Natural Gradient Optimization (INGO) [1]という自然勾配法ベースの最適化アルゴリズムについて紹介します。INGOは進化計算における強力な手法である CMA-ES (共分散行列適応進化戦略) に近いアルゴリズムで、本記事の実験ではCMA-ESよりも良い性能を示しました。 OptunaHubに登録されたINGOアルゴリズム この節ではOptunaHubに登録したINGOのSamplerを実際に実行してみます。今回の実装はYuhei Otomoさんに協力して頂きました。実装はこちらで見ることができます。 このSamplerの実装にあたり、簡単な単体テストでの動作確認やベンチマーキング結果が論文の主張と整合して
医用画像セグメンテーションに向けた基盤モデルの fine-tuning 手法の検討 - Preferred Networks Research & Development
本記事は、2023年夏季インターンシッププログラムで勤務された菱沼秀和さんによる寄稿です。 Introduction 2023年度夏季インターンシップに参加した九州大学大学院 医学専攻 博士課程3年の菱沼 秀和と申します。今回のインターンシップでは、画像セグメンテーションの基盤モデルである Segment Anything Model (SAM) の医用画像に対する応用手法について研究しました。インターンシップ中の取り組みのうち、本記事では特に SAM とその派生モデルの比較や fine-tuning の手法についての結果を紹介します。 Background SAM [1] は2023年4月に Meta 社が発表した画像セグメンテーションのための基盤モデルです。約1100万枚の画像と10億以上のセグメンテーションマスクから学習されており、追加で学習を必要としない zero-shot により
拡散モデルを用いた自由エネルギーの推定 - Preferred Networks Research & Development
本記事は、2023年夏季インターンシッププログラムで勤務された坂部圭哉さんによる寄稿です。 はじめに はじめまして，PFN 2023 夏季インターンシップに参加しました，東京大学 M1 の坂部圭哉です．普段は微分方程式を効率的に解く手法を研究しています． 今回の夏季インターンでは，拡散モデルを用いて自由エネルギーを推定する課題に取り組みましたので，本記事ではその詳細を説明したいと思います． なお，インターン期間中では分子系の拡散モデルをうまく学習させることができず，なぜ学習できないのかという原因究明の解析に多くの時間を費やしました． その関係で，本記事に紹介する理論や手法と，実際に原因究明の段階で行っていた実験手法には，様々な部分で差異があります． 予めご了承ください． 理論背景 自由エネルギーとは，化学系の安定性を表す非常に重要な物理量です． 例えば，ある化学反応が進行するかどうかは，そ
拡散モデルによる金融時系列生成 - Preferred Networks Research & Development
本記事は2023年度PFN夏季インターンシップで勤務された仲吉朝洋さんによる寄稿です。 はじめに こんにちは！PFNの2023年夏季インターンシップに参加させていただいた東京大学修士1年の仲吉です。大学院ではオンラインアルゴリズムについて研究しています。 今回のインターンシップでは、拡散モデルによる金融時系列生成について取り組んでいました。 背景 金融分野において、現実的な金融時系列を生成できると取引戦略の学習やポートフォリオの構築のように多くの応用があります。ここでいう金融時系列とは金融資産の価格変化のことを指しています。 金融時系列生成の先行研究には「Quant GANs: Deep Generation of Financial Time Series」や「Modeling financial time-series with generative adversarial netwo
継続事前学習による金融ドメイン特化LLMの構築の検証 - Preferred Networks Research & Development
この記事は、金融チームエンジニアの今城(@imos)と金融チームリサーチャーの平野(@_mhirano)による寄稿です。 概要 本稿では、ドメインに特化したLLMの構築の一環として、金融ドメイン特化のLLMの構築の検証を行いました。継続事前学習によるドメイン知識の獲得を模索し、特定のドメイン向けに専用のパラメータ数が多い高性能なLLMを提供を可能にすることを目指します。 実験では、nekomata-14bとPFNで構築した金融に特化したデータセットを用いて、継続事前学習を実施しました。 継続事前学習の結果として、金融ベンチマーク性能が向上することが確認できました。 出力の差としては、Instruction Tuningを施していないため、大きな差は見られないものの、一定の差が見られるケースもありました。 継続事前学習後のモデルは、https://huggingface.co/pfnet/n
需要の食い合いを考慮した商品の購入数予測 - Preferred Networks Research & Development
本記事は、2023年夏季インターンシッププログラムで勤務された上原祐輝さんによる寄稿です。 背景 商品の購入数予測は重要 近年、小売業界ではDXが進み、多くのビジネスプロセスが効率化されています。その中で、特に購入数予測は企業の競争力を左右する重要な要素となっています。購入数予測とは、過去のデータやトレンドを元に、将来の商品の購入数や需要を予測することを指します。正確な購入数予測は、在庫の無駄を削減し、商品の売り切れリスクを減少させるだけでなく、適切な価格設定を可能にし、利益の最大化に寄与します。 PFNにおいても購入数予測に取り組んでいますが、これまでのモデルでは商品間の需要の食い合いを捉えられていませんでした。そこで、本インターンシップでは需要の食い合いを考慮した商品の購入数予測モデルの開発に取り組みました。 既存モデルの問題点 購入数の予測において、最も基本的なアプローチの一つが各店
大規模言語モデルのFine-tuningによるドメイン知識獲得の検討 - Preferred Networks Research & Development
本記事は、2023年夏季インターンシッププログラムで勤務された竹田悠哉さんによる寄稿です。 はじめに 2023年度のPFN夏季インターンに参加した、東京大学大学院工学系研究科の竹田悠哉と申します。学部では画像生成の研究をしていましたが、技術の社会実装をより俯瞰的に学びたいと思い、現在は技術経営戦略学専攻で教育工学の研究をしています。 インターンでは「機械学習技術の社会実装」をテーマに、LLM（Large Language Model）にドメイン知識を習得させることに取り組みました。様々な設定において、主に英語で学習されたモデルであるLLaMA2に対して日本語のデータでのFine-tuningを行い、LoRAやInstruction Tuning、ドメイン知識の習得に関する知見を得ることができたと思います。本記事では、そこで利用した技術の紹介と、日本語におけるドメイン知識の習得に関する実験、
再計算を用いたMN-Core向けコンパイラの最適化 - Preferred Networks Research & Development
私がPFNに入ってから知った、もっとも好きな技術トピックの一つである、MN-Core™向け再計算のご紹介をします。再計算(recomputation、rematerializationやcheckpointingなどのキーワードで呼ばれることもあります)は、その名の通り同じ計算を複数回することで、GPUメモリを節約するために再計算を利用するテクニックは広く知られています。PFNでも、再計算を使ったメモリ節約アルゴリズムに取り組み、実際の事業でフル活用しています。 MN-Core向けの再計算は、消費メモリ削減でなく、高速化を主目的としています。再計算で計算する量が増えるにも関わらず、高速化が達成できるというのが、私がとても面白いと思う点です。カラクリを紹介していきます。 MN-Coreは、DRAMとSRAMの二種類のメモリを持ち、使えるリソースをとにかく演算器に費やしているのが特徴のアクセラ
Deep Image Priorによるクリーン画像を用いないデノイジング - Preferred Networks Research & Development
本記事は、2022年度PFN夏季インターンシップで勤務された石﨑慎弥さんによる寄稿です。 1. はじめに 2022年度夏期インターンシップに参加させていただいた、京都大学大学院情報学研究科知能情報学専攻1回生の石﨑慎弥です。普段は自動運転に関連するコンピュータビジョンの研究を行っています。 今回のインターンでは、リモートセンシングデータに対する画像解析・超解像というテーマで、画像のデノイジングに取り組みました。 2. 背景 2.1. SAR画像のデスペックリング 近年SAR（Synthetic Aperture Radar）というセンシング技術が発達しています。日本語で合成開口レーダーといい、主に人工衛星などに取り付けられて地表の様子をセンシングしています。SARはマイクロ波を使ったアクティブセンシング技術であり、その物理的特性から雲や雨といった気象の影響を受けにくいという強みがあります。
Group Lassoでグループごと重みが0に潰れる理由 - Preferred Networks Research & Development
海野です。 先日会社の論文読み会で、ICML2014のMaking the Most of Bag of Words: Sentence Regularization with Alternating Direction Method of Multipliersという論文を紹介しました。さて、この時話題になったのが正則化項をグループ化すると何でグループごと重みが0に潰れるのかという話でした。式を見ても直感的にはわからなかったのですが、得居さんがとてもわかり易い説明をしてくれました。この話、日本語で検索してもあまり出てこないのでちょっと紹介します。 まず、Lassoというのは、正則化項にL1normを使ったいわゆるL1正則化のことで、大部分の重みが0に潰れて疎な解が得られます。 \(\Omega_{\mathrm{lasso}}(\mathbf{w}) = \|\mathbf{w}\|_1
線形識別器でカーネルトリックを使う方法 - Preferred Networks Research & Development
WEB+DB PRESS Vol.64に「作って学ぶ日本語入力」という特集記事を書かせていただきました。徳永です。全国の書店で発売中ですので、ぜひみなさんお買い求めください。（宣伝） さて今回は、線形識別器でカーネルを使うのと同じ効果を得るための手法を紹介したいと思います。 カーネルとは SVMはカーネルトリックによって非線形識別を可能としたことによって、研究コミュニティで大流行しました。 カーネルトリックは線形空間では線形分離できないデータを高次元空間に写像してそっちで線形分離しちゃおう、でも高次元に実際に写像してしまうと計算量が増えちゃうから、問題を等価な形に変形して高次元に写像した場合と同じ結果を高速に計算しようね、というテクニックです。具体的には、高次元データが出てくる部分は全部内積で書ける形に変形し、この内積の部分をカーネルと呼ばれる特殊な関数で置き換えます。 結局、自然言語処理
PFNで10年続く読書会について - Preferred Networks Research & Development
総務・ファシリティ担当のやまかつです。初blogなので軽く自己紹介します。4年前にインテリア設計事務所からPreferred Networks (PFN)に総務担当として入社しました。ワークスペースや実験環境の構築や運営維持が主な仕事ですが、実は入社前から読書会のことは噂に聞いており、当時から参加することを楽しみにしていました。本好き・本屋好きです。 PFNが読書会について社外に紹介するのは初めてかもしれません。PFNの前身であるPFI時代から10年以上毎週続いている社内イベントです。読書会の紹介を通じて、みなさんにPFN社内の雰囲気を少しでもお伝えできればと思いblogにまとめてみました。併せて、読書会から派生した夏のインターン向け企画「PFNメンバーによる選書」についてもご紹介します。 PFN読書会とは PFN読書会とは、社員が最近読んだ本を紹介する会です。当初は知見を広めることが主な
ベクトル埋め込みの最適化によるアイデンティティを保ったキャラクター生成 Preferred Networks Research & Development
本記事は、2022年夏季インターンシッププログラムで勤務された早川知志さんによる寄稿です。 はじめまして。2022年度のPFN夏季インターンに参加した早川知志です。普段はオックスフォード大学で数学（確率論・数値解析）の博士学生をしており、確率測度の離散化やそれにまつわる理論や応用に興味があります。 今回は、大学でやっていることとは趣旨を変えて、深層学習のエンターテインメント応用として二次元キャラクターの学習・生成タスクに取り組みました。 学んだキャラクターのCLIP embeddingを用いた生成例 1. Motivation オリジナルのキャラクターを描くときに角度や表情を微調整するのには途轍もない労力が必要です。筆者はイギリスでのロックダウン以来趣味でイラストや漫画を描こうとすることが増えたのですが、その過程でこのことに気付きました。生成モデルの力を借りて今までに描いたことのない構図で
MN-Coreコンパイラを用いた深層学習ワークロードの高速化 - Preferred Networks Research & Development
はじめに 深層学習を軸とした研究開発には大きな計算資源が必要です。 PFNでは深層学習ワークロードに特化した計算機資源として深層学習用アクセラレータであるMN-Coreを開発し、実際に弊社のスーパーコンピュータであるMN-3に搭載し運用を行っています。本記事では、MN-Coreを利用した深層学習ワークロード高速化のためのコンパイラの概要及び、ワークロード高速化の実例について紹介します。 MN-Coreの概要とコンパイラの必要性 MN-Core(https://www.preferred.jp/ja/projects/mn-core/)とは深層学習ワークロードに特化したアクセラレータです。深層学習において頻出する畳み込み演算を高速化するために、多数の高効率な行列演算器ユニットを階層的に束ねた構造を持っています。各階層間においては縮約/放送など深層学習ワークロードでよく用いられる集団通信を行う
【ICLR2020採択論文】GANのなめらかさと安定性 - Preferred Networks Research & Development
リサーチャーの南です。機械学習のトップ会議のひとつであるICLR2020に、2019年度PFN夏季インターンのCasey Chuさん、PFN技術顧問の福水健次教授と共同で書いた論文が採択されました。 Casey Chu, Kentaro Minami and Kenji Fukumizu. Smoothness and Stability in GANs. In International Conference on Learning Representations (ICLR), 2020, to appear. 論文リンク 本記事では、上記論文の内容を簡単に紹介します。 背景: GANと安定化技術 周知のとおり、敵対的生成ネットワーク (GAN, [1]) はとても強力な生成モデルです。例えば、GANによって自然な高解像度画像を生成できることが知られています。下記は高解像度画像生成にお
【ICLR2020採択論文】グラフニューラルネットワークは頂点識別問題のための「情報」を指数的に失う | Preferred Networks Research & Development
図1：グラフニューラルネットの1層に対応する変換を力学系として表現した図．点線は「頂点識別問題のための情報が少ない」状態に対応する．定理の仮定を満たす場合（左図）は1層の変換で，各点は点線に一様に近づくが，そうでない場合（右図） 場所によっては点線から遠ざかることがある．本論文より引用． はじめに エンジニアの大野です．現在私はPFNに勤めながら，大学院博士課程に在籍し，深層学習の理論研究を行なっています（いわゆる社会人博士です）．今年4月にエチオピアのアディスアベバで開催されるICLR2020に大学での研究論文が採択されました．ありがたいことに研究成果を高く評価していただき，本論文はspotlight（全投稿論文中の4.2%）に選ばれています (*1)．本エントリではその論文の概要を紹介します．詳細は以下の論文をご覧ください． Kenta Oono and Taiji Suzuki. G
深層学習モデルを用いたノンパラメトリック回帰問題に関する最近の研究 | Preferred Networks Research & Development
図1：ReLU-MLPによる2次関数の近似．このネットワークを用いるとHölder関数を効率的に近似できる（[Yarotsky, 2017]より引用） 深層学習モデルはこれまで様々な機械学習タスクにおいて成功を収めてきています．それに触発され，深層学習モデルの成功要因を理論面から解明する試みが盛んに行われています．特に深層学習の理論研究（特に統計的学習理論と呼ばれる分野）では，主に3つの問題提起がなされ，それに対する様々な回答がなされています [Poggio et al., 2016]： 表現能力：深層学習モデルはどんな関数を（効率的に）推定できるのか [Cybenko, 1989; Telgarsky, 2016; Eldan and Shamir, 2016; Sonoda and Murata, 2017] 最適化：なぜ（確率的）勾配法が「良い」解を見つけることができるのか [Li
CuPy カーネル融合の拡張 - Preferred Networks Research & Development
本記事は、2019年インターンシップとして勤務した徐 子健さんによる寄稿です。 2019年度夏季インターンのJoeです。この度インターンプロジェクトとしてCuPyのカーネル融合の拡張に取り組み、既存のカーネル融合の適用範囲を大幅に拡張しました。さらにその応用として、ResNet50のバッチ正規化においてCPU実行時間を30%ほど、GPU実行時間を(入力サイズに大きく依存しますがおおよそ)70%ほど削減することに成功しましたので、その取り組みをご紹介します。 背景 CuPyはNumPyと同じAPIを提供するPythonのライブラリで、CUDAを用いて演算を高速に行います。具体的には、行列・ベクトルの要素ごとの演算や、リダクションと呼ばれる、演算によって配列の次元が落ちる演算(たとえばcupy.sum)など、GPUが得意とする計算を高速に行うことができます。 さて、CuPyのGPU演算は強力で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
