継続事前学習による金融ドメイン特化LLMの構築の検証 - Preferred Networks Research & Development
この記事は、金融チームエンジニアの今城(@imos)と金融チームリサーチャーの平野(@_mhirano)による寄稿です。 概要 本稿では、ドメインに特化したLLMの構築の一環として、金融ドメイン特化のLLMの構築の検証を行いました。継続事前学習によるドメイン知識の獲得を模索し、特定のドメイン向けに専用のパラメータ数が多い高性能なLLMを提供を可能にすることを目指します。 実験では、nekomata-14bとPFNで構築した金融に特化したデータセットを用いて、継続事前学習を実施しました。 継続事前学習の結果として、金融ベンチマーク性能が向上することが確認できました。 出力の差としては、Instruction Tuningを施していないため、大きな差は見られないものの、一定の差が見られるケースもありました。 継続事前学習後のモデルは、https://huggingface.co/pfnet/n
PFNで10年続く読書会について - Preferred Networks Research & Development
総務・ファシリティ担当のやまかつです。初blogなので軽く自己紹介します。4年前にインテリア設計事務所からPreferred Networks (PFN)に総務担当として入社しました。ワークスペースや実験環境の構築や運営維持が主な仕事ですが、実は入社前から読書会のことは噂に聞いており、当時から参加することを楽しみにしていました。本好き・本屋好きです。 PFNが読書会について社外に紹介するのは初めてかもしれません。PFNの前身であるPFI時代から10年以上毎週続いている社内イベントです。読書会の紹介を通じて、みなさんにPFN社内の雰囲気を少しでもお伝えできればと思いblogにまとめてみました。併せて、読書会から派生した夏のインターン向け企画「PFNメンバーによる選書」についてもご紹介します。 PFN読書会とは PFN読書会とは、社員が最近読んだ本を紹介する会です。当初は知見を広めることが主な
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
