継続事前学習による金融ドメイン特化LLMの構築の検証 - Preferred Networks Research & Development
この記事は、金融チームエンジニアの今城(@imos)と金融チームリサーチャーの平野(@_mhirano)による寄稿です。 概要 本稿では、ドメインに特化したLLMの構築の一環として、金融ドメイン特化のLLMの構築の検証を行いました。継続事前学習によるドメイン知識の獲得を模索し、特定のドメイン向けに専用のパラメータ数が多い高性能なLLMを提供を可能にすることを目指します。 実験では、nekomata-14bとPFNで構築した金融に特化したデータセットを用いて、継続事前学習を実施しました。 継続事前学習の結果として、金融ベンチマーク性能が向上することが確認できました。 出力の差としては、Instruction Tuningを施していないため、大きな差は見られないものの、一定の差が見られるケースもありました。 継続事前学習後のモデルは、https://huggingface.co/pfnet/n
化学反応におけるDeep learningの適用 - Preferred Networks Research & Development
近年様々な分野に対してDeep learningの応用が研究されてきています。 化学の分野でも物性値の予測モデルや、化合物の生成モデルの研究などが盛んになってきています。最近では、有機化合物の合成を行う際に必要な化学反応の予測をDeep learningで行うという試みが行われてきているのでその先行研究サーベイをしました。 サーベイ資料はこちらのSlideshareにアップロードしています。 問題設定：反応予測および逆合成経路探索 化学反応で、反応物 (reactant) AとBを触媒 (reagent) Cの下で反応させたときに 生成物 (product) D ができたようなプロセスは Reaction SMILES を用いると “A.B.C>>D” というように表すことができます。 ここで、 AとBとC から何ができるか？ （答えはD）を予測する問題を順方向の反応予測問題と呼び、Dを作
ACL 2019 参加レポート - Preferred Networks Research & Development
PFNでは自然言語処理（NLP）による研究開発にも取り組んでいます。 自然言語は人にとって最も身近なインターフェースのうちの一つです。 弊社ではこれまでにもロボットへの言語指示（ICRA 2018, CEATEC 2018）などの研究開発の成果を発表してきました。 先日7/28-8/2にイタリアのフィレンツェにて、自然言語処理のトップ国際会議ACL 2019が開催され、弊社からも佐藤元紀と小林颯介が参加しました。今回はその様子を論文紹介とともにお伝えしたいと思います。本記事は2名で協力し執筆しています。 (写真：会場となったバッソ要塞) また、佐藤元紀が東北大学の鈴木潤氏・清野舜氏と執筆した論文 “Effective Adversarial Regularization for Neural Machine Translation” を口頭発表しました。この論文についても紹介します。 ※佐
プログラミング教育推進月間の教材について - Preferred Networks Research & Development
PFNフェローの丸山です。2月18日に、PFNは文部科学省、総務省及び経済産業省の「未来の学び プログラミング教育推進月間」に協力して、小学校向けのプログラミング教材を作成することを発表しました。この教材は、今年の9月に一部の小学校で、総合学習の一環として利用されることを目指しています（指導案のページはこちらです）。この記事では、私達PFNがなぜこのような活動をしているかをお話ししたいと思います。 PFNは若い会社です。多くの若い社員が次々に家庭を持ち、子どもを育て始めています。社長の西川をはじめ皆、次の世代が活躍し、よりよい社会を作っていくことを強く願っています。これからの社会を考えたとき、マーク・アンドリーセンが「ソフトウェアが世界を侵食する」(Software is eating the world) と言ったことに象徴されるように、社会の価値の多くが情報技術、特にソフトウェアから得
ニューラルネットの逆襲から５年後 | Preferred Research
私が2012年にニューラルネットの逆襲（当時のコメント）というのをブログに書いてからちょうど5年が経ちました。当時はまだDeep Learningという言葉が広まっておらず、AIという言葉を使うのが憚られるような時代でした。私達が、Preferred Networks（PFN）を立ち上げIoT、AIにフォーカスするのはそれから1年半後のことです。 この5年を振り返る良いタイミングだと思うので考えてみたいと思います。 1. Deep Learning Tsunami 多くの分野がこの5年間でDeep Learningの大きな影響を受け、分野特化の手法がDeep Learningベースの手法に置き換わることになりました。NLP（自然言語処理）の重鎮であるChris Manning教授もNLPで起きた現象を「Deep Learning Tsunami」[link] とよびその衝撃の大きさを表して
巨人たちが語るディープラーニングの未来（翻訳記事） - Preferred Networks Research & Development
比戸です。スムージーの美味しい季節ですね。 今回は「ディープラーニングの未来」というパネルディスカッションに関するブログの翻訳をお送りします。この業界の有名人が多数参加していて、とても興味深い内容だったため、日本のコミュニティでも共有できたらと思ったのです。 それは2015年7月に開かれた機械学習の国際会議・ICML内のDeep Learning Workshopの企画でした。元記事はワークショップ主催者のKyunghyun Cho氏のBrief Summary of the Panel Discussion at DL Workshop @ICML 2015です。ご本人の許可を得られたので、以下に日本語訳を掲載します。なるべく原文に忠実に訳したつもりですが、分かりづらい部分は意訳が入っているため、もし誤りがあればご指摘下さい。 — ここから翻訳 <はじめに> ICML 2015で開かれた
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
