タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Preferred Networks、深層学習の研究開発基盤をPyTorchに移行 - 株式会社Preferred Networks
PyTorch開発チームおよびオープンソースコミュニティと連携し、フレームワーク開発、MN-CoreプロセッサのPyTorchサポートなどを推進 株式会社Preferred Networks（本社：東京都千代田区、代表取締役社長：西川徹、プリファードネットワークス、以下、PFN）は、研究開発の基盤技術である深層学習フレームワークを、自社開発のChainer™から、PyTorchに順次移行します。同時に、PyTorchを開発する米FacebookおよびPyTorchの開発者コミュニティと連携し、PyTorchの開発に参加します。なお、Chainerは、本日公開されたメジャーバージョンアップとなる最新版v7をもってメンテナンスフェーズに移行します。Chainerユーザー向けには、PyTorchへの移行を支援するドキュメントおよびライブラリを提供します。 PFN 代表取締役社長 西川徹は、今回の
出典：官報（※クリックorタップすると拡大できます）日本を代表するユニコーン企業で、自動運転関連技術の開発も手掛けるAI（人工知能）開発企業の株式会社Preferred Networks（本社：東京都千代田区／代表取締役CEO：西川徹）。同社の第9期決算公告（2022年2月〜2023年1月）が、このほど官報に掲載された。 第9期は売上高が76億5,500万円、当期純損失は30億6,600万円であった。 これと同じタイミングで、同社は新設分割により、生成AI事業に関する新子会社「Preferred Elements」を2023年11月1日に設立することを発表した。2021年11月には、自律移動ロボット事業を手掛ける「Preferred Robotics」も新設分割により設立している。 過去の新設分割の経緯があるため、同社の決算を過去の決算と単純に比較はしにくいが、参考のために記載すると、第7
株式会社Preferred Networks（本社：東京都千代田区、代表取締役 最高経営責任者：西川徹、プリファードネットワークス、以下、PFN）は、AIおよびデータサイエンスを基礎から学びたい大学生・社会人向けに、機械学習・深層学習の基礎学習コンテンツ4種を、個人向けオンラインAI人材育成講座 SIGNATE Quest*のマーケットプレイスで本日提供開始します。 各産業の専門分野にAIおよびデータサイエンスを応用することができる人材の大幅な不足が指摘される中、そうした人材の育成が国家戦略の重要テーマの１つとして位置づけられています。 PFNは深層学習フレームワークの開発、深層学習技術の産業応用において培ってきた経験をもとに、これからの社会を担う大学生・社会人向けに、機械学習・深層学習技術の活用に必須となる知識を習得するための4つの基礎学習コンテンツを提供します。 SIGNATE Que
WireGuard is a registered trademark of Jason A. Donenfeld.
Preferred Networksの岡野原氏が、「LLMの最前線と今後の展望」というテーマで、LLMの現状と今後について話をしました。全2回。 岡野原大輔氏の自己紹介 岡野原大輔氏：今日は、たくさん資料を用意しているので、少し巻きでどんどんいきたいと思います。 さっそく自己紹介をできればと思います。（スライドを示して）私はPreferred Networksの岡野原と申します。西川と一緒に会社を経営し、もう15年ですかね。Preferred Networksという会社としては、今年10周年を迎えました。 私自身は、今、「Twitter（現X）」で@hillbigという名前で、よくいろいろな論文をツイート（ポスト）をしているので、それで知っている方もいるかもしれません。そういった最先端の研究の状況を追いながら自分たちも作って、それを社会実装していく製品、サービスなどを作っていく部分に力を入
2016年から約7年弱勤めたPreferred Networks (PFN)を退職しました。6/1より次の職場で仕事を開始します。次の職場については6月以降気が向いたときにTwitterかどこかに書きます。 PFNはどうだった？ PFNでの日々は、一言で言うと最高でした。技術的にも立場的にも多岐にわたる経験をさせてもらいました。そして、何より、めちゃくちゃ楽しかったです。PFNで働けたことは幸運で、心から感謝しています。今後も他の人に相談されたら多くの人に勧めると思います。 PFNでの思い出を色々書きたいのはやまやまなのですが、とても長くなりそうなので、別の記事にしようと思います。 では、なぜ転職するのか？ Generative AI Generative AI (LLM, 拡散モデル)の最近のブレイクスルーに大きな衝撃を受け、Generative AI分野の研究開発に、私にとって一番望ま
China hacked Japan’s sensitive defense networks, officials say
China hacked Japan’s sensitive defense networks, officials say Tokyo has strengthened its defenses after a major cybersecurity breach, but gaps remain that could slow information-sharing with the Pentagon
Pythonのlinter/formatterを誰でも手軽に設定できるようにするためのPFN社内ツール “pysen” の紹介 - Preferred Networks Research & Development
Home Blog Pythonのlinter/formatterを誰でも手軽に設定できるようにするためのPFN社内ツール “pysen” の紹介 Python向けのlinter/formatter設定ツール「pysen」を pypi.org および github.com で一般公開しました。 このツールは主にPython向けのlinter/formatterの設定を一元管理し、Preferred Networks社内でよく使われているツール環境を誰でも簡単に設定できるように支援するツールです。チームごとに分散しうるようなツールに関するノウハウをコードとして集約し、PFN社内での共有を促進させることを目的として開発しています。pysenは実際にPFN社内で使われており、2020年4月に開発がスタートしてから、2021年3月現在でおよそ100を超える社内リポジトリに導入されています。 上図:
Kubernetesにおけるコンテナ起動時間高速化に向けた検討 - Preferred Networks Research & Development
本投稿はPFN2022 夏季国内インターンシップに参加された江平智之さんによる寄稿です。 はじめに PFN2022 夏季国内インターンシップに参加していた江平智之です。現在修士１年で、大学では分散システムやクラウド技術について研究しています。 今回のインターンシップでは、「JP04. Kubernetesにおけるコンテナ実行環境の改善」というテーマでコンテナ起動時間の高速化に取り組みました。 背景 PFNでは機械学習基盤としてKubernetesクラスタを使用しており、リサーチャやエンジニアはKubernetesクラスタ上のPod内で機械学習やシミュレーションなどの計算を行っています。スケジューラによってノードにアサインされた後にPod内にコンテナが起動されますが、ノード上にコンテナイメージのキャッシュがない場合にコンテナ起動が遅いという問題がありました。計算はPFNの研究開発における主要
Preferred Networksの岡野原氏が、「LLMの最前線と今後の展望」というテーマで、LLMの現状と今後について話をしました。全2回。前半はこちら。 実験のシミュレーションをLLMが生成する 岡野原大輔氏：（スライドを示して）ここでは、LLMの弊社の中での利用事例をいくつか紹介していきたいと思います。1つ目が材料探索のデモで、弊社は「Matlantis」と呼ばれる計算科学向けのシミュレーターを製品として出していて、これは非常に高精度に、いろいろな材料の性質、例えば電池や半導体や触媒を作る時の材料の性質を、高精度でシミュレーションできる製品ですが、これを使うためには計算科学のプログラムの知識が必要です。 なので、なかなかその実験で科学者が使うことが難しいです。そこで人間の言葉で、こういう実験のシミュレーションをしたいと指示すると、それに合わせたプログラムを、ファインチューニングされ
大規模言語モデルのFine-tuningによるドメイン知識獲得の検討 - Preferred Networks Research & Development
本記事は、2023年夏季インターンシッププログラムで勤務された竹田悠哉さんによる寄稿です。 はじめに 2023年度のPFN夏季インターンに参加した、東京大学大学院工学系研究科の竹田悠哉と申します。学部では画像生成の研究をしていましたが、技術の社会実装をより俯瞰的に学びたいと思い、現在は技術経営戦略学専攻で教育工学の研究をしています。 インターンでは「機械学習技術の社会実装」をテーマに、LLM（Large Language Model）にドメイン知識を習得させることに取り組みました。様々な設定において、主に英語で学習されたモデルであるLLaMA2に対して日本語のデータでのFine-tuningを行い、LoRAやInstruction Tuning、ドメイン知識の習得に関する知見を得ることができたと思います。本記事では、そこで利用した技術の紹介と、日本語におけるドメイン知識の習得に関する実験、
今日はPreferred Networksの最終出社日でした。アルバイト期間含めて6年間、大変お世話になりました！ pic.twitter.com/klMbe5mct8 — Yuki Igarashi (@bonprosoft) February 18, 20222月末をもって Preferred Networks を退職します。 フルタイムでは4年間、アルバイトも含めると6年間お世話になりました。 ここ数年間、おかげさまで私としては毎日楽しく（精一杯）過ごしてきたのですが、日頃の情報発信を怠っていたこともあり周りからどう思われているのか考えるときがあります。 ちょうど良い機会だと思うので、この数年間で何をやっていたかをまとめようと思います。 単なる自己満足でしかないのですが、私がこの4年間に取り組んでいたこと、PFNでの経験が本当に素晴らしいものであったということが一人でも多くの方に伝わ
ベクトル埋め込みの最適化によるアイデンティティを保ったキャラクター生成 Preferred Networks Research & Development
本記事は、2022年夏季インターンシッププログラムで勤務された早川知志さんによる寄稿です。 はじめまして。2022年度のPFN夏季インターンに参加した早川知志です。普段はオックスフォード大学で数学（確率論・数値解析）の博士学生をしており、確率測度の離散化やそれにまつわる理論や応用に興味があります。 今回は、大学でやっていることとは趣旨を変えて、深層学習のエンターテインメント応用として二次元キャラクターの学習・生成タスクに取り組みました。 学んだキャラクターのCLIP embeddingを用いた生成例 1. Motivation オリジナルのキャラクターを描くときに角度や表情を微調整するのには途轍もない労力が必要です。筆者はイギリスでのロックダウン以来趣味でイラストや漫画を描こうとすることが増えたのですが、その過程でこのことに気付きました。生成モデルの力を借りて今までに描いたことのない構図で
日本語LLMベンチマークと自動プロンプトエンジニアリング - Preferred Networks Research & Development
大規模言語モデル (LLM) は日進月歩で進化しており、日本語の理解能力についても多くの言語モデルがしのぎを削っています。先日PFNからも、日英2言語を併せた能力で世界トップレベルの性能を示す言語モデルPLaMo-13Bを公開*しました。 一方で、LLMを実際のタスクに適用する場合には、事前学習モデルやファインチューニングによる改善もさることながら、プロンプトの違いが性能を大きく左右します。本稿ではプロンプトを自動的にチューニングすることによって、LLMの能力を最大限に引き出し、与えられた課題の精度をどこまで高められるのかを検証します。 * 本稿で解説するプロンプトチューニング技術は、PLaMo-13B公開時の性能評価には用いていません。 プロンプトエンジニアリングについて LLMを使ったチャットシステムでは、ユーザーからの問い合わせ内容を改変してLLMに入力することがあります。例えば、図
【ICLR2020採択論文】GANのなめらかさと安定性 - Preferred Networks Research & Development
リサーチャーの南です。機械学習のトップ会議のひとつであるICLR2020に、2019年度PFN夏季インターンのCasey Chuさん、PFN技術顧問の福水健次教授と共同で書いた論文が採択されました。 Casey Chu, Kentaro Minami and Kenji Fukumizu. Smoothness and Stability in GANs. In International Conference on Learning Representations (ICLR), 2020, to appear. 論文リンク 本記事では、上記論文の内容を簡単に紹介します。 背景: GANと安定化技術 周知のとおり、敵対的生成ネットワーク (GAN, [1]) はとても強力な生成モデルです。例えば、GANによって自然な高解像度画像を生成できることが知られています。下記は高解像度画像生成にお
深層学習モデルの実装を爆速にするVSCodeの設定メモ - May the Neural Networks be with you
こんにちは。@shunk031です。 新型コロナウイルスが猛威を奮っていますね。 不要不急の外出は控えるのが大切そうです。 こういう時は引きこもって論文を読むのが一番です。 今回はコードエディタであるVSCodeで、深層学習モデルの実装を爆速にするための設定についてメモします。 深層学習モデルの実装をする際にはリモート上にあるGPUを搭載したサーバで実装をしたりデバッグすることが非常に多いです。 VSCodeはこうしたリモートでのコード編集およびデバッグを簡単に行える仕組みを多数揃えています。 本記事では、深層学習モデルの実装に頻繁に利用されるPythonを対象に、以下の観点からモデルの実装を爆速にする設定や機能について紹介します: Pythonの開発環境の構築 リモートのGPUサーバに接続するための設定 深層学習モデルの実装・デバッグを簡単にする機能 おすすめのショートカットキー・拡張機
PFN の Kubernetes クラスタにおける Uninterruptible Sleep との付き合い方 - Preferred Networks Research & Development
Preferred Networks エンジニアの坂田です。普段は社内向けの GPU サーバークラスタの運用管理の業務などをやっております。 先日、DevOpsDays Tokyo 2021 というイベントで、弊社 須田と一緒に PFN が Kubernetes を使って GPU クラスタを運用する中で経験してきた障害とその対応の自動化や、Kubernetes クラスタそのものの管理・アップグレードの自動化の取り組みについてご紹介しました。 SlideShare: PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021 本エントリでは、その中でご紹介した障害の事例の中から、コーナーケースとして対応に悩まされた Uninterruptible Sleep という状態に入ったプロセスの扱いについてご紹介します。 はじめに PFN のクラ
TOP500とGreen500:コンピュータの性能指標をどう読むか - Preferred Networks Research & Development
1. はじめに 2020年6月22日深夜（日本時間）にリモート開催されたISC2020のTOP500セッションで、PFNが作った深層学習用スーパーコンピュータ、MN-3が21.11 GFlops/WのHPLベンチマークの実行性能をあげ、Green500ランキングで500システム中No.1になりました（写真1）。開発チームの一員として、ここに至るまでの苦労の連続を思うと、とても嬉しいです。 なお、同日発表されたTOP500, HPCG, Graph500, HPL-AIベンチマークでは、理研に設置された「富岳」システムが各々500システム中1位、68システム中1位、10システム中1位、2システム中1位と、1位を多数達成したことも、ポスト京プロジェクト（富岳と命名される前の名前）の前座プロジェクトや、システム評価にかかわったものとして嬉しく思います。 このBlogでは最近増えてきてちょっと混乱
深層学習モデルを用いたノンパラメトリック回帰問題に関する最近の研究 | Preferred Networks Research & Development
図1：ReLU-MLPによる2次関数の近似．このネットワークを用いるとHölder関数を効率的に近似できる（[Yarotsky, 2017]より引用） 深層学習モデルはこれまで様々な機械学習タスクにおいて成功を収めてきています．それに触発され，深層学習モデルの成功要因を理論面から解明する試みが盛んに行われています．特に深層学習の理論研究（特に統計的学習理論と呼ばれる分野）では，主に3つの問題提起がなされ，それに対する様々な回答がなされています [Poggio et al., 2016]： 表現能力：深層学習モデルはどんな関数を（効率的に）推定できるのか [Cybenko, 1989; Telgarsky, 2016; Eldan and Shamir, 2016; Sonoda and Murata, 2017] 最適化：なぜ（確率的）勾配法が「良い」解を見つけることができるのか [Li
ロボット工学や自動運転などで顕在化するAI課題を解決、MIT発「Liquid Neural Networks」とは何か - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
現在の人工知能（AI）を取り巻く環境では、 大規模言語モデル（LLM）の話題から、ますます大規模なニューラルネットワークの開発競争が起きている。しかし、すべてのアプリケーションが、大規模なディープラーニングモデルの計算量とメモリの要求をできるわけではない。 このような環境の制約が、いくつかの興味深い研究の方向性につながっている。MIT（マサチューセッツ工科大学）の CSAL（コンピュータ科学・人工知能研究所）の研究者が開発した新しいタイプのディープラーニングアーキテクチャ「Liquid Neural Networks」は、特定の AI 問題に対して、コンパクトで適応性が高く、効率的なソリューションを提供する。これらのネットワークは、従来のディープラーニングモデルに内在する課題のいくつかに対処するように設計されている。 Liquid Neural Network は AI の新たなイノベーシ
Preferred Networks におけるHadoop - Preferred Networks Research & Development
Preferred Networks （以下PFN）では、「現実世界を計算可能にする」「全てのひとにロボットを」という目標のもと、機械学習を始めとしたあらゆる計算技術を用いて研究開発に日々取り組んでいます。その過程では必ずといっていいほど、データの保存や読み出しが必要になります。ここでは、我々がどのようにデータ管理をしているか、また、その過程でどのようにHadoopを利用しているかについて紹介したいと思います。 写真: PFNカラーリングのストレージサーバー Hadoop導入の経緯 Hadoopが多く利用されているようなログ分析や、エンタープライズ向けのETL処理やデータサイエンスに比べると、深層学習の分野でよく利用されているような規模のデータは比較的小さいです。よく画像認識のベンチマークとされるImageNetの2012年のコンペで利用されたデータセットは200GB程度です。これはそもそ
This adventure starts with git-lfs. It was a normal day and I added a 500 MB binary asset to my server templates. When I went to push it, I found it interesting that git-lfs was uploading at 50KB per second. Being that I had a bit of free time that I’d much rather be spending on something else than waiting FOREVER to upload a file, I decided to head upstairs and plug into the ethernet. I watched i
Graph Neural Network を用いたグラフの木幅予測 - Preferred Networks Research & Development
本記事は、2019年夏のインターンシップに参加された中野裕太さんによる寄稿です。 皆様はじめまして。2019 年 PFN 夏季インターンシップに参加していた北海道大学の中野裕太です。本ブログでは、私が夏季インターンで取り組んだテーマである、「Graph Neural Network を用いたグラフの木幅予測」について説明します。 要旨 与えられた無向グラフがどれくらい木に近いかを表す値である木幅は、グラフ上の組み合わせ最適化問題に対するアルゴリズムの効率性や解そのものと深く関係しています。しかし、木幅を計算することは NP 困難なため、木幅を計算するには頂点数に対し指数時間かかってしまいます。そこで、今回 Graph Neural Network を用いた 2 つの方法でこの問題にアプローチしました。1 つ目は、よく知られた既存のアルゴリズムと組み合わせ探索木の枝刈りを行い高速化を図り計算
社内の輪講で発表した資料です。 Graph Neural NetworksについてSpectral MethodとSpatial Methodについて代表的な手法を簡単に紹介し、更にDeep Graph Library (DGL)を用いた具体的な実装方法を紹介しています。
Optuna の拡張機能 LightGBM Tuner によるハイパーパラメータ自動最適化 - Preferred Networks Research & Development
Optuna 開発メンバの小嵜 (@smly) です。この記事では Optuna の拡張機能として開発している LightGBM Tuner について紹介します。 LightGBM Tuner は LightGBM に特化したハイパーパラメータ自動最適化のためのモジュールです。Pyhton コードの import 文を 1 行変更するだけで簡単に利用できます。LightGBM Tuner はエキスパートの経験則を自動化しコードに落とし込むことで、従来より短い時間で最適なハイパーパラメータを探索できます。また記事の後半では従来手法と比較したベンチマーク結果についても紹介します。ベンチマークをとることで、従来の方法と比較して効率的に探索できることを確認しました。 ナイーブな LightGBM のハイパーパラメータチューニング LightGBM は勾配ブースティング法の高速な実装を提供する人気の
キャラ配信の『IRIAM』、Preferred Networksの技術提供をもとに、AIによる自動キャラモデリング技術を世界初のスマホ実用化。1枚のイラストが、AIのちからで表情豊かに動き出す！
キャラ配信の『IRIAM』、Preferred Networksの技術提供をもとに、AIによる自動キャラモデリング技術を世界初のスマホ実用化。1枚のイラストが、AIのちからで表情豊かに動き出す！ 株式会社IRIAM（本社：東京都渋谷区）の運営するキャラ配信アプリ『IRIAM』が、深層学習などの最先端技術の実用化をめざす株式会社Preferred Networks(本社：東京都千代田区、以下：PFN)の技術提供をもとに、表情も含めた「AIによる自動キャラモデリング技術」の世界初（※1）となるスマホの実用化水準でのサービス提供（βテスト）を開始いたしました。 これにより、誰でも1枚のイラストを用意するだけで、AIのちからでキャラクターを表情豊かに動かし、『IRIAM』上で配信ができるようになりました。IRIAM社では、事業拡大に伴い採用の強化にも注力しております。 ※1 2021年6月時点・当
最新の深層学習技術による古典くずし字認識の現状と今後の展望 - May the Neural Networks be with you
こんにちは。@shunk031 です。 普段は最先端の技術が大好きなパソコンのオタクですが、京都へ旅行して古き良き日本の文化に感化されました。 この記事は 法政大応情 Advent Calendar 2020 21 日目の記事です。 From http://codh.rois.ac.jp/ 今回は日本古典籍の分類タスクについて取り組んでみようと考え、近年の日本古典籍における「くずし字認識」に着目して調査をしました *1。 日本古典籍といった古文書に対して、OCR 等の文字認識技術によって文字情報をデジタル化し、それらの情報をもとに解析を行う流れは現代では自然だと考えています。 しかしながら、一般的に OCR は難しく、また古文書を機械に解析させることはさらなる困難があるのは容易に想像できます。 くずし字認識に対して、近年の取り組みでは ROIS-DS 人文学オープンデータ協働センターが K
表形式データに対する深層学習ライブラリの開発と実験 - Preferred Networks Research & Development
本記事は、2021年度PFN夏季インターンシップで勤務した平川雅人さんと畠山智之さんによる寄稿です。 はじめに 2021年度PFN夏季インターン生の平川雅人と畠山智之です。 今回のインターンでは、表形式データに対して様々な深層学習モデルを試すことができるライブラリを共同で開発しました。開発したライブラリは https://github.com/pfnet-research/deep-table で公開しています。 背景 近年、深層学習は画像や自然言語、音声の分野で目覚ましい成功を収めてきました。しかし表形式データに対しては、深層学習はそのような成功を遂げることは少なく、いまだにXGBoostやLightGBMのような決定木ベースのモデルが主流となっています。 深層学習の有望な手法として、決定木のアンサンブルを模倣して勾配ベースの学習を可能にしたNODE [1] や、スパースなattenti
メルペイ、エムスリー、Preferred Networksの3社が登壇 藤倉成太氏（以下、藤倉）：藤倉：では、さっそく始めていきたいと思うのですが、パネルディスカッション、全体で時間としては30分程度を予定しています。 谷脇大輔氏（以下、谷脇）：Preferred Networksの谷脇です。よろしくお願いします。 （会場拍手） 竹原一彰氏（以下、竹原）：メルペイの竹原と申します。先ほど発表させていただきましたとおり、私はメルペイのMachine Learningチームのエンジニアリングマネージャーをやっております。会場からも質問とか受け付けるタイミングがあったら「どういうことやってるの？」など、気楽に聞いていただけるとうれしいです。よろしくお願いします。 （会場拍手） 西場正浩氏（以下、西場）：エムスリーの西場です。よろしくお願いします。ここにいるメンバーは懇親会もたぶんいるので、みんな
Preferred Networks、プログラミングで動きをコントロールできるゲーム「Omega Crafter」をリリース Preferred Networks（PFN）は、PC用アクションゲーム「Omega Crafter」を開発、早期アクセス版を日本時間2024年3月29日12:00にリリースした。 Omega Crafter : Steam 価格は税込2,800円、リリース後1週間はセールとして10％OFFの税込2,520円で提供される。 🎉早期アクセス版 発売開始🎉 『#OmegaCrafter/ オメガクラフター』https://t.co/HlagNI2LPO プログラミングによる自動化✖サバイバルクラフトの新しい組み合わせ🆕 🛠️自由度の高い建築 💙かわいい相棒グラミー 💥ソウルライクなバトル 🎮最大6人のマルチプレイも🙌Steamで配信中🔥 pic.t
先生の「まずは論文の骨子を箇条書きで書いてみて」に対応する: 論文執筆の第一歩 - May the Neural Networks be with you
こんにちは @shunk031 です。 年末年始は国内学会の締め切りが多く、研究室内で初めて論文を書く人たちが増えてくる時期です。 本記事はそのような論文執筆が初めての弊研 (彌冨研究室) B4 や M1 に向けて書きましたが、一般的に論文の書き始めに通じるところがあると思います。 この記事は 法政大学 Advent Calendar 2021 22 日目の記事です。 adventar.org 骨子って、何？というか初めて論文書くんですがどうすれば、、、。イラストはうちの先生には似ていませんが、だいたいこんな感じで言ってきます。 弊研では恒例ですが、研究が進んできて結果がまとめられそうな段階になってくると 先生 に以下のようなことを言われます。 「まずは論文の骨子を箇条書きで書いてみて！」 本記事は「論文の骨子とはどのようなものか」「箇条書きで骨子を書く場合の注意点はなにか」に焦点を当てま
継続事前学習による金融ドメイン特化LLMの構築の検証 - Preferred Networks Research & Development
この記事は、金融チームエンジニアの今城(@imos)と金融チームリサーチャーの平野(@_mhirano)による寄稿です。 概要 本稿では、ドメインに特化したLLMの構築の一環として、金融ドメイン特化のLLMの構築の検証を行いました。継続事前学習によるドメイン知識の獲得を模索し、特定のドメイン向けに専用のパラメータ数が多い高性能なLLMを提供を可能にすることを目指します。 実験では、nekomata-14bとPFNで構築した金融に特化したデータセットを用いて、継続事前学習を実施しました。 継続事前学習の結果として、金融ベンチマーク性能が向上することが確認できました。 出力の差としては、Instruction Tuningを施していないため、大きな差は見られないものの、一定の差が見られるケースもありました。 継続事前学習後のモデルは、https://huggingface.co/pfnet/n
[AAAI2021採択論文] 深層学習による株価予測 - Preferred Networks Research & Development
こんにちは。エンジニアのいもす (今城 健太郎) です。現在、投資ファンドを作るため金融時系列の予測モデルの研究開発を行っています。その予測モデルについて、PFN の今城健太郎・南賢太郎・伊藤克哉と野村アセットマネジメント株式会社の中川慧氏が共同で執筆した論文が、人工知能分野における世界トップクラスの国際会議である AAAI 2021 に採択されました。 今回採択された論文 Deep Portfolio Optimization via Distributional Prediction of Residual Factors では、深層学習を用いたポートフォリオ最適化を、様々な金融時系列の性質を帰納バイアスとして導入することで改善する手法を提案しました。本記事では、深層学習のモデル設計という観点でどのような面白さがあるかに触れつつ、採択論文について簡単に紹介します。 はじめに: 帰納バイ
![[AAAI2021採択論文] 深層学習による株価予測 - Preferred Networks Research & Development](https://cdn-ak-scissors.b.st-hatena.com/image/square/f5c641375ef30b37aca5e7d60b9ebd17be44d897/height=288;version=1;width=512/https%3A%2F%2Ftech.preferred.jp%2Fwp-content%2Fuploads%2F2020%2F12%2Fblog-fig3.png)
Best Practices for Working with Configuration in Python Applications - Preferred Networks Research & Development
Home Blog Best Practices for Working with Configuration in Python Applications Most computer applications can be configured to behave a certain way, be it via command line flags, environment variables, or configuration files. For you as a software developer, dealing with configuration comes with challenges such as parsing untrusted input, validating it, and accessing it on all layers of your progr
「Day One - CTO/VPoE Conference 2022 Spring -」は、日本CTO協会が主催するイベントです。パネルディスカッションでは、政財界、テクノロジー分野の第一人者をパネリストにお迎えし、日本CTO協会理事のモデレートにより、“Day One”をテーマにご講演いただきます。ここで登壇したのは、株式会社Preferred Networksの岡野原大輔氏。学習の課題や困難、それらを克服するベストプラクティスについて発表しました。全3回。1回目は、人が生涯を通じて学び続けなければいけない理由について。 「現実世界を計算可能にする」をビジョンに掲げるPreferred Networks 岡野原大輔氏：Preferred Networksの岡野原です。よろしくお願いします。本日は「Learn or Die - どのように学習し変化し続けられるか」というテーマでお話ししま
PFNで10年続く読書会について - Preferred Networks Research & Development
総務・ファシリティ担当のやまかつです。初blogなので軽く自己紹介します。4年前にインテリア設計事務所からPreferred Networks (PFN)に総務担当として入社しました。ワークスペースや実験環境の構築や運営維持が主な仕事ですが、実は入社前から読書会のことは噂に聞いており、当時から参加することを楽しみにしていました。本好き・本屋好きです。 PFNが読書会について社外に紹介するのは初めてかもしれません。PFNの前身であるPFI時代から10年以上毎週続いている社内イベントです。読書会の紹介を通じて、みなさんにPFN社内の雰囲気を少しでもお伝えできればと思いblogにまとめてみました。併せて、読書会から派生した夏のインターン向け企画「PFNメンバーによる選書」についてもご紹介します。 PFN読書会とは PFN読書会とは、社員が最近読んだ本を紹介する会です。当初は知見を広めることが主な
第1弾として小学生から始めるプログラミング教材「Playgram」を開発、やる気スイッチグループと提携し、教室とオンライン授業に導入 株式会社Preferred Networks（本社：東京都千代田区、代表取締役 最高経営責任者：西川徹、プリファードネットワークス、以下、PFN）は、深層学習などAI技術の実用化が進むこれからの時代に不可欠な論理的かつ創造的な思考力を育み、世界レベルで活躍できる人材の育成を目指してコンピュータサイエンス教育事業を立ち上げます。 その第１弾として、PFNは小学生から始めるプログラミング教材「Playgram™（プレイグラム）」を開発しました（公式サイト: https://playgram.jp）。総合教育サービス事業を展開する株式会社やる気スイッチグループ（以下、やる気スイッチグループ）と提携し、2020年8月より、プログラミング教室パッケージとして首都圏の3
Apache Ozoneをやっていた一年 - Preferred Networks Research & Development
Why Apache Ozone? これまでPFNでは増え続けるデータやユースケースに対応するために、スケールアウト可能なストレージシステムをずっと模索し続けてきました。シミュレーションを基軸とした戦略を採用した[1]ことによりデータ量はさらに増加し、データ保管システムの重要性は高まっています。 Preferred Networks におけるHadoop – Preferred Networks Research で解説した基本的な要件は今でも変わっていませんが[2]、現在メインのシステムとして運用している Hadoop (HDFS) にはいくつかのシステム運用上の課題があります。たとえば、一番大きなHadoopクラスタは現時点で物理的に10PB近くのディスク容量を持っていますが、Ubuntu 16.04で動作しています。OSのバージョンアップを伴うクラスタのIn-placeなアップグレー
Introducing Triton: Open-source GPU programming for neural networks
Triton makes it possible to reach peak hardware performance with relatively little effort; for example, it can be used to write FP16 matrix multiplication kernels that match the performance of cuBLAS—something that many GPU programmers can’t do—in under 25 lines of code. Our researchers have already used it to produce kernels that are up to 2x more efficient than equivalent Torch implementations,
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本最強ユニコーンPreferred Networks、損失30億円超 第9期決算 | 自動運転ラボ
AIおよび高度IT人材育成のための教材提供を開始 - 株式会社Preferred Networks
Tailscale · Best VPN Service for Secure Networks
AIで人間の生活・常識・行動様式・価値観は大きく変わる Preferred Networks岡野原氏が話すLLMの最前線
Preferred Networksを退職しました - iwiwiの日記
僕の好きな「LLMは知識の索引」という考え方 Preferred Networks岡野原氏が考えるLLMの進化
Preferred Networks を退職します
Golang is evil on shitty networks
Graph Neural Networksを完全に理解したい
機械学習とビジネス課題をどう融合させるか？ メルペイ×エムスリー×Preferred Networksのユースケース Part.1
集合住宅の“ネットが遅い”を解決！ 電話線で最大1.7Gbpsを実現する「G.hn」ソリューションについてRuijie Networksに聞いた
Preferred Networks、プログラミングで動きをコントロールできるゲーム「Omega Crafter」をリリース | gihyo.jp
バリューに「Learn or Die」を掲げるPreferred Networks 岡野原氏が語る、生涯を通じて学び続けなければいけない理由
コンピュータサイエンス教育事業を開始 - 株式会社Preferred Networks
www.iezo.net
togetter.com
galaxyrinri.booth.pm
rinka0.ag.ebb.jp
info-field.tokyo
www.xn--eckwc2b1a4i1d5107aojxa.jp