日本語に特化した大規模言語モデル（生成AI）を試作｜2023年｜NICT-情報通信研究機構
国立研究開発法人情報通信研究機構（NICT（エヌアイシーティー）、理事長: 徳田 英幸）は、ユニバーサルコミュニケーション研究所データ駆動知能システム研究センターにおいて、独自に収集した350 GBの日本語Webテキストのみを用いて400億パラメータの生成系の大規模言語モデルを開発しました。今回の開発を通し、事前学習用テキストの整形、フィルタリング、大規模計算基盤を用いた事前学習等、生成系の大規模言語モデル開発における多くの知見を得ました。現在は、更に大規模な1,790億パラメータの生成系大規模言語モデル（OpenAI社のGPT-3と同等規模）の学習を実施中で、また、学習用テキストの大規模化にも取り組んでいます。今後、共同研究等を通して民間企業、国研、大学等と協力して、日本語の大規模言語モデルの研究開発や利活用に取り組む予定です。 NICTでは、これまでWebページを収集し、インターネット
OpenAIのAPIを使って営業資料をベクトル検索するボットをつくってみた | DevelopersIO
はじめに 新規事業統括部の山本です。 ChatGPTをはじめとした、大規模言語モデル（Large Language Model）を使用したサービスを利用することで社内の業務効率化をした、というニュースを聞くことが増えてきました。クラスメソッドでもOpenAI APIなど、AIを利用した社内の業務効率化に取り組んでいます。 前回の記事では、OpenAIのAPIを利用した業務効率化のためのはじめの一歩として、自社ブログ（DevelopersIO）の記事を検索するボットを作成してみました。ベーシックな文章検索+応答生成（Retrieval Augmented Generation）ではなく、クエリ自体もLLMに考えさせるChatの機能を付与し、実際の動作を確認しました。 https://dev.classmethod.jp/articles/implement-devio-articles-se
AI（LLM）についてまだみんなが知らない8つの事実（論文：Eight Things to Know about Large Language Modelsについて）
いかにも海外の煽り記事みたいなタイトルを付けてしまったが、おおむねそういう感じの内容の論文が発表されて、興味深かったので今回はそれについて書いてみたい。 最近、「AGIが人類を滅亡させる！」みたいなAI人類滅亡説がにわかに広がっているらしい。 これの言い出しっぺみたいな人は、ユドコウスキー氏という方らしいが、彼は何十年も前からAI脅威論を言っていたらしい。そういう人もいるとは思うが、最近はそれを真に受けちゃう人が増えてるらしい。ChatGPTの実力に驚いた人が増えたからだろうか。 ホワイトハウスでFox Newsの記者が「AIが人類を滅亡させるってホントですか？」と質問しちゃうというような、パニック映画さながらの出来事まで起きている。これはエイプリルフールではない。 ホワイトハウスでFox Newsの記者が「機械知能研究所の専門家がAI開発を無期限に停止しないと文字通り地球上のすべての人間
ChatGPTとBardの対決を超える“事件”。無料の｢StableLM｣登場で｢AIの超民主化｣争いが始まった
2022年に画像生成AIで一大ムーブメントを巻き起こしたStableDiffusion（ステーブル・ディフュージョン）が4月19日、再びAIの世界を興奮の渦に巻き込んだ。 2022年末から爆発的に話題になり、岸田首相までが言及し、先進国首脳会議G7広島サミットの議題にも上がるという、OpenAIの｢ChatGPT｣に対抗する、完全にオープンでフリーな大規模言語モデル（LLM）｢StableLM｣を発表したからだ。 StableLMの登場は、LLM（大規模言語モデル）をめぐるこの半年の激変のなかで、象徴的な出来事だ。 勢力争いは、OpenAIとグーグル、メタ（Facebook）など｢巨大ITの対立軸｣で語られがちだが、今、LLMの世界で起きている勢力争いはそこではない。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Microsoft、大規模言語モデル（LLM）を用いたAIアプリ開発を支援するVS Code拡張機能を公開
TruthGPT Chat
最近話題になった大規模言語モデルまとめ｜npaka