ChatGPTのようなモデルを高速生成するツール、Microsoftが開発 「既存技術の15倍以上」うたう
米Microsoftは4月12日、ChatGPTのようなモデルを生成できるツール「DeepSpeed-Chat」を公開した。GPU1台で100億以上のパラメータを持つモデルの学習ができる上、学習速度も既存技術の15倍以上としている。 DeepSpeed-ChatはChatGPTでも採用されている学習手法「RLHF」を効率的に実行するためのツール。これまでは高価なGPUを大量に使う必要があったが、DeepSpeed-Chatは少ないGPUで効率的に学習ができる。 例えば、クラウド上でGPU「A100-80GB x8」を使って大規模言語モデル「OPT-B13」を訓練する場合、9時間程度で完了し、コストも290ドル程度という。複数台のGPUを使えば1000億パラメータ規模のモデルの学習にも対応する。 関連記事 ChatGPTが職務経歴書を作成するサービス続々 エンジニア向けから看護師まで ファイ
ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能
OpenAIの対話型AI「ChatGPT」は史上最も急速な成長で「月間1億ユーザー」をわずか2カ月で達成するなど、大いに注目を集めています。それに伴い、GoogleがChatGPTのライバルとなる会話型AI「Bard」を発表したり、中国企業が続々とChatGPT風AIを開発していると報道されている一方で、OpenAIはChatGPTのコードを公開していないためChatGPTを効果的に複製することは難しくなっています。AIのディープラーニングトレーニングを最適化するオープンソースプラットフォームのColossal-AIが、ChatGPTトレーニングプロセスをわずか1.6ギガバイトのGPUメモリで7.73倍高速なトレーニングに再現したと告知し、オープンソースで公開しています。 Open-source replication of ChatGPT implementation process!
AI搭載の新「Bing」を使って実感--大勢が「ググる」から「ビグる」に乗り換える可能性
マイクロソフトの進化した検索サービス「Bing」を試してみた。昨年末から、OpenAIが提供する「ChatGPT」が話題だ。一方のBingはCharGPTをベースにマイクロソフトが持つ技術と融合することで、使いやすい「検索サービス」に生まれ変わっている。 ひょっとすると、検索王者であるグーグルの立場を脅かすのではないか、という期待感に満ちている。最近、IT関連で熱狂するニュースがなくて飽き飽きしていたが、新しいBingはIT業界の構造がひっくり返るのではないかとワクワクが止まらない。 新しいBingはチャット形式の検索サービスだ。 これまでの検索と言えば、思いつく単語をいくつか入力し、検索で出てきた複数のサイトから、自分が知りたい情報が載っていそうなタイトルをクリックして、本文を読んで答えを導き出していくというものであった。 新しいBingでもそうした検索は可能だ。さらに「チャット」という
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
