米Microsoftは4月12日、ChatGPTのようなモデルを生成できるツール「DeepSpeed-Chat」を公開した。GPU1台で100億以上のパラメータを持つモデルの学習ができる上、学習速度も既存技術の15倍以上としている。 DeepSpeed-ChatはChatGPTでも採用されている学習手法「RLHF」を効率的に実行するためのツール。これまでは高価なGPUを大量に使う必要があったが、DeepSpeed-Chatは少ないGPUで効率的に学習ができる。 例えば、クラウド上でGPU「A100-80GB x8」を使って大規模言語モデル「OPT-B13」を訓練する場合、9時間程度で完了し、コストも290ドル程度という。複数台のGPUを使えば1000億パラメータ規模のモデルの学習にも対応する。 関連記事 ChatGPTが職務経歴書を作成するサービス続々 エンジニア向けから看護師まで ファイ
![ChatGPTのようなモデルを高速生成するツール、Microsoftが開発 「既存技術の15倍以上」うたう](https://cdn-ak-scissors.b.st-hatena.com/image/square/6cf7b2884a0bc6f8b74bb4428e74fc56dec79859/height=288;version=1;width=512/https%3A%2F%2Fimage.itmedia.co.jp%2Fnews%2Farticles%2F2304%2F13%2Fcover_news131.png)