エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
LLM+× IOWN ~IOWNの進展、NTT版LLMの誕生、そして2つの相互作用~ | NTT技術ジャーナル
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
LLM+× IOWN ~IOWNの進展、NTT版LLMの誕生、そして2つの相互作用~ | NTT技術ジャーナル
まず1番目の特長が軽量ということです。LLMはパラメータ数の競争に入っており、非常に大規模化していま... まず1番目の特長が軽量ということです。LLMはパラメータ数の競争に入っており、非常に大規模化しています。そのため、課題はサステナビリティといわれています。例えばGPT-3のパラメータ数は17Billion(B)で、1回の学習に約1300MWhの電力が必要だといわれてます。これは原発1基1時間分の電力量に相当します。これに対してtsuzumiは次のような戦略を持っています。 めざす方向性としては、何でも知っている1つの巨大なLLMではなく、専門知識を持った小さなLLMをつくろうと考えています。そのためのアプローチとしてパラメータサイズを単純に増やすだけではなく、それに加える学習データの質と量を向上させることによって賢くさせていきます。今回tsuzumiを2種類発表しました。超軽量版tsuzumi-0.6Bは、パラメータサイズが0.6BでGPT-3の約300分の1となっています。軽量版tsuz