実践！大規模言語モデル / 1000億パラメータ越えモデルを動かすには？

こんにちは。Turing株式会社の機械学習チームでインターンをしている九州大学修士1年の岩政(@colum2131)です。 Turingは完全自動運転EVの開発をするスタートアップです。 自動運転技術において、カメラやセンサ情報は正確な制御をする上で不可欠な要素である一方、自然言語やマルチモーダルな処理が必要となる状況もしばしば存在します。特に完全自動運転車においては、音声認識によってドライバーの音声命令を認識し、リアルタイムで適切な制御を行うことや、複雑な交通状況の背景にあるコンテクストを理解させるといった要求が出てきます。そのために、「基盤モデル」と呼ばれるような、自然言語処理を含む大規模モデルの学習が必要になってくると、私たちは考えています。 そこで本記事では、言語モデルの発展の流れとTuringが目指す基盤モデルの開発について紹介します！ 1. 言語モデルとは？ 近年の言語処理モデ

[sys-bio]

大規模言語モデルの実践的な内容！手元でもかなりレベルの高い大規模言語モデル動かせるようになってきたし、今後ますます実用が広がっていきそう！

[shodai]

“軽量化されたモデルであっても329GBの容量が必要です。2023年2月現在、コンシューマー向けの最上位のGPUであるGeForce RTX3090やRTX4090であってもメモリサイズ24GBなので、最低でも14枚以上必要になります。”

[gengohouse]

“実践！大規模言語モデル / 1000億パラメータ越えモデルを動かすには？”

[misshiki]

“1. 言語モデルとは？、2. 大規模言語モデルのGPT-3とは、3. Turingが目指す基盤モデル、4. 1000億越えのパラメータの言語モデルを動かす?、4.a BLOOMとは？、5. GPU 1枚で推論を可能にするFlexGen”分かりやすいのでお勧め。

[macro1597]

たしかBLOOMは多言語対応であるにも関わらず日本語対応していなかったはずだけど、他の言語の性能が上がったから日本語の性能も連動して上がったのかな？

[aox]

稽古、稽古、稽古です

[Nyoho]

FlexGenすごいな。4ビット量子化すごいな。

[qpci32siekqd]

巨大パラメータ勝負になっているが、本当に全部のパラメータ使えてるのだろうか…。

[aoshun7]

言語モデルと自動運転基盤モデルの話