LLMで勝負するには、1000億円必要か？ - Vengineerの戯言

はじめに 学習用AIチップをTSMC 7nmで開発するには、100億円必要だよね。とお話したのが2017年頃 TensorFlow XLAの可能性, Deep Learning Acceleration 勉強会(2017.09.03 TensorFlow XLA とハードウェア, 2017年9月30日(土)のChainer Meetup #6 ざっと、6年前。この頃はまだ 7nm でチップが出てきてない時です。 その後、AI Cloud学習用スタートアップが何社立ち上がります。AI Cloud学習用スタットアップでは、7nmではなく、16nmで最初のチップ(Graphcore、Cerebras)を開発していきます。その後、チップが出来上がり、システムとして組み上げ、量産し、販売するまでに200-300億円ぐらい必要になることがわかりました。 TSMC 7nmを使って、NVIDIAのA100

[misshiki]

“LLMで勝負するには、1000億円は必要そうですね。”

[tattyu]

LLMもはや個人で1から勉強して環境作って自分でデータ用意してみたいなのじゃ全然性能を実感できないので超つまらない分野だなって思う。