生成AI開発の難しさ。AIベンチャーのCTOを半年経験して｜イコラ

何気なくリポストして反響あった投稿 VCも国もですが、もし本当にフルスクラッチ基盤モデルを開発するなら２桁くらいズレています 現行のAIのトレーニング（GPT-4oなど）には約160億円かかっているとされています。トレーニング単体ですので、研究や探索などを考えるともっとかかっているでしょう さらにこれからはトレーニングコストが10倍・100倍になるかもしれないのです Fine-tuningに限ると急にお手軽感が出てきますが、それでも大きなモデルをTuningするにはざっと１億くらいないと厳しい所感です 生成AIは御存知の通り、OpenAIが提唱したScaling Lowに支えられています。 つまりでかいデータでトレーニングすればするほど性能が上がります。とにかくデータという薪をくべるしかないのです！！ https://deeplearning.hatenablog.com/entry/sc

[ch1248]

ビジネス的にも開発的にも非常にシビアなようだ。