AIの消費電力、学習よりも推論がはるかに大きな課題

Ampere Computing（以下、Ampere）でCPO（最高製品責任者）を務めるJeff Wittich氏は、米EE Timesの取材に対し、「大規模AI推論はデータセンターにとって、特に消費電力量の面で、トレーニングの場合よりもはるかに大きな問題になるだろう」と述べている。 Wittich氏は、「ここ1年ほどの間、AIトレーニング（学習）の中でも特にLLM（大規模言語モデル）のトレーニングが非常に重要視されている。しかし、オープンソースの基本モデルの普及により、推論へと焦点が移りつつある。このため、AIインフラが構築されていくと、その大半は、トレーニングではなく推論向けに使われるようになるだろう」と述べる。 「推論のスケールアウトの問題は、確実に破壊的な影響をもたらすだろう。推論は現在、AI演算サイクル全体の約85％を占めている」（Wittich氏） また同氏は、「問題の内容は全