ハイパーパラメータ調整時間を激減、μPでLLMを爆速最適化する話 - ABEJA Tech Blog

はじめに μP（Maximal Update Parametrization）とは μPが解決する根本的な問題 なぜハイパーパラメータ転移が困難なのか：SPの根本問題 μPの仕組み 順伝播における「初期状態」の安定化 学習を支配する「パラメータ更新」のスケーリング ハイパーパラメータの計算例 μPの実装 Qwen2.5で実験 まとめ We Are Hiring! はじめに こんにちは。Labsチームの藤本です。ABEJA Qwen先生にタイトルを作ってもらったら割と強いタイトルになってしまいました。 大規模言語モデル（LLM）の学習を始め、Deep Learningにおいては最適なハイパーパラメータの設定は頭を悩ませる問題の一つです。大規模なモデルの学習には一度学習をするのに大量のGPUを使う上に、数日から数週間という時間がかかります。従来のアプローチでは、グリッドサーチやランダムサーチを