GPU最適化

はじめに こんにちは、松尾研GENIACプロジェクト、チームビジネスの前河利治です。 東京大学松尾研究室にて、経済産業省によるGENIACの国産大規模言語モデル（Large Language Model: LLM）開発に参加しています。 私たちの開発チームは、ビジネスに有用なLLMの開発を目指し、ビジネスの現場で活躍するメンバーが数多く集まっています。 本稿ではビジネスに有用なLLMの開発に向けて私たちのチームがとったアプローチについて、主にGPU最適化についての側面から解説します。 採用したモデル構造 精度の高さで定評のあるLLaMAモデルを採用した。 パラメータサイズは、LLaMA2のものを参考にした。 また、計算効率を挙げるため、LLaMA3で使われているGQAを採用した。 ・LLaMA2で使われているパラメータサイズ Our Model 12.3B { "hidden_act":