量子化モデルの実力検証！AWS EC2でのローカルLLMパフォーマンスチェック - Rei Frontier Tech Blog

はじめに テスト環境と条件 検証用プロンプト EC2インスタンスタイプの説明 補足 パフォーマンス計測方法 APIリクエスト APIパラメータ補足 パフォーマンス計測結果 結論 おまけ お知らせ はじめに こんにちは、CTOの大柿です。 ローカルLLMとして高額なGPUがなくとも動作するLLMや量子化したLLMが数多く公開されてきており、実際どれが使えるのか、どの程度のコストが必要なのかという疑問がわきます。 今回ローカルLLMをAWS EC2で実行するための最低限なインスタンスタイプを比較・検証してみます。ローカルLLMの利用は、コスト削減やデータプライバシーの観点から非常に魅力的です。しかし、適切なインスタンスタイプを選ばないと、期待するパフォーマンスが得られない可能性があります。 まず最初のステップとしてローカルLLMが最低限動作し、1分以内で出力結果を得られるスペックを探ってみたい