Jetson AGX Orin 開発者キットで、Deep Seek R1 を動作させる詳細手順。エッジAIに向けて。

オートロ株式会社の代表をしております福田です。オートロとオープンでLLMの研究開発を行っております。チームでの研究開発活動を発表していきます。今回は、エッジAIの検証を行ってもらった結果を公開します。 概要 今回は、jetson AGX Orin 開発者キット 32GBを使用してローカルLLMを実装し、トークン生成速度やVRAM使用量について検証を行った。簡単なプロンプトを用いた検証により、Ollama経由でダウンロードした「DeepSeek-R1」「Qwen2.5」の2種類のモデル（パラメーター数:14B, 4bit量子化）については、どちらも問題なく動作することと、最大消費電力を増加させることで出力生成速度とVRAM使用量が増加する傾向があることを確認した。また、コンテキスト長を変化させて長文小説の要約を行う検証では、コンテキスト長が増えるほどトークン生成速度が低下し、VRAM使用量が

[sh19910711]

"Jetson AGX Orin: 15Wから60Wまでの電力設定が可能で、用途に応じた電力効率の最適化 + Ollama経由でダウンロードした「DeepSeek-R1」「Qwen2.5」の2種類のモデル（パラメーター数:14B, 4bit量子化）については、どちらも問題なく動作"