Jetson Orin Nano で日本語LLMを動かしてみた

必要なデバイス Jetson Orin Nano Developer Kit 8GB Ubuntu 20.04 がインストールされているPC NVMe SSD 0. 前準備 https://www.jetson-ai-lab.com/tutorial_text-generation.html を読むと preferably with NVMe SSD とのことなので、SDK Manager を使用して、NVMe SSD に OS をインストールする JetPack 6.x の最新版は JetPack 6.0 Developer Preview で、まだ不安定なので、 JetPack 5.1.3 をインストールするものとする JetPack 5.x をインストールするには Ubuntu 20.04 が必要なので、事前に用意しておくこと ※Ubuntu 22.04 だと JetPack 6.x

[sh19910711]

"Jetson Orin Nano: 7B model までは動作 + tinyllama-2-1b-miniguanaco.Q4_K_M.gguf は動作 / Meta社が Llama 3 を公開したのに合わせて、NVIDIA Jetson AI Lab のドキュメントにも Llama 3 の実行例のページが追加"