Llama 3とApple MLXでローカルチャットbotを動かしてみた

はじめに リリースされたばかりのLlama 3をMLXを使ってローカルのMacBook Proで動かして遊んでみました。 前回の⌘R+ (Command R+)と同様、ローカルで動作するチャットbotをクイックに作ってみました。今回もやはり途中で何点かつまづいたので、困っている人に届いたら嬉しいです。 環境 Apple M3 MAX (128GB) 推論中のpythonプロセスのUnified Memory消費量はざっくり最大で以下のとおりでした 8B 4bit : 7.5GB 8B 8bit : 10GB 70B 4bit : 39GB 70B 8bit : 70GB なお、後述しますが70B 4bitはいまのとこまともに動作しないです Python 3.10 前回の記事のとおり、3.9以前では動作しないと思われます ライブラリ 以下を使っています。現状(2024/04/20)、特にバー