MLX Swift による LLM のオンデバイス推論を試す｜npaka

「MLX Swift」による「LLM」のオンデバイス推論を試したので、まとめました。 1. MLX Swift「MLX Swift」は、Swiftから利用できる「MLX」で、「MLX」は、Appleが開発した新しい機械学習フレームワークで、「Apple Silicon」(M1/M2/M3など) を最大限に活用するように設計されています。 ・サポートするプラットフォーム ・Mac ・iOS ・visionOS 2. iOSのデモアプリの実行iOSのデモアプリの実行手順は、次のとおりです。 (1) 以下のXcodeプロジェクトをダウンロードして実行。 初回は、モデルダウンロードに時間がかかります。 ・LLMEval (2) 必要に応じてでモデルを切り替え。 ControlViewの150行目で切り替えることができます。 let modelConfiguration = ModelConfigu

[sh19910711]

"MLX Swift: Swiftから利用できる「MLX」 / MLX: Appleが開発した新しい機械学習フレームワーク / 「iPhone 12」の6GBでは、「Mistral 7B 4bit」は動作しませんでした。「iPhone 15 Pro」であれば8GBなので動くと思われ"