最新の Google Gemma モデルを MLX を使ってローカルでファインチューニング｜alexweberk

今回は、最新の Google Gemma モデルを Apple Silicon に最適化されたライブラリ MLX を使ってローカルで実行したり、ファインチューニングしてみましたのでその手順を紹介します。 MLX 関連の情報はドキュメンテーションが分かりづらいものも多かったので色々試した経緯も共有しながら少しでも何かの参考になれば幸いです。 実際に使った Jupyter Notebook を Gist にアップロードしていますので、そちらも参考にしてください。 →Google Gemma モデルを MLX を使ってローカルでファインチューニング 事前準備必要なライブラリをインストールします。 また Apple Silicon 搭載の Mac が必要です。今回は M3 Max 128GB 搭載の MacBook Pro で実行しました。 !pip install -U mlx mlx_lm t

[T-norf]

おお、NVIDIA GPUじゃなくてと思ったけど「M3 Max 128GB」って調べたら、「14インチMacBook Pro 16コアCPU、40コアGPU 16コアNeural Engine」に「128GBユニファイドメモリ」で748,800円（税込）なり。もちょっと普通のApple Silicon機だとどうだろ

[tattyu]

“M3 Max 128GB 搭載の MacBook Pro ” 高くて買えないわ。。。

[Nyoho]

“最新の Google Gemma モデルを Apple Silicon に最適化されたライブラリ MLX を使ってローカルで実行したり、ファインチューニングしてみましたのでその手順を紹介します。”