【LLM】MLXの基本的なコードまとめ(lora,seed,Temperature設定など)

はじめに この記事はMacのAI用ライブラリであるMLX-LMの基本的な使用方法をまとめたものです。 公式のreadmeには記述のないseedの設定やtemperatureの設定、その他主要パラメータの変え方をまとめています。 MLXとは MLXはAppleが開発した、Apple siliconデバイス向けの機械学習フレームワークです。MLX-LMはこのMLXフレームワークを使用して、大規模言語モデル（LLM）のテキスト生成と微調整を行うためのPythonパッケージです。 主な特徴： Hugging Face Hubとの統合により、数千のLLMを簡単に使用可能 モデルの量子化とHugging Face Hubへのアップロード機能 低ランクおよび完全モデルの微調整サポート mx.distributedによる分散推論と微調整 MLX-LMを使用することで、Apple siliconデバイス上で