エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
MLXを使ってMacのローカル環境で”ござる”loraを作成してみる
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
MLXを使ってMacのローカル環境で”ござる”loraを作成してみる
はじめに この記事は、mlxを用いてMacのローカル環境でloraファイルを作る方法をまとめたものです。 私... はじめに この記事は、mlxを用いてMacのローカル環境でloraファイルを作る方法をまとめたものです。 私の別の記事でllama.cppを用いたlora作成を試しましたが、GPUを効率的に使用できるためか作成速度が3倍程度早くなりました。 この記事で紹介する内容 huggingFace上のモデルファイルをMLX用にコンバートする ござるデータセットをLora用に事前加工する Loraを構築する 構築したLoraを使って推論を行う 利用するデータセット ござるデータセットを使用します。 利用するモデル CyberAgent社のcalm2-chatを利用します。 環境構築 前提条件 以下の環境構築は済んでいる前提とします。 venvの導入 mlx-examplesをクローン mlx-examplesをgitからクローンします。 適当なフォルダで以下を実行してください。