エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ローカルLLMをCore MLモデルに変換する - 🤗 Exporters の使い方
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
ローカルLLMをCore MLモデルに変換する - 🤗 Exporters の使い方
Exporters とは Hugging Faceが公開している Exporters というツールがある。 TransformersのモデルをCo... Exporters とは Hugging Faceが公開している Exporters というツールがある。 TransformersのモデルをCore MLにエクスポートするためのツールで、coremltoolsをラップしたものではあるが、変換に伴う色々な問題をツール側で吸収してくれている。要はこのツールを使えばcoremltoolsをそのまま使うよりも簡単にTransformersモデルをCore MLモデルに変換できる。 モチベーション Exporters は以下の公式ブログで紹介されていたもので、 Llama 2などのLLMモデルもこれを用いて変換されたようだ(あるいは、その変換の過程で得られた知見がこのツールに盛り込まれている) 公開されている変換済みモデルは、試してみたもののまだモバイル端末には大きすぎたので、 もっと小さいモデルを自前で変換したらよいかもしれない、と思い本ツール