Cloudflare Constellationで日本語言語モデルを動かしたかった - Qiita

2023年5月にCloudflare Constellationが発表されました。これを使うと、エッジアプリケーションでAIモデルを動かすことができるようになります。デモとして、画像分類アプリケーションが動かせるようになっていますが、これを使って日本語の言語モデルを動かそうとしてみました。しかし、ちょっとうまくいきませんでした。開発の途中でも気をつけるべきところがいくつかあったので、本稿に書き残します。 なおCloudflare Constellationは2023年6月現在プライベートベータ版であり、動かすにはwaitlistに登録が必要です。また以下に書いてあることは正式リリース時には変更されている可能性があります。 環境 cloudflare/constellation: 0.0.12 xenova/transformers: 2.3.0 実装 2023/05/15の公式日本語ブログ