サクサク読めて、アプリ限定の機能も多数!
CTranslate2でrinna-3.6Bをコンバートして動かすエントリ。CTranslate2で量子化するとCPUでも動く。
stealthinu のブックマーク 2023/06/15 18:38
CTranslate2でRinnaモデルをコンバートしてCPUや8GB GPUで動くようにする - きしだのHatena[deeplearning][LLM]CTranslate2でrinna-3.6Bをコンバートして動かすエントリ。CTranslate2で量子化するとCPUでも動く。2023/06/15 18:38
このブックマークにはスターがありません。 最初のスターをつけてみよう!
nowokay.hatenablog.com2023/06/15
CTranslate2はTransformerモデルをCPUやGPUで効率的に動かすライブラリです。 https://github.com/OpenNMT/CTranslate2 CTranslate2の機能のひとつにモデルの量子化があります。INT8で量子化すると雑に必要メモリ...
15 人がブックマーク・2 件のコメント
\ コメントが サクサク読める アプリです /
CTranslate2でrinna-3.6Bをコンバートして動かすエントリ。CTranslate2で量子化するとCPUでも動く。
このブックマークにはスターがありません。
最初のスターをつけてみよう!
CTranslate2でRinnaモデルをコンバートしてCPUや8GB GPUで動くようにする - きしだのHatena
CTranslate2はTransformerモデルをCPUやGPUで効率的に動かすライブラリです。 https://github.com/OpenNMT/CTranslate2 CTranslate2の機能のひとつにモデルの量子化があります。INT8で量子化すると雑に必要メモリ...
15 人がブックマーク・2 件のコメント
\ コメントが サクサク読める アプリです /