サクサク読めて、アプリ限定の機能も多数!
“実行時に、float16(半精度の浮動小数点)のパラメーターを設定すれば、使用メモリを約半分にできるため、実質的には12GBクラスのGPUでも利用可能となる。RTX 3060(12GB版)、RTX3080あたりでも動作可能”
MIZ のブックマーク 2023/06/05 12:11
自宅PCで「rinna」の日本語言語モデルを試用、メモリ32GBあればCPUだけでも動くぞ!【イニシャルB】“実行時に、float16(半精度の浮動小数点)のパラメーターを設定すれば、使用メモリを約半分にできるため、実質的には12GBクラスのGPUでも利用可能となる。RTX 3060(12GB版)、RTX3080あたりでも動作可能”2023/06/05 12:11
このブックマークにはスターがありません。 最初のスターをつけてみよう!
internet.watch.impress.co.jp2023/06/05
299 人がブックマーク・39 件のコメント
\ コメントが サクサク読める アプリです /
“実行時に、float16(半精度の浮動小数点)のパラメーターを設定すれば、使用メモリを約半分にできるため、実質的には12GBクラスのGPUでも利用可能となる。RTX 3060(12GB版)、RTX3080あたりでも動作可能”
MIZ のブックマーク 2023/06/05 12:11
このブックマークにはスターがありません。
最初のスターをつけてみよう!
自宅PCで「rinna」の日本語言語モデルを試用、メモリ32GBあればCPUだけでも動くぞ!【イニシャルB】
internet.watch.impress.co.jp2023/06/05
299 人がブックマーク・39 件のコメント
\ コメントが サクサク読める アプリです /