エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
大規模言語モデルRWKVをローカルPCで試す|Ko Onuma
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
大規模言語モデルRWKVをローカルPCで試す|Ko Onuma
清水亮さんが、RWKVを試してたので俺も試してみた。 この時の清水さんのマシンは、A6000積んでる(VRAM48... 清水亮さんが、RWKVを試してたので俺も試してみた。 この時の清水さんのマシンは、A6000積んでる(VRAM48GB)逸般のご家庭用モンスターマシンなので、そのまま動く。そらそうよ。 というわけで、一般のご家庭用ゲーミングPCでも動くように試してみた。 ちなみに試した環境はWindowsのWSLのubuntu上。 マシンのメモリは64GB。ubuntuには48GB割当。 GPUはRTX3090(VRAM 24GB)。 まずはChatRWKVをgitでcloneする。 git clone https://github.com/BlinkDL/ChatRWKV次にモデルをダウンロードする。 14Bを使うことにした。 ChatRWKV/v2フォルダにダウンロードしてきたモデルファイルを突っ込む。 今回は最新版の RWKV-4-Pile-14B-20230313-ctx8192-test1050