自宅PCで「rinna」の日本語言語モデルを試用、メモリ32GBあればCPUだけでも動くぞ！【イニシャルB】

[fellfield]

ジェネレーティブAIがCUDAに依存（NVIDIA 1社だけに依存）する状況は不健全だと思うのだけど、みんな当たり前にGeForceを買っていて違和感がある。Intel ArcでもAMD RadeonでもApple M2でも快適に動くようになってほしい。

[qpci32siekqd]

少ないVRAM容量で何とかするか、CPU側で処理かの選択になり、コンピュータアーキテクチャとAIのアーキテクチャが合ってない気がしてならない。

[kurakichi1881]

やはり本命は来月の4060 16GBか。さすがに4080 16GBは手が出ない（VRCHATでもVRAMはかなり重要らしいのでニッチな層の大正義グラボになるかも）

[puhu208n]

だいたいAIってNVIDIA CUDAが必要なのに、そのNVIDIAが低価格帯カードで言語AIを動かせないように4060TiのVRAMを8GBに絞ってゲームの動作ガタガタになってたりマジでもう

[knok]

NVIDIA依存が不健全なのは確かだが、libcuda/cudnnが強すぎるのでなあ…NVIDIA自身がリリースするコードだとカスタムcudaカーネル使ってたりするのでどうにもならない

[jiro68]

nVidia系で16GB以上のメモリ搭載となると最安値でも12万円は越えるのでハードに使い倒す気がなければ、クラウドのリソースを使った方が良さそう。

[rax_2]

3060-12GBだけど、動作はするが実用には程遠いからもう少しブレークスルー待ちになるかんじ。

[secseek]

無駄にVRAMの多いRTX3060の12GB版がついに使える場面が出てきたのかも…！

[n_vermillion]

汎用的なGPU用開発言語はねぇ。openCLがそのポジションにつくはずだったんや…。／cudaがデファクトになっちゃって今更openCLに乗り換えると今度は今の資産（＋パフォーマンス）が死ぬのである。

[tokitori]

ただでさえ仮想通貨バブルでGPUが馬鹿みたいな値段になってて中々値段落ち着かないのに、VRAM目当てでGPU買い漁られたらゲームクラスタ完全に干上がるがなやめてくれ

[mieki256]

VRAMの増設が可能になればなあ…今のビデオカードはメモリ増設不可のPCを売ってる状態に近いのかも…

[buriedarmy]

GeForceシリーズにNVLinkを復活させてくれよ。現状複数枚のせてもVRAMが統合できないから意味ないんだよなあ。

[swingwings]

グラボ安くなって欲しいんだけど、nVidiaさんAI関連でめっちゃ儲けてるし…コンシューマー用GPUもradeonと勝負してる感がないぐらいに殿様商売だし…VRAM多くて安くて速いグラボ出しそうにないのがつらい

[prjpn]

RX7900W

[yabusaki]

そこまでして自宅のマシンで動かそうとするのはなぜなんだ…Google Colabとかでもいいのでは

[TakamoriTarou]

そろそろ買い時だなあグラボ

[soyokazeZZ]

CUDAもだいぶ古いし、将来的なAI全般に対応した共通プラットフォームアーキテクチャみたいなのできないかな

[cider_kondo]

発売直後のRTX4060ti(8GB)、メモリバス半減が効果覿面(褒めてない)で、ベンチ報告は「FHDゲームなら一応」みたいな微妙なのばかり。売上も記録的低迷っぽく、最早nvidiaの本業はAIでそれ以外の用途はオマケなんだな感しかない

[gengohouse]

“自宅PCで「rinna」の日本語言語モデルを試用、メモリ32GBあればCPUだけでも動くぞ！”

[misshiki]

“発表されたばかりのRTX4060ti 16GBを待つか、中古でRTX3090 24GBを買うか、真剣に悩んでいる。いずれにせよ、こんなに切実にビデオカード、いや、VRAMが欲しいと思ったのは初めて”

[coppieee]

VRAMも後付けで増設したいよなぁ

[eagleyama]

VRAMって死語になってなかったのね

[karton]

AMDがWindows版ROCｍ出してくれたら選択肢増えるんだが

[sjn]

3060の12GBは5万というところで最近売っているが…

[yarumato]

“快適な利用にはVRAM16GB程度のGPUが必要だが、メモリ32GB以上あれば、GPUなしでも動作可能だ。だが処理速度は激遅で、質問から回答まで長いと1分待ち。切実にVRAMが欲しい”

[yamamoto-h]

わかた！3060 12GB版買えばいいのね！

[hiroomi]

”こんなに切実にビデオカード、いや、VRAMが欲しいと思ったのは初めてだ。”会社の経費でどうにかしたい案件

[khtokage]

12GBでも足りないんだ…

[MIZ]

“実行時に、float16（半精度の浮動小数点）のパラメーターを設定すれば、使用メモリを約半分にできるため、実質的には12GBクラスのGPUでも利用可能となる。RTX 3060（12GB版）、RTX3080あたりでも動作可能”

[sirobu]

3070はGPUがあかんのじゃなくてVRAM8GBが足りないって話だからなぁ。ゲーム用途だとVRAMそこまで使わなかったりするし、nVIDIAとしても判断難しそう

[six13]

レイトレーシングのためだけに16GBのグラボ買うのは気が引けたが、AIにも使えるとなるといい後押しになりそう。

[NEXTAltair]

こいつをQLoRAで調教してスケベにしてやればいいんだな!

[blueboy]

GeForce RTX 4060 Ti　最安は6万7,800円　 https://pc.watch.impress.co.jp/docs/news/1503234.html　→　開発者ならば容易に手が届く価格。一般人向けの用途なら、素直に GPT4 の月額課金を利用せよ。