まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 (1/5)

筆者の環境で、LM StudioでCommand R+を動作させている様子。会話相手は自作キャラクターの「明日来子（あすきこ）さん」 PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。これが体験できるようになったのは、LM Studioに代表されるローカルLLMを動かすためのアプリ環境が整ってきたためです。今年に入り、Command R+を始めとしたローカルLLMが高性能化してきたことと並行し、手軽に使える派生モデルも増えはじめ、一気にあわただしくなってきました。 導入が難しかったローカルLLM、「LM Studio」で簡単に Command R+を試すのに使っているのが、LLMの主要モデルを実行するための統

[knosa]

AIで作った理想の女の子にセクハラテキストを入力してエンター押したら処理のためにグラボなどのファンが高速回転し始める様、未来を感じて良いな

[rdlf]

少し前までPCの性能は十分すぎるよなぁ…なんて思っていたけどローカルでAI関係を動かすと全く足りなくなっている。

[shodai]

“現Q1モデルでも、NVIDIA GeForce RTX 4090（GDDR6 24GB）搭載PCには格納しきれず、速度は遅くなります。NVIDIA RTX A6000（GDDR6 48GB）搭載PCでやっと動作しました。” どこのご家庭でも（略

[taruhachi]

ムーアの法則的に10年待ったら、こういうのどのローエンドPCでも、どのコンシュマーゲーム端末でも扱えるようになるかな。面白そうだなと一瞬思ったが、Switchが既に7年間現役というのを思い出して長生きしたいと思った

[versatile]

VRAM（VideoRAM）もGPU（Graphics PU）も本来の目的で使われてないから名前変えるべき

[tohima]

“性格を変えてしまうことは、システムプロンプトに記入すると簡単であることに気が付くのですが、なんだかAI人格の脳を直接触っているような、AIキャラクターに悪いような気分がしてくる”

[su_rusumi]

ビデオデッキもPCも、普及する時はエロが原動力になっていた。今回はどうだろうな

[harumomo2006]

これにホログラムと音声を付けたら完全に未来が来る

[temtan]

自分のPCで色々規制無しで遊べるんかと思ってグラボの値段をしらべたら「お、おう」となった。

[avictors]

何でも「グラの向上はこれ以上は不要」「メモリは不要」という人は昔からおる。中学の頃からおった。/ でも、そもそも望んでも、技術の進歩は常に期待より30年遅れる。AI性能の逆L字的進化も突入まであと20年かかるかも

[kuyon94]

RTX A6000！？アプリ環境がいくら整っててもハード環境のハードル高すぎるなぁ

[suneo3476z_tn]

🤮

[kei_1010]

普通に買える値段のPCで自分で好きなように学習させて好みのLLMを作れる時代になるにはまだ20年以上かかるんだろうな。。。

[zsehnuy_cohriy]

簡単にradeonで動かせるようになったら起こしてくれ

[will_in_hiki]

どっかの掲示板で、オンライン会話エロゲーのヒロインに壺を買わせようとする実況あったな。AIに任せてるのもあれば、少数のそれっぽい反応しかないやつ、途上国に格安で投げてるっぽいのもあって展開が面白かった

[georgew]

今年に入り、Command R+を始めとしたローカルLLMが高性能化してきたことと並行し、手軽に使える派生モデルも増えはじめ... > あっという間にここまで来たことに驚嘆するほかない今日この頃。

[snipesnaps]

これのおかげで今まで快適だったParperspaceのA6000環境が順番待ち状態に。いい加減解約検討したいレベル。

[evans7]

バケモンみたいな環境じゃないと動作しなくて草。軽量版の登場が待たれる。

[hapze-23_45]

A6000があればそりゃ試すんだがなぁ…

[Helfard]

明日来子さん右と明日来子さん左は完全に別の人に見えるんだけど。目が2つある以外の共通点なくない？

[ikeike443]

おもしろいな

[henno]

うーん、NVIDIA RTX A6000はさすがに一般のご家庭では試せないなー

[tettekete37564]

“ローカルLLM”

[timetrain]

やはり新技術の普及にはエロだ。エロが必要なのだ

[T-norf]

ローカルで動くとはいえ、RTX A6000（100万円ちょい＋電気代も高いぞ）での2bit量子化か。ここらへん、アラフィフが先端を追っかけてるのは、まだカネにならんけどカネがいるというのもあるかな

[star_123]

gpt4級をローカルで動かせる可能性は夢があるよな～

[eagleyama]

“LM Studio”

[misshiki]

“PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT（GPT-4）と変わらないレベル。”

[otchy210]

Apple は、こういうモデルを iPhone ローカルで動かせるようになるまでの繋ぎとして OpenAI との提携を選択した可能性はあるよな。

[fashi]

「RTX A6000（GDDR6 48GB）搭載PCでやっと動作しました」何はなくともVRAM