最近ローカルLLMがアツいらしい

最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し

[yusuke-k]

100万円以上お金をかけてローカルLLMを動かす動機が「ChatGPTはエロチャできない」なのすごく人類の発展の歴史感ある

[degucho]

常時600Wは物理的に熱いな

[Imamura]

最近のLLMの動向がまとまっている。面白いなあ。研究者はすごいのを出してもそこで興味を失いメンテはしてくれないのはその通りで…IllyasvielさんForgeをお願いします…

[ledsun]

LLM組み込んだサービスを提供するならローカルLLMを組まないとコストで負けそう。いや、20年ぶりくらいにITでハードウェア投資のしがいのあるネタが出てきたの、かも。

[agricola]

ローカルLLMがアツいのはRAGで門外不出のデータを踏まえた回答を生成させるためだと思っとったが……。

[KoshianX]

この前ブログにも書いた話だけどやっぱりローカルLLMのムーブメントは来てるよねえ。100万円出して Mac Studio 買うのもいいが Ryzen 9050 あたりが出ると Apple Silicon みたいな速度が出るかもという期待もあり

[roshi]

GPUに左右されるという意味でビットコインのマイニングに沸いてた時期を思い出した。研究者と有志のモチベーションの違いも興味深い。

[replier]

"ケースを開けてみたらもう１枚GPUを積めるスペースなんてどこにもなかった。" ほんとこれ。

[shodai]

ChatGPT Plusなら月額3千円払うだけでGPT-4Tがたっぷり使えてしまう。もしもAPIで同じような使い方したら軽く数万円かかってしまいかねない。断然ChatGPTに課金した方がオトクだ。

[shag]

ゲーム用のGPUを複数台組んで推論用途に使うやつ、ゲーム用GPUの価格高騰するんでやめて欲しい。

[peppers_white]

普及にはGUI化が必須だと思うのでまあしばらくおもちゃよね

[mikuti2]

面白。ローカルLLMが企業で外に出せない用途を思い浮かべたけれども、個人におけるプライバシーに対する個人AI（執事さん的な）とか、規制があるエロ・小説だとか、ゲーム利用があると。

[fnm]

ケースを開けてみたらもう１枚GPUを積めるスペースなんてどこにもなかった。→その為のライザーケーブルでは？

[Kesin]

やはり技術はオープンな方が発展が速いというのが伝わってきて面白い

[otoan52]

研究と開発は違うからなー。

[kyopeco]

Local LLMが熱いのは、セキュリティ+プライバシー観点で、外出しできないデータ&リクエストを使えるからだと思ったけど違うのかしら。

[rosiro]

mac mini

[ya--mada]

APIの料金に比べてChatGPT Plusの料金が安すぎるという問題がある。ChatGPT Plusなら月額3千円払うだけでGPT-4Tがたっぷり使えてしまう。もしもAPIで同じような使い方したら軽く数万円かかってしまいかねない

[keijak]

"LLMの推論というのは実は演算性能よりもメモリ帯域幅がモノを言うらしい"

[millfi]

“微調整や追加学習などの学習の速度についてはNVidiaのGPUよりかなり弱いらしく、学習用途には向いていない。”あくまで推論だけか…まあロマンと安心感はあるがうーん

[aoven]

そもそもアマチュアエンジニアにとって最先端のAIテクノロジーが自分のパソコンで体験できるのは大きいと思う

[temtan]

chat-GPT を触っているとエロ方面もそうだけど、とにかく1投稿毎に特定の価値観への方向への矯正を感じるのでそういうのがうざったいとは思うが価格が価格だとな

[ktakeda47]

"そもそも、タダで推論したいだけなら大抵の人にとってはCommand R+やGemini1.5Flashの無料API枠を叩いとけば十分な状況かもしれない。現状ではローカルLLMよりもGemini1.5Flashの方が多分性能高いのだから。"

[yoshikie]

ローカルLLMがクラウドだと高すぎるわけだが、こんな理由でオンプレ回帰の動きが出てくるとは思わなかった。クラウド事業者各社もいずれ対策すると思うが

[pwatermark]

ローカルLLMは何より「気軽に好き放題出来るから開発環境として最適」なのですよ 開発試験試行錯誤するたびにAPI課金は辛すぎるんでね ただしコンテキスト長く出来ない、コレが辛い

[syu-m-5151]

エロと軍事はローカルLLMが絶対に必要なのではないかと思っている。なんならローカルLLMが企業の競争力の源泉になる日も近いし将来的にはローカルLLMの合同採用面談とかあるかもしれん。

[etah]

API叩いたら”最初から負け確定”ってのは言い過ぎなんだが、この言説が広まると競合が減って弊社のポジションが相対的に勝ち確になるからどんどん広まってほしい

[timetrain]

ローカルにエロ追及である一方、モデルの開放にオープン志向があってすごい世界だなと思う

[xanaduuu]

個人的な用途では、必要な時にクラウドなりサービスを利用する方がトータルコストは安く上がっちゃうな。AI扱うエンジニアさんはそうはいかんだろうけど。

[GARAPON]

gpuの排熱で部屋がアツイ

[gfx]

"GPTのAPIはコスパが悪い。いやまあ、GPT-4じゃなくてGPT-3.5Tならかなり安いけど、今となってはしょぼくて使う気になれない。そんなだから、OpenAIのAPIよりもオープンなモデルに目を向けてみようかという動きも出てきてる"

[stealthinu]

2024/5現在のローカルLLMの状況がまとめられてて今後何年かしたら歴史的資料価値が出そうなくらい。ローカルLLMは絶対に社外に情報だしたくないJTCとかで需要があると思う。

[prjpn]

凄い熱量の纏め

[NOTG]

エロもそうかもしれないけどエンタープライズ領域ではローカルが求められることになるのでは

[TakamoriTarou]

遊んでみたい.バッチ処理はあついな

[ultimatebreak]

4060tiですらぶん回してると部屋が暑くなるのにハイエンド複数とかエアコン代もエグそう

[boxmanx99]

「やるなら人柱覚悟でどうぞ」うん

[kei_1010]

俺もやりたい。不謹慎な方向で宗教談義がしたい。そもそも現実は偏見で溢れてるんだから規制せずに偏見の両極端な意見(でも論理的には筋道が通ってる意見)同士を戦わせたい。

[blackphone9]

仮想通貨の時より電力問題が大きくなりそう｡オフグリッドメインで構築するのも面白そう｡