OpenAIの「オープンなAI（gpt-oss-120b）」はGPUサーバじゃないと動かない？→約30万円の自作PCで動かしてみた
OpenAIの「オープンなAI（gpt-oss-120b）」はGPUサーバじゃないと動かない？→約30万円の自作PCで動かしてみた これまで「クローズドなAI」を提供してきた米OpenAIが、8月5日（現地時間）についに「オープンなAI」を公開した。「gpt-oss-120b」と「gpt-oss-20b」の2種類で、前者はGPUサーバに搭載されるようなグラフィックスカード「NVIDIA H100」1枚で、後者はハイエンドなデスクトップ・ノートPCで動作するとしている。いずれも無料でダウンロードできる。 H100は80GBのビデオメモリ（VRAM）を持つ一方、家庭向けのグラフィックスカードはハイエンドな「NVIDIA GeForce RTX 5090」でもVRAM 32GBと、H100に比べれば少ない。LLMの実行にはそのパラメータ（120bや20bの部分。bは10億の意味）をメモリに展開し
ローカル生成AIのためのマシンって、今ならこんな感じ？（CloseBox） | テクノエッジ TechnoEdge
なお、筆者が所有しているのは、 Thirdwave XA7C-R48：80GB RAM、Core i7 13700F CPU搭載。RTX 4090（24GB VRAM）に換装 MacBook Pro：M4 Max 128GB Unified Memory この2つがメインで、このほかにiMac M1（16GB）、Mac mini M4（16GB）、MacBook Air M2（24GB）など。 そして、NVIDIA DGX Sparkを某所経由で予約済みです。 また、512GB M3 Ultra Mac Studio、5090搭載PCは複数の知人が購入しています。128GB M4 Max MacBook Proはもっと多くの知人が使っています。512GB Mac Studioを買い足している人も何人か。 もともと筆者が挙げていた4つのオプションに、リプライで提案された3つを加え、7つの選択
NVIDIA製グラボやAppleチップのAI推論処理能力をまとめた一覧表、どのグラボやMacを買えばいいのかの参考になる
一昔前まではグラフィックボードのメイン用途はゲームなどの3Dグラフィック処理でしたが、近年では「ローカルでAIで動作させる」ということを目的にグラフィックボードを選択する事例も増えています。大量のNVIDIA製グラフィックボードやApple製チップで大規模言語モデル「LLaMA 3」の推論処理を実行した際の処理性能をまとめたウェブページ「GPU-Benchmarks-on-LLM-Inference」を見つけたので、内容をまとめてみました。 GitHub - XiongjieDai/GPU-Benchmarks-on-LLM-Inference: Multiple NVIDIA GPUs or Apple Silicon for Large Language Model Inference? https://github.com/XiongjieDai/GPU-Benchmarks-on-
わずか10秒の元音声でもリアルな「なりきりボイチェン」できる無料ソフト『Seed-VC』は過去最高レベルの再現度か（CloseBox） | テクノエッジ TechnoEdge
筆者はUTAUによる波形接続の時代から「その人の声になりきる」技術を試してきましたが、このほど、その中でも画期的と思える技術に出会いました。『Seed-VC』（Seed Voice Conversion）というオープンソースソフトです。 ■AIボイチェンの進化どこが画期的なポイントかというと、高い音質を維持しながら、ゼロショット、つまりファインチューニングをせずに、1秒から30秒までの短い音源を参照するだけで、短時間でオリジナルに近いボイチェンができるところにあります。 以前紹介したDiff-SVCやRVCは、オリジナル音声に近いボイチェンが可能ですが、学習にはそれなりの長さのオーディオデータと高性能GPUによる処理が必要です。
グラボのVRAMを外付け増設可能にする低遅延データ転送システムが開発される
画像生成AIや大規模言語モデルなどの計算処理にグラフィックボードを用いる場合、「GPUの処理性能」のほかに「VRAMの容量」も重視されます。グラフィックボードにVRAMを増設することは基本的に不可能なのですが、新たにハードウェアメーカーのPanmnesiaがグラフィックボードへのメモリ外付け増設を可能にするシステム「CXL-GPU」を開発しました。 CXL-GPU (PDFファイル)https://panmnesia.com/uploads/panmnesia-CXL-GPU.pdf GPUs can now use PCIe-attached memory or SSDs to boost VRAM capacity —Panmnesia's CXL IP claims double-digit nanosecond latency | Tom's Hardware https://ww
NVIDIAが小型PC対応グラボを分かりやすく示すガイドラインを発表
スモールフォームファクター(SFF)PCは高性能なコンポーネントを小型のケースに詰め込むことで、高性能PCの設置や持ち運びを容易にします。しかし、グラフィックスカードなどのコンポーネントが、小型ケースとの互換性があるのかどうかを調べるのは大きな手間がかかります。そこでNVIDIAが、グラフィックスカードやPCケースのメーカーと協力し、GeForce RTXシリーズがSFF用ケースに適合するのかどうかがすぐに判断できる「SFF-Readyガイドライン」を導入すると発表しました。 コンパクトに構築、大胆にプレイ - SFF 対応 GeForce カードとケースの紹介 | GeForce News | NVIDIA https://www.nvidia.com/ja-jp/geforce/news/small-form-factor-sff-ready/ Build Small. Play Bi
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 (1/5)
筆者の環境で、LM StudioでCommand R+を動作させている様子。会話相手は自作キャラクターの「明日来子（あすきこ）さん」 PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。これが体験できるようになったのは、LM Studioに代表されるローカルLLMを動かすためのアプリ環境が整ってきたためです。今年に入り、Command R+を始めとしたローカルLLMが高性能化してきたことと並行し、手軽に使える派生モデルも増えはじめ、一気にあわただしくなってきました。 導入が難しかったローカルLLM、「LM Studio」で簡単に Command R+を試すのに使っているのが、LLMの主要モデルを実行するための統
【検閲なし】GPUで生成するローカルAIチャット環境と小説企画＋執筆用ゴールシークプロンプトで叡智小説生成最強に見える｜カガミカミ水鏡👯
この記事では日本語小説に強いローカルLLM環境を簡単構築できるEasyLightChatAssistantの紹介と、論理破綻が少ない効率的な小説生成を促す(と個人的には思っている)AIチャット用プロンプトの公開をしていきます。このコンテンツは主に官能小説をベースに語りますので、年齢制限などお住まいの国家地域のレーティングに従ってお読みください。 どうもこんにちは、休日に「生成AIなんでも展示会」というイベントを知って寝てからいくかーと思って起きて行こうと思ったら当日参加不可イベントだったことを知ったカガミカミ水鏡です。そうよ鉄郎……私は計画性がない女…… ところでエロ小説が大好きな皆さん(直球)、カガミカミ水鏡さんという方はご存知ですか？ 生成AIが頭角を表すはるか以前の2015年からpixivの片隅できしょいジャンルの小説を投稿してるエロSS書きです(猫耳の奴などは2011年にbbspi
準備0でローカルLLMを動かす(LM Studio)
はじめに Metaが新しく公開したLLMの性能が他の最新モデルに匹敵する性能となっており、ベンダーから提供されるAPIを使わずに、自分のPC上でLLMを動かしたい欲求が高まりました。 ローカルでLLMを動かすメリットとして、以下が考えられます。 従量課金制のAPIの費用を気にしなくて良い (※PCの電気代はかかるが) 個人情報を第三者に送信しないので、プライバシー面を考慮する必要がない LM Studio ローカルでLLMを動かす懸念として、環境構築など準備に時間がかかることが一つ挙げられます。 そこで、便利なツールを探していたところ、LM Studioを発見しました。 このツールは、GUI上でLLMの取得から起動までをボタンクリックで進めることができます。 さらに、チャットのUIやローカルサーバの起動・Pythonコード例の提示までしてくれる便利ツールとなっていました。 操作手順 使用し
「2025～2026年にはAIモデルの学習費用が1兆円を超えて人類に脅威をもたらすAIが登場する」とAI企業・AnthropicのCEOが予言
AIの開発にはGPUやAIアクセラレータからなる大規模な計算資源が必要です。AI企業Anthropicのダリオ・アモデイCEOはAIモデルの学習費用が今後数年で約100億ドル(約1兆5400円)に達すると推測しています。 Transcript: Ezra Klein Interviews Dario Amodei - The New York Times https://www.nytimes.com/2024/04/12/podcasts/transcript-ezra-klein-interviews-dario-amodei.html 大規模言語モデルやマルチモーダルAIモデルの学習には、大量のGPUやAIアクセラレータが必要です。NVIDIAやAMD、Intelといった半導体企業はAIの学習を効率的に実行できるチップの開発を進めていますが、それらのAI特化チップは性能の高さと引き換
【Stable Diffusion】AIイラストにおすすめなグラボをガチで検証【GPU別の生成速度】 ちもろぐ
AIイラスト（Stable Diffusion）におすすめなグラボを検証検証方法：AIイラストの生成速度をテストする AIイラスト（Stable Diffusion）に適したグラフィックボードをテストする方法はシンプルです。 実際にAIイラストを何枚か描かせて、処理にかかった時間と生成速度を記録します。AIイラストの生成速度が速いグラフィックボードが、AIイラストに適したグラボです。 今回のStable Diffusionベンチマークでは、以下の2つの数値を「性能」として扱います。 ログに表示される生成速度（Iterations per Second）リザルトに表示される描写時間（Time taken） 生成速度は「it/s」と表示され、1秒あたりのステップ回数らしいです。正直ちょっと直感的に分かりづらいので、よく分からない人は描写時間に注目しましょう。 リザルト画面に表示される「Time
GPU禁輸措置で追い詰められる中国と大規模言語モデルの発展
GPU禁輸措置で追い詰められる中国と大規模言語モデルの発展 2023.11.01 Updated by Ryo Shimizu on November 1, 2023, 09:15 am JST アメリカがGPUを重要物資として中国に対して禁輸措置を行うとの意向を受けて、中国国内ではA800 GPUの価格が一枚あたり50万人民元(約1000万円)に達するなどのパニックが起きたようだ。これは通常の価格の5倍にあたる。 A800は、そもそもアメリカ政府の意向を受けて中国市場向けにデチューンした(性能をわざと落とした)モデルで、世界的ベストセラーのA100の70%程度の性能とされている。 しかし中国国内ではAI開発が非常に活発であり、合法的に使えるA800を大量に確保したい中国側の事情と、軍事転用も可能な重要戦略物資を中国に売りたくないアメリカ政府の意向が真正面から対立する形となっている。 筆者
Text generation web UI で Xwin-LM-13B-V0.1-GPTQ を試す。｜saip(さいぴ)
この Xwin-LM-13B-V0.1 モデル、13B（130億パラメーター）でありながらAlpacaEval ベンチマークにおいてなんとGPT-4に僅差で勝利している。対ChatGPT戦に至っては圧勝である。 しかもこのモデル、GPTQで量子化したTheBloke/Xwin-LM-13B-V0.1-GPTQ であれば7.26 GBである。 ついに家庭用ゲーミングPCでGPT-4が動く時代が来たのだ。 今を未来と呼ばずしてなんと呼ぶ。 というわけで、ローカルの Text generation web UI で Xwin-LM-13B をロードして色々推論して遊んでみます。 2. WebUI での実行今回はmainブランチのモデルを使用しています。 4ビット、アクトオーダー、グループサイズ128g。 VRAM使用量は64Gよりさらに少ないが、精度は若干落ちる。 Model タブの Downl
マルチGPUで画像生成って実際どうなの？？？｜でょ
こんにちは でょ です！ 今回はマルチGPU(SLIではない）について設定方法から使用感をお伝えしたいと思います!! マルチGPUとは？ その名の通り、複数台のGPUを搭載した環境です。 その中でも複数台のGPUを1台として使うのが、Nvidiaで言うSLI(Scalable Link Interface）、AMDで言うCrossFireです。 今回は、SLIやCrossFireではなく、単純にGPUを2台搭載した環境の紹介になります。 メリット並列して生成ができる。 生成中にinpaintなどの作業ができる。 LoRA作成中にも生成ができる。 デメリット環境構築が面倒。 GPUを2台用意する必要がある。 冷却に気をつけないといけない。 環境設定環境は下記のようになります。 ハードウェア ・CPU:core i7 8700 ・マザーボード：ASUS PRIME H370-A ・GPU:RT
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本語入力にネイティブ対応したテキストからの動画生成のフルスクラッチ開発と公開の表示
GitHub - NVlabs/Sana: SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformer
koboldcppを使ってコーディングつよつよモデルのMPT-30BをRTX3090(VRAM24GB)環境で動かす
自宅PCでもAIはここまで動く！ VRAM 16GBのGeForceで動かす「画像で会話」の大規模言語モデル【イニシャルB【特別編】】[Sponsored]![自宅PCでもAIはここまで動く！ VRAM 16GBのGeForceで動かす「画像で会話」の大規模言語モデル【イニシャルB【特別編】】[Sponsored]](https://cdn-ak-scissors.b.st-hatena.com/image/square/e323ee4afd275297632465d779bdf8c7a6df3897/height=288;version=1;width=512/https%3A%2F%2Finternet.watch.impress.co.jp%2Fimg%2Fiw%2Flist%2F1527%2F680%2F001.jpg)
世界はNVIDIAのGPU富者と貧者に二分された説が波紋を広げる
ローカルで RWKV-LoRA の日本語データセットでﾌｧｲﾝﾁｭｰﾝするメモ (3090x2 で 7B いけた. 14B はだめだった)
