ローカルPCを買うのではなく、クラウドGPUを使うという選択肢｜Midea
前置きご覧いただきありがとうございます。 趣味でAIイラストを生成しているミディアと言います。 私は普段ローカルでAIイラストを生成しているため、性能の良いPCがほしいと思う日が多いです。しかし、性能の良いPCとは値段が高く、簡単には決断できません。 私のメイン用途は画像生成になりますので、とりあえずその用途に絞って、あれこれ調べた結果たどり着いたのが今回まとめたクラウドGPUです。 この記事は私がPCを買うべきか、クラウドGPUを使うべきか、画像生成に用途を絞って検討した備忘録になります。 詳しいことはこの後書いていきますが、この記事は画像生成がしたい人だけでなく、機械学習やLLMといったAIを使いたいという人にもおすすめです。 反対に、やりたい内容が配信やゲームなどリアルタイムでの処理を必要とする場合には、クラウドの利用ということで遅延が発生する関係上不向きだと思われます。(ここはあま
使い捨てできるGPUクラウド Runpodを使おう！
前置き はじめまして！株式会社NTTデータグループの技術革新統括本部AI技術部でSmart AI Agent®︎のエンジニアをしている岸川です。 今回は、GPUクラウドサービス「Runpod」について、実際に研究と仕事で活用してきた経験をもとに紹介します。「ちょっとGPU使いたいだけなのに...」という悩みを持つ方に向けて、Runpodの魅力と具体的な使い方を解説していきます！ はじめに 機械学習の実験や開発をしていると、こんな悩みに直面していませんか？ Google Colabユーザーの悩み 特に大学院生の方は、こんな経験があるのではないでしょうか。 Colab Proに課金しているけど、実行時間制限で長時間の学習が中断される... もっと高性能なGPUを使いたいけど、さらに課金するのは躊躇する 研究の締め切り前に限って、リソース制限が厳しくなる気がする... クラウド初心者の壁 Azu
Qwen3はローカルLLMの世界を変えたかも - きしだのHatena
Qwen3が出ていて、14Bを中心にいろいろ試したのだけど、かなり使い物になって、日常的な用途ではこれでいいのでは、という感じもします。 4BでもGPT-4oを越えているという話もありますが、確かに単純な用途ではGPT-4oの代わりにしてもいいなと場面も割とありそうな出力です。さすがにちょっと込み入ったものだと4oだけど。 1.7Bなど小さいモデルも既存のモデルより使えるものになっていて、ローカルLLMの世界を変えそう。 解説動画も撮りました。 週間ニュースのまとめはじめました。 サイズとしては0.6B, 1.7B, 4B, 8B, 14B, 32Bと、MoEモデルの30B-A3B, 235B-A22Bです。 30B-A3Bが賢いというベンチマークだけど、コーディング用途だと14Bや32Bのほうがいいかも。MacならMLXで30B-A3Bは めちゃ速くていいけど。という感じでどのサイズにも
LLMの重みの量子化でパフォーマンスが改善する仕組みについて
Abstract 本記事では、重みの量子化でパフォーマンスが改善する仕組みについて、Rooflineという図を使って視覚的に説明する。前半ではパフォーマンスのボトルネックを可視化するRooflineという図の作図法と各領域の意味について説明する。後半ではRooflineを使ってなぜ重みの量子化がシステムのパフォーマンスを改善するのかについて、AWQの論文を例にして説明する。 なお、この記事でいうパフォーマンスとはシステムリソースの利用効率のことをさし、精度などのベンチマーク性能ではないことに注意。 Rooflineとは？ Rooflineとは、計算機システムのボトルネックを視覚的に判断するための図であり、ボトルネックが以下のどちらにあるのかを判断することができる。 memory-bound / bandwidth-bound: データの転送で詰まってて、GPUは暇を持て余している状態。 c
わずか26分間の学習と1000円以下の計算コストでOpenAI o1-preview相当のAIモデルを構築する方法が発表される
2025年1月31日、スタンフォード大学で大規模言語モデルを研究するニクラス・ミュニホフ氏らの研究チームが、少ないデータサンプルと簡単な方法でOpenAI o1-previewとほぼ同等のスケーリングとパフォーマンスを再現する手法を、未査読論文リポジトリのarXivに発表しました。AIアーキテクトでソフトウェアエンジニアのティム・ケロッグ氏が、この論文について解説しています。 [2501.19393] s1: Simple test-time scaling https://arxiv.org/abs/2501.19393 S1: The $6 R1 Competitor? - Tim Kellogg https://timkellogg.me/blog/2025/02/03/s1 ミュニホフ氏らが発表した論文は、テスト時の計算リソースを増やすことで言語モデルの推論性能を向上させる「Sim
WebGPU で実装したリアルタイム 3D 流体シミュレーションの紹介
ブラウザ上で動作するリアルタイム 3D 流体シミュレーションを，WebGPU を使って実装しました． Demo（WebGPU に対応したブラウザが必要です．） Repository Demo Video 本記事では，主に以下の 3 つについて説明します． シミュレーションの実装に WebGPU を使った理由 流体の運動をシミュレーションするのに用いた SPH 法 特に，GPU 上での近傍探索の高速化について詳しく説明します． 水面のレンダリングに用いた Screen-Space Rendering WebGPU を実装に使った理由 このシミュレーションでは，水面のレンダリングには WebGPU の頂点シェーダー・フラグメントシェーダーを，SPH 法の計算にはコンピュートシェーダーを用いています．今回，実装言語として WebGPU を用いたのは，なんといってもコンピュートシェーダーを使ってみ
サーバレスGPUにModalがいいぞ！
GPUを使いたいこと、あると思います。 ただしご家庭に強いGPUはないこともあるでしょうし、かといってGPU搭載したインスタンスを立て続けているととてつもないお金がかかります。 そんなあなたにサーバレスGPU、使った秒数分だけ課金が発生するので、いきなりすごい金額がかかることにはならず手軽にGPUを使ったプログラミングが始められます。 私は今の所ModalとRunPodを試したのですが、ModalのDXが良すぎるため今回イントロ記事を書く筆を取りました。 始めにざっくりいいところを述べると 一つのファイルで完結する。 RunPodとの比較だと「RunPodではDockerのイメージを自前でビルドしてどこかしらのregistryにpush、都度タグを付け替えてRunPodの方にも反映」みたいなのが必要だったがModalでは全部要らない ローカルパッケージをちょろっとした関数で送れたり、テキス
「NVIDIA最新GPUの20倍速い」史上最速を謳うAIチップ「Sohu」
米AIスタートアップ「Etched」は6月25日（現地時間）、ChatGPTなど最新のAI技術の基盤となっている「Transformer」アーキテクチャーに特化したチップ「Sohu」を発表した。この発表は、現在NVIDIAが支配的な地位を占めるAIチップ市場に、新たな競争をもたらす可能性がある。 Transformer処理に特化 AIチップ市場は現在NVIDIAが圧倒的なシェアを持つ。同社の汎用GPUは様々なAIモデルを効率的に処理できる柔軟性から市場の約80%を占めている。 多くの大手テクノロジー企業がAI開発のためにNVIDIAのチップに数十億ドルを投資しているのが現状だ。 Etchedの「Sohu」は、ASIC（Application-Specific Integrated Circuit：特定用途向け集積回路）と呼ばれる、特定の用途に最適化された集積回路だ。汎用性は低いものの、特定
第288回 人工知能時代には必須か？ 最近、プロセッサに搭載されている「NPU」って何
最近、プロセッサに「NPU」と呼ばれる人工知能（AI）処理に特化したユニットが搭載されるのがちょっとしたブーム（？）になっている。このNPUって、GPUなどと何が違うのか、なぜプロセッサに搭載されるようになってきたのか解説しよう。 プロセッサに搭載されている「NPU」って何？ Intelの最新プロセッサ「Core Ultra」には、人工知能（AI）処理に特化した「NPU」が搭載されている。NPUは、スマートフォン向けのプロセッサにも搭載が進んでいる。ところで、このNPUはCPUやGPUと何が違うのだろうか？ 写真は、Intelのプレスリリース「AI PCの新時代の到来を告げるインテル Core Ultra プロセッサー」のCore Ultraプロセッサーの写真を使って、「CPU」「GPU」「NPU」の文字を載せたもの。 今回のお題は「NPU」である。出だしから注釈になってしまうが、NPUと
1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B-13B規模ぐらいなら量子化という技術を使うことでなんとか動作可能ですが、さすがに70B規模となりますと動かすのはAI特化型のGPUでもそう簡単には行きません。その手前にある例えばMixture of Experts（MoE）というアーキテクチャで動作するような8x7B系のモデルでもアクティブに動作するパラメー
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし
WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場
WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場 ONNX Runtime WebがWebGPUに対応。Webブラウザ上でさらに高速な推論処理が可能になった。Stable Diffusion Turbo全体をWebブラウザ上で高速に実行可能で、RTX4090を用いた場合1秒以内で結果が出力される。 ONNX Runtime Webの基になっている「ONNX Runtime」はクロスプラットフォーム対応の推論エンジンです。TensorFlow、PyTorch、SciKit Learnなどをはじめとするさまざまな機械学習のモデルに対応し、これらで生成されたモデルによる推論処理をプラットフォームに依存せず実行するランタイムの役割を果たします
inline CUDA - Qiita
目的 HaskellでGPUを扱う場合にはaccelerateなどがありますが、既存のGPUを扱えるC/C++のコードを使ってGPUとやり取りする場合に、直接CUDAのコードを扱いたい場合があります。 現状では、CUDAのファイルを使うワークフローが煩雑です。 cabalファイルはCUDAをサポートしてないので、CUDAのコードをあらかじめMakefileなどを使って事前にビルドし、cabalファイルにそのライブラリのファイルを追加するという流れになるかと思います。つまりcabalだけでビルドできません。 こちらの例ではMakefileでnvccを使ってCUDAのファイルをビルドしてghcでそのファイルにリンクしていると思います。 今回HaskellのコードにCUDAのコードを埋め込み、cabalファイルに特別な変更を入れないでCUDAのコードを扱えるようにし、cabalだけでビルドできる
【令和最新版】対話型AI、ローカル支部最前線レポート - Qiita
こんにちは。LLM転職者のサルドラです。今はPictoriaという会社でAIキャラクターを作っています。 さて、皆さんはChatGPT、使っているでしょうか。 調べものに使ったり、後輩役にしてラバーダック・デバッグに用いたり、ラーメン屋の親父にしたりしていますよね。 ラーメン屋の親父GPT、「命令リセットしろ」も通用しないし、 記憶失いがちな無関係な英語・長文アタックも全く効かん なんやこいつ、化け物か pic.twitter.com/4gYg7zymXB — 刈宮 宥 (@Callimiya) March 8, 2023 今回はChatGPTではなく舞台を移してローカル、つまり自分のパソコンで動かす文章生成AIについて、AIキャラクターを作るという側面からとても浅く話そうと思います。ローカルAIは精度は勿論OpenAIのAPIより低いです。文字通り桁違いの性能の差がありますが、やはり自分
IntelのCPUとNVIDIAのGPUが同一チップに？
現在、最先端の半導体チップを開発・製造・販売するバリューチェーンに大変革が起こりつつあることをご存じだろうか。これまでは異なるメーカーから個別供給されていた半導体チップが、1つのパッケージの中に統合されて供給される時代が到来しようとしているのだ。その背景にあるのが「チップレット」と呼ばれる技術であり、半導体業界の関連企業がこぞって注目している。チップレット技術の概要とその技術的なインパクト、それによってもたらされる近未来を解説する。 米Intel（インテル）のCPU（中央演算処理装置）と米NVIDIA（エヌビディア）のGPU（画像処理半導体）、場合によっては米Qualcomm（クアルコム）の移動通信用ベースバンドチップや韓国Samsung Electronics（サムスン電子）のDRAM（一時記憶向けメモリー）まで――。これまで個別供給されていた別メーカー製の半導体チップが、1つのパッケー
GitHub - mlc-ai/web-llm: High-performance In-browser LLM Inference Engine
In-Browser Inference: WebLLM is a high-performance, in-browser language model inference engine that leverages WebGPU for hardware acceleration, enabling powerful LLM operations directly within web browsers without server-side processing. Full OpenAI API Compatibility: Seamlessly integrate your app with WebLLM using OpenAI API with functionalities such as streaming, JSON-mode, logit-level control,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - runmat-org/runmat: Open-source runtime for math. Write MATLAB syntax, run on CPU + GPU automatically. Install via CLI, embed via NPM, or try instantly in the browser — no account needed.
富士通、プログラム処理中でもCPUとGPUを切り替える世界初の技術。GPU不足に対応
GitHub - SamGinzburg/VectorVisor: VectorVisor is a vectorizing binary translator for GPUs, designed to make it easy to run many copies of a single-threaded WebAssembly program in parallel using GPUs
https://blueqat.com/yuichiro_minato2/140c0fa2-6c57-4fc0-aad3-8578ecf51bdf
