Install, run LLMs locally, and discover apps in minutes
Lemonade: Run Local AI Apps in Minutes
Install, run LLMs locally, and discover apps in minutes
GitHub - AlexsJones/llmfit: Hundreds of models & providers. One command to find what runs on your hardware.
Hundreds of models & providers. One command to find what runs on your hardware. A terminal tool that right-sizes LLM models to your system's RAM, CPU, and GPU. Detects your hardware, scores each model across quality, speed, fit, and context dimensions, and tells you which ones will actually run well on your machine. Ships with an interactive TUI (default) and a classic CLI mode. Supports multi-GPU
Runpod | The cloud built for AI
Instant AI workloads—no setup, scaling, or idle costs.
DeepSeek R1をほぼ準備なしからローカルGPUで動かす｜しぴちゃん
しぴぴぴ！ Vtuberのしぴちゃん (https://www.youtube.com/@CP-chan)です。普段はゲーム配信しかしてませんが、たまにAIについて発信することがあります。今日はAIの記事の方。 現在はローカルAIモデルに関する連載をしています。 第一弾 本記事（DeepSeek R1をほぼ準備なしからローカルGPUで動かす） 第二弾 Cline＋ローカル版DeepSeek R1でAIコーディングを使い放題にする（高スペックマシン向け） 最近話題のローカルで動くLLM、DeepSeek R1 をローカルGPU環境（NVIDIA）で動かしてみましょう。 多少のコマンドラインの操作ができれば、事前にローカルLLMを触ったことがなくてもインストールできるように書くつもりです。 サムネはDeepSeek R1くんに画像を生成してもらおうとしたところです（そんな機能はありません）。
世界一安いGPUを求めて2024冬 - Qiita
結論 スポットで使うならColab、Runpodが最強 ゲーミングPCでいいならどこかで買うかBREAJONでサブスクしよう だいたいRunpodさんがなんとかしてくれる 今回の記事について こんにちは！逆瀬川 ( https://x.com/gyakuse ) です！今日は最強のGPUプロバイダー決定戦をします。世は大GPU時代となりました。Valorantをやるにも、APEXをやるにも、ある程度高性能なGPUが必要です。League of Legends はノートパソコンでも遊べるのでおすすめです。 その他の利用として機械学習のモデルをトレーニングをしたいという需要があると思います。推論もさせたいですよね。言語モデルや音声認識モデル、音声合成モデル…いろんなものを動かそうとすると、つらい。さらに、トレーニングをしようとするともっとつらい。ですが、最近は非常に安価なクラウドGPUが台頭し
RTX3060x2のGPUで激安ローカルLLMマシンを構築。 | blueqat
こんにちは、安くLLMを構築したいですね。おすすめ構成をお知らせします。 LLMは大規模言語モデルのことで、AIがChatGPTみたいに文章を作ってくれます。無料で使えますが、業務で使おうとすると結構難点があるし、データの漏洩とか含めて困りますね。手元のローカルでLLMを作る際のおすすめ構成をお知らせします。 まず、LLMを作るには、マザーボード、CPU、メモリ、SSD、電源、ケース、そしてGPUが必要です。ソフトウェアやOSはすべて無料で手に入りますので、心配入りません。 まず、ケースにマザーボード、CPU、メモリ、SSD、電源をセットします。この辺りは標準的な構成をお勧めします。 肝心なのはGPUで、VRAMのサイズが搭載できるLLMの性能を左右します。パラメータ数7Bのモデルが標準的に使われていますので、 14GB程度のVRAMが必要です。 そこで、よく使われるのがおそらく安価でVR
プライベートクレジットバブルとAIバブルの意外な関係 : 村越誠の投資資本主義
＜米国株情報＞ブラックストーンら投資家グループ、ＧＰＵクラウド大手コアウィーブに１兆円超を融資 最終的に一蓮托生になりそうな予感。 これまで当ブログでは過去にこれから来るバブルについて書いたことがあったが、この中にプライベートクレジットバブルとAIバブルの2つを挙げていた。 【過去参考記事】 現在起こり得るバブルをおさらい しかし、どうやら上記ニュース記事を見る限り、これはバラバラにバブルになると見るべきではないと感じつつあるので、これについてまとめていきたい。 上記ニュース記事はGPUクラウド大手のコアウィーブという会社に対してプライベートクレジットを提供しているファンド勢が融資したという話である。 なんかよくわからない社名がいっぱい出ているので、順繰りに詳しく書いていきたい。 このコアウィーブというのは元々イーサリアムのマイニング会社であったが、仮想通貨市場が低調になったところでマイニ
Revisiting GPU Parallelism Mental Model - Spinach Forest
Flash Attention や 教科書のTiled Matmul を読んで意外だったのは、これらが単一の Streaming Multiprocessor の上で実装されていることだった。Triton もそういう実装を想定し, Per-SM というか Per-ThreadBlock の実行モデルを持っている。 SRAM に tile を載せたい動機を考えると当然といえば当然だけれど、古いコンピュータ・グラフィクスの世界観で理解している GPU とは随分違って、自分のメンタルモデルを書き直す必要を感じた。 古いコンピュータグラフィクスの世界では、SM とか ThreadBlock みたいのは実装の詳細であり、プログラマは気にしない。GL のシェーダにも (compute shader は別とすると) 基本的には SRAM/SHARED みたいな概念はない。個々の WARP も独立して動き
Welcome to Triton’s documentation! — Triton documentation
Getting Started Installation Tutorials Python API triton triton.language triton.testing Triton Semantics Triton MLIR Dialects Triton MLIR Dialects and Ops Programming Guide Introduction Related Work Debugging Triton Welcome to Triton’s documentation!¶ Triton is a language and compiler for parallel programming. It aims to provide a Python-based programming environment for productively writing custo
Groq is fast, low cost inference.
Close mobile navigationPlatformGroqCloudLPU ArchitectureSee PricingSolutionsIndustries & Use CasesCustomer StoriesDemosLearnBlogChangelogWhitepapersSubscribePricingAboutAbout GroqNewsroomCareers at GroqContact UsDevelopersFree API keyCommunityDocsEnterprises Inference is Fuel for AI Groq delivers fast, low cost inference that doesn’t flake when things get real.
ゼロからはじめるPython(76) ColabのGPU高性能マシンが月1072円で使い放題になっていた件
Googleアカウントさえあれば無料でPythonの機械学習プラットフォームが使えるColaboratory(通称Colab)というサービスがある。既に本連載でも何度か紹介したことがあるが、3月末に待望の有料プランが日本でも始まった。有料プランでも制限はあるもののGPUを備えた超高性能マシンが月1072円で使い放題になったのは大きい。実際に有料版を試してみたので使い勝手を紹介しよう。 1072円で高性能マシンが使い放題に Colabについて復習してみよう まずは、改めてPythonのColabについて紹介しよう。一言で言うならGoogle Colabはブラウザ上で使えるPythonの実行環境だ。Googleが無料で提供しており、教育用途や研究用に使えるものだ。 そもそもPythonで人工知能(AI)を、特に機械学習を試してみたいという人は多いことだろう。ところが、Pythonや機械学習の実
TensorFlow.js | Machine Learning for JavaScript Developers
Deploy ML on mobile, microcontrollers and other edge devices
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【西川和久の不定期コラム】 さらばgpt-oss。VRAM 16GBあれば動作し、画像も理解してくれる「Qwen3.5」登場！
GitHub - lean-dojo/LeanCopilot: LLMs as Copilots for Theorem Proving in Lean
GitHub - XiongjieDai/GPU-Benchmarks-on-LLM-Inference: Multiple NVIDIA GPUs or Apple Silicon for Large Language Model Inference?
GitHub - ggml-org/llama.cpp: LLM inference in C/C++
NVIDIAの「Jetson Nano開発者キット」が店頭入荷、価格は12,800円電源アダプタ付きのスターターキットもあり
NVIDIA Autonomous Vehicles Technology