SREチームマネージャーの藤原です。 LM Studio + Gemma 3 + Cline + VSCodeの環境を自由研究的に試用したので、その報告エントリです。 モチベーション プライベートでコードを書く際も最近はClineなどを使ってLLMを使ってコーディングをすることが徐々に増えてきました。 VSCodeとClineを組み合わせて外部サービスをつかってコードの変更作業を実施する場合、 何かコードの変更を依頼するたびに、財布の中身から少しずつお金が溢（こぼ）れていく感覚があるでしょう。 1回1回の額は少額とはいえ、多数回繰り返すとなかなかの金額になってきます。 会社では予算の範囲内であれば、利用できますが、個人開発の場合はなかなか躊躇してしまうこともあるでしょう。 また、先日Googleが公開したオープンなローカルLLMのGemma 3も話題になったりしています。 そこでAPI課金
DeepSeekがGPUの制限を突破するのに使われたPTX。その制約が突破の原動力になった - 中華IT最新事情
DeepSeekはトレーニングコストが従来の1/10。それには冗長計算の８割をカットするという努力が必要だった。米国政府は中国に対してGPUの制限をかけ、それをDeepSeekチームは突破をしたと量子位が報じた。 冗長計算を８割カットしたDeepSeek DeepSeekがなぜ1/10のトレーニングコストでGPTと肩を並べる大規模言語モデル（LLM）を開発できたのか。その答えはひとつではない。その技術詳細を開設した「DeepSeek-V3 Technical Report」（https://arxiv.org/abs/2412.19437）は、最適化技術のカタログのようになっている。開発チームはありとあらゆる最適化を試みて、最終的に冗長計算の80％を削減することに成功したと主張している。 GPUをハックしたDeepSeek その中でもハイライトとも言えるのが、CUDAから下りてPTXによる
はじめに 「オープンソースに挑戦したいけど、どんなプロジェクトを作ればいいかわからない…」そんな悩みを持っていませんか？ 本記事では、初心者・中級者・上級者・達人 の4つのレベルに分けて、合計 120個のオープンソースプロジェクトアイデア を紹介します。 それぞれのアイデアの詳細については折りたたんであります。興味がある内容については広げてみて機能要件や実装のポイント、拡張機能、学べることを見てみてください！ 自分のスキルレベルに合ったプロジェクトを見つけて、実際に開発に挑戦してみましょう！ 初心者向けプロジェクトアイデア 1. ToDoリストアプリ 概要 ToDoリストアプリは、ユーザーがタスクを追加・編集・削除し、完了状況を管理できるシンプルなアプリです。 初心者でも取り組みやすく、プログラミングの基礎となる CRUD（Create, Read, Update, Delete） の概念
1. なぜ今ローカルLLMなのか？クラウドLLMにはプライバシーのリスクや通信遅延といった課題近年、AI技術の進化により、クラウドベースの大規模言語モデル（LLM）が広く普及しました。しかし、クラウドLLMにはプライバシーのリスクや通信遅延といった課題がつきまといます。 例えば、企業が機密データを含むドキュメントをAIに解析させる際、データが外部サーバーに送信されることで情報漏洩のリスクが生じます。 また、医療分野では患者情報の扱いが厳しく規制されており、クラウドベースのAI利用には慎重な対応が求められます。 こうした課題を解決するのがローカルLLMです。インターネットを介さずにAIを動作させることで、データを手元で処理し、安全に利用できるメリットがあります。 さらに、通信環境に依存せずにリアルタイムで動作するため、遅延なく快適に使える点も大きな利点です。 こうした背景のもと登場したのが、
ローカル生成AIのためのマシンって、今ならこんな感じ？（CloseBox） | テクノエッジ TechnoEdge
なお、筆者が所有しているのは、 Thirdwave XA7C-R48：80GB RAM、Core i7 13700F CPU搭載。RTX 4090（24GB VRAM）に換装 MacBook Pro：M4 Max 128GB Unified Memory この2つがメインで、このほかにiMac M1（16GB）、Mac mini M4（16GB）、MacBook Air M2（24GB）など。 そして、NVIDIA DGX Sparkを某所経由で予約済みです。 また、512GB M3 Ultra Mac Studio、5090搭載PCは複数の知人が購入しています。128GB M4 Max MacBook Proはもっと多くの知人が使っています。512GB Mac Studioを買い足している人も何人か。 もともと筆者が挙げていた4つのオプションに、リプライで提案された3つを加え、7つの選択
LLMがBlenderで行う3Dモデリング: MeshGen/LLaMA-Mesh を試す - BioErrorLog Tech Blog
LLMが3Dモデル情報を出力するLLaMA-Mesh、そのBlenderアドオンであるMeshGenで遊びます。 番外編では、ChatGPTを使って同じく3Dモデリングさせてみます。 はじめに LLaMA-Meshをざっくり理解する MeshGenで3Dモデリング MeshGenをBlenderにインストールする MeshGenの使い方 机の3Dモデルを生成する 椅子の3Dモデルを生成する 盆栽の3Dモデルを生成する 番外編: ChatGPTで3Dモデリング 机の3Dモデルを生成する 椅子の3Dモデルを生成する 盆栽の3Dモデルを生成する おわりに 参考 はじめに 近年は3Dモデルを出力する生成AIモデルも続々出てきています。 ローカルで簡単に試せるものはないかと探していると、NVIDA Labsが最近発表した"LLaMA-Mesh"というモデルを見つけました。 [2411.09595]
Join our community of software engineering leaders and aspirational developers. Always stay in-the-know by getting the most important news and exclusive content delivered fresh to your inbox to learn more about at-scale software development.
ITジャーナリスト 牧野 武文（まきの たけふみ） 生活とテクノロジー、ビジネスの関係を考えるITジャーナリスト、中国テックウォッチャー。著書に「Googleの正体」（マイコミ新書）、「任天堂ノスタルジー・横井軍平とその時代」（角川新書）など。 大きな話題となった中国AI「DeepSeek（深度求索）」。米国AIの優位性が揺らぎかねないことから「DeepSeekショック」という言葉も使われた。 一方、AI開発の世界では技術は“ガラス張り”になっており、米国AIがDeepSeekの技術を吸収することは難しくない。米国AIの優位性がすぐには影響を受けることはないだろう。 それよりも、注目しなければならないのは、DeepSeekがオープンソースで開発しているということだ。米中ともにAIはオープンソース化必至の状況になり、ここが新たな競争の焦点になっている。本記事では、2024年12月公開の大規模
RTX 50シリーズが直近5年で類を見ない最悪級のローンチをやらかしたおかげで、対抗勢力「Radeon」に対する注目度が最高潮です。 本記事では、RTX 50シリーズに対抗するRadeon RX 9000シリーズ最上位「RX 9070 XT」を詳しく比較ベンチマークします。 【サンプル提供】ASRock Japan ベンチマーク用にASRock Japan（@AsrockJ）さんより、Radeon RX 9070 XTを無償で1台提供してもらいました。比較に出すグラフィックボードや、ベンチマークソフトの指定は一切なかったです。シンプルに性能比較をして欲しい･･･といった趣旨の提供動機です。 やかもち検証用にグラボを送ってくださったASRock Japanさん。ありがとうございます。 （公開：2025/3/31 | 更新：2025/3/31） この記事の目次 Toggle 「Radeon R
CUDA 12.8 における Checkpoint API の概要 - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの鈴ヶ嶺です。普段は AI/ML システムに関する業務に従事しています。 本記事では、CUDA 12.8 から追加された Checkpoint API の概要について解説します。 まず、Checkpoint のユースケースやこれまでの NVIDIA CUDA における Checkpoint の試みなどの背景を説明し、新たに追加された CUDA Checkpointing について解説します。 さらに実際に実装し、torchvision や transformers などの CUDA アプリケーションに対して、Checkpoint の検証をしています。 背景 CUDA Checkpointing 実装と検証 cu_check tool 検証 Pytorch Counter torchvision transformers まとめ 背景 Checkpoint
自分の撮った写真数千枚を使って、リアルタイムに画像を生成してくれるVJツールを作った話 - Butadiene Works
はじめに こんにちは、Butadieneです。 先日、「オーディオとビジュアルのパフォーマンスを楽しむリアルイベント」draw(tokyo); #2にVJとして出演してきました。 function-draw.com #function_draw@lactoice251 (Livecoding + 生演奏) ×@butadiene121 (多分？C++による自作AIジェネVJ) 最高すぎ！ pic.twitter.com/a5I349EBLL— Saina(さいな) (@SainaKey) 2025年3月22日 今回のライブでは、らくとあいすさん（https://x.com/lactoice251）のGLSL Soundに合わせてVJを行いました。 当日の一旦のアーカイブです（そのうちちゃんとしたやつに差し替えます。） youtu.be 映し出されてるコードは、らくとあいすさんのGLSL S
フィックスターズは2025年2月27日、2D画像から3Dモデルを高速で生成するMulti-View Stereo（MVS）ソフトウェア「CUMVS （cuda-multi-view-stereo）」を、Apache License 2.0のオープンソースとして公開した。
Sarashina2-Vision: 日本語特化の大規模視覚言語モデルの公開 - SB Intuitions TECH BLOG
概要 SB Intuitionsでは、日本語や日本の文化・慣習に強い大規模視覚言語モデル（Vision-Language Model; VLM）の開発を進めており、2025年3月に弊社の日本語大規模言語モデル（Large Language Model; LLM）のSarashina2をベースに開発したVLMであるSarashina2-Vision (8B・14B)を公開しました。 Sarashina2-Visionは、日本に関連する画像に基づいた専門的タスクの処理能力を測るベンチマークや日本語の複雑図表の理解能力を測る内製ベンチマークなど、複数の日本語ベンチマークにおいて国内最高の性能を実現しています。 この記事ではVLM学習チームがSarashina2-Visionのモデル構成と学習の詳細について紹介します。評価については別記事をご参照ください。 使い方 Sarashina2-Visio
2023年に発見され、数十億円規模の身代金要求にも使われた「Akira」と呼ばれるランサムウェアについて、NVIDIAのGPU「RTX 4090」を使えば短時間で暗号化されたファイルを解読できる可能性があると指摘されました。 Decrypting Encrypted files from Akira Ransomware (Linux/ESXI variant 2024) using a bunch of GPUs – Tinyhack.com https://tinyhack.com/2025/03/13/decrypting-encrypted-files-from-akira-ransomware-linux-esxi-variant-2024-using-a-bunch-of-gpus/ ブロガーのTinyhack氏は、Akiraが暗号鍵を生成する際に実行時のタイムスタンプをシード
OpenManusでGemma3使ってみた
はじめに 最近、新たに登場した大規模言語モデルの「Gemma3」を試す機会があった。軽量かつローカル環境でも比較的動かしやすいとのことで、実際に動かしてみたいと考えた。一方、以前から気になっていたオープンソースの汎用エージェントシステム「OpenManus」も、ちょうど試す機会を探していたため、同時に試して相性や使い勝手を確かめることにした。 本記事は、これら2つを初めて導入したときの手順や注意点を整理した備忘録である。Gemma3 と OpenManus の基本的な使い方や簡単な連携実行の流れを示す。 実行環境 Windows11 home CPU: Intel(R) Core(TM) i7-14700F RAM: 32GB GPU: NVIDIA GeForce RTX 4070 Ti SUPER CUDA: 12.4 Python 3.12.6 Gemma3の用意 今回は簡易的に「L
脱NVIDIA、はじまった？ Metaが自社AIチップに移行2025.03.21 12:305,219 Thomas Maxwell - Gizmodo US ［原文］ （ satomi ） NVIDIAの売上の半分近くはビッグ4（たぶんGAFAMなど）からの買い付け。 そうそういつまでもバカ高いGPUを外から買ってもいられないということで、AI各社がAIチップ開発に乗り出すなか、Metaが台湾TSMCと共同で開発した自社チップの小規模な導入に成功したとのニュースが入ってきました。 すでにトレーニングは終了済みReutersによると、導入されたのは、AIモデルの開発・トレーニング終了後の段階で、ユーザーに合うコンテンツを推論して用意する作業にすでに利用されているとのこと。2026年までにはトレーニング目的の利用も実現したい考えです。 記事にはこうあります。 AIツールで成長を加速する大博打
This post is a long form essay version of a talk about PyTorch internals, that I gave at the PyTorch NYC meetup on May 14, 2019. This talk is for those of you who have used PyTorch, and thought to yourself, "It would be great if I could contribute to PyTorch," but were scared by PyTorch's behemoth of a C++ codebase. I'm not going to lie: the PyTorch codebase can be a bit overwhelming at times. The
本記事で用いるYewのバージョンは0.21です。 それ以上のバージョンは執筆現在で未リリースです。 YewはRustに於ける「Webアプリケーションフレームワーク」として知られるものです。Webの中でも画面を作ることに特化(？)したもので、かつJavaScriptではなくWebAssemblyを使います。 そんなYewですが、ドキュメントだけでなく公式サイトが存在します。しかしこのサイト、言語として日本語を選ぶことができるにもかかわらず、実際には殆ど対応していませんでした。 日本語トップ画面(2025/03/16現在) https://yew.rs/ja/ 0.21バージョン日本語ドキュメント(2025/03/16現在) https://yew.rs/ja/docs/getting-started/introduction 日本語⋯？ しかし最近になり、現在最新の「0.21バージョン」から
NVIDIAが RTX PRO 6000 Blackwell を発表。 RTX 5090 の供給がさらに制限される？ NVIDIAはGTC/GDC 2025ではここ最近のトレンドでもあるAI向けハードウェアに特化したプレゼンテーションを行いましたが、その中で新製品としてBlackwell UltraラインアップのGB300 GPUを発表しましたが、これに加えてワークステーション向けGPUのBlackwell RTX PROシリーズの発表を行いました。 このBlackwell RTX PROシリーズは主にAIなどのワークロードに対応するため大容量かつECC対応メモリを搭載しており、最上位モデルのRTX PRO 6000の他にRTX PRO 5000/4500/4000の4つのモデルをディスクリートGPU向けとしてラインアップ、またノートPC向けにもBlackwell RTX PROシリーズが
【GitHub人気急騰】Unsloth徹底解説：LoRA＋4bit量子化で大規模モデルを軽量・高速に運用する方法 - Qiita
はじめに ✨ GPUメモリ不足とサヨナラ！GitHub人気急騰のUnslothで実現する超高速AI学習 大規模言語モデルの時代、数千億のパラメータを持つAIモデルが続々と登場しています。 しかし、これらの巨人たちを個人のGPUで動かすのは至難の業...。そんな悩みを解決する救世主が現れました！ OSSプロジェクト「Unsloth」は、驚異の4bit量子化とLoRA技術を組み合わせ、通常では考えられないほどの軽量化と高速化を実現。 例えば13BパラメータのLlama 2も、たった8GBのGPUメモリで動作可能になるのです。 本記事では、GitHub注目度急上昇中のUnslothの全貌に迫ります。 実装の秘密から実践的なチューニングまで、エンジニア視点で徹底解説します。 大規模AIモデルを身近なものにする、新時代の開発手法をご紹介します。 1.1 記事のゴール エンジニア向けに、Unsloth
文字起こしAI Whisperモデルの更なる活用形 ～ 「負の遺産」とならないために | IIJ Engineers Blog
フロントエンド部分はPHP、バックエンドはPythonで構成していますが、これとは別にジョブスケジューリングにはSlurm Workload Managerを活用しています。 SlurmはGPU排他制御で必要になってくるもので、これによりそれぞれ実行された履歴はジョブとして管理することができる点がうれしいポイントです。 内部で動作するモデルはOpenAI/Whisperです。Whisperがリリースされたときは大変な盛り上がりを見せてたなぁというのをいまだ覚えてまして、このモデルに私もかじりついて一生懸命内部構造を調べてたりしたなーと。 今やすっかりクローズなイメージが固定してしまったOpenAIですが、当時はその境目の時代ということもあり、DALL-E2で使われてたCLIPや書き起こしモデルWhisperはオープンモデルとして、かの有名なGPT-3や画像生成モデル本体であるDALL-E2
The Atrocious State Of Binary Compatibility on Linux and How To Address It. By Dale Weiler GitHub Time To Read: ~30 Minutes Last Updated: Monday, March 17th 2025 Summary Linux binary compatibility is plagued by one thing that is often overlooked when evaluating shipping software on Linux. This article will deconstruct how to arrive to that conclusion, how to address it when shipping software today
覇王に隙なし。NVIDIAが見せた最新戦略の盤石っぷりを解説2025.04.04 12:3019,826 武者良太 3月17日から21日まで開催された、NVIDIAの、NVIDIAによる、みんなのためのGPUテクノロジーカンファレンス｢NVIDIA GTC 2025｣。今年も基調講演から、CEOのジェンスン・フアン氏によるNVIDIAが目指す未来が指し示されたわけですが。 その内容を一言で示すと。 ｢覇王NVIDIAに隙なし。｣ CUDAエコシステム、AIデータセンター、次世代GPUアーキテクチャの NVIDIA Blackwell Ultra、AIにより実現できた新次元のロボットなどなど...SFの話なのかと思えるくらいの、新たな産業革命の兆しを感じさせるトークでした。 急増するAI需要に対して、GPU/NPUの重要性はうなぎのぼりなのですが、そこに甘んじることなく矢継ぎ早に、新たなビジ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? nVIDIA RTX 5090を入手！ 2025年1月30日に発売されたnVIDIAの最新グラボ、RTX5090は、40万円越えのプライスにもかかわらず、出荷量が極端に少ないせいか、転売ヤーに目をつけられてしまい、定価ではまったく入手できない状態が続いていました。 各ショップは抽選販売を実施していましたが、手あたり次第応募するもすべて落選。それもそのはず、TSUKUMOの抽選販売には15000人以上の応募があったそうで、絶望的な確率だったようです。（おそらく当選は10枚程度） 定期的にショップのWebやAmazonをチェックするも入手で
【新製品】NVIDIA RTX PRO™ 6000 / 6000 Max-Qの取り扱いを開始します - アプライド大学・研究室向け:アプライドダイレクトforUniv
NVIDIA RTX PRO 6000 Blackwell Workstation Edition NVIDIA RTX PRO 6000 Blackwell Workstation Editionは、これまでに作られた中で最も強力なワークステーションGPUであり、プロフェッショナル向けのパフォーマンスと機能を再定義します。最も高度なモデルを圧倒し、比類のないAI処理能力で最も要求の厳しいクリエイティブワークフローに取り組みます。画期的なNVIDIA Blackwellアーキテクチャに基づいて構築され、96GBの超高速GDDR7メモリを搭載したRTX PRO 6000 Workstation Editionは、比類のない速度、精度、効率を提供し、不可能を可能にする力を与えます。 NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
財布を気にしたくないのでローカルLLM(Gemma3)にコードを書かせてみた - MNTSQ Techブログ
レベル別で紹介！オープンソースで挑戦できる120のプロジェクトアイデア集 - Qiita
ローカルLLM時代到来！Gemma 3の導入・活用ガイド(LMStudio)｜swiftwand.ai
NVIDIA Finally Adds Native Python Support to CUDA
「DeepSeekショック」後、生成AI開発のオープンソース化は進むのか | レバテックラボ（レバテックLAB）
Radeon RX 9070 XT ベンチマーク：RTX 5070 Tiどっちがいいか性能比較レビュー | ちもろぐ
2D画像から3Dモデルを高速生成できるソフトをオープンソースとして公開
ランサムウェア「Akira」の暗号化は16基のRTX 4090を使えば約10時間で解読できる
脱NVIDIA、はじまった？ Metaが自社AIチップに移行
PyTorch internals : ezyang’s blog
【Rust】Yew公式サイトの日本語対応が進むらしい＋チュートリアルを試す
NVIDIAが RTX PRO 6000 Blackwell を発表。 RTX 5090 の供給がさらに制限される？
JangaFX - Insight: Linux Binary Compatibility
覇王に隙なし。NVIDIAが見せた最新戦略の盤石っぷりを解説
RTX5090で、StableDiffusion Automatic1111 を動かしてみた - Qiita