SREチームマネージャーの藤原です。 LM Studio + Gemma 3 + Cline + VSCodeの環境を自由研究的に試用したので、その報告エントリです。 モチベーション プライベートでコードを書く際も最近はClineなどを使ってLLMを使ってコーディングをすることが徐々に増えてきました。 VSCodeとClineを組み合わせて外部サービスをつかってコードの変更作業を実施する場合、 何かコードの変更を依頼するたびに、財布の中身から少しずつお金が溢（こぼ）れていく感覚があるでしょう。 1回1回の額は少額とはいえ、多数回繰り返すとなかなかの金額になってきます。 会社では予算の範囲内であれば、利用できますが、個人開発の場合はなかなか躊躇してしまうこともあるでしょう。 また、先日Googleが公開したオープンなローカルLLMのGemma 3も話題になったりしています。 そこでAPI課金
はじめに 「オープンソースに挑戦したいけど、どんなプロジェクトを作ればいいかわからない…」そんな悩みを持っていませんか？ 本記事では、初心者・中級者・上級者・達人 の4つのレベルに分けて、合計 120個のオープンソースプロジェクトアイデア を紹介します。 それぞれのアイデアの詳細については折りたたんであります。興味がある内容については広げてみて機能要件や実装のポイント、拡張機能、学べることを見てみてください！ 自分のスキルレベルに合ったプロジェクトを見つけて、実際に開発に挑戦してみましょう！ 初心者向けプロジェクトアイデア 1. ToDoリストアプリ 概要 ToDoリストアプリは、ユーザーがタスクを追加・編集・削除し、完了状況を管理できるシンプルなアプリです。 初心者でも取り組みやすく、プログラミングの基礎となる CRUD（Create, Read, Update, Delete） の概念
1. なぜ今ローカルLLMなのか？クラウドLLMにはプライバシーのリスクや通信遅延といった課題近年、AI技術の進化により、クラウドベースの大規模言語モデル（LLM）が広く普及しました。しかし、クラウドLLMにはプライバシーのリスクや通信遅延といった課題がつきまといます。 例えば、企業が機密データを含むドキュメントをAIに解析させる際、データが外部サーバーに送信されることで情報漏洩のリスクが生じます。 また、医療分野では患者情報の扱いが厳しく規制されており、クラウドベースのAI利用には慎重な対応が求められます。 こうした課題を解決するのがローカルLLMです。インターネットを介さずにAIを動作させることで、データを手元で処理し、安全に利用できるメリットがあります。 さらに、通信環境に依存せずにリアルタイムで動作するため、遅延なく快適に使える点も大きな利点です。 こうした背景のもと登場したのが、
ローカル生成AIのためのマシンって、今ならこんな感じ？（CloseBox） | テクノエッジ TechnoEdge
なお、筆者が所有しているのは、 Thirdwave XA7C-R48：80GB RAM、Core i7 13700F CPU搭載。RTX 4090（24GB VRAM）に換装 MacBook Pro：M4 Max 128GB Unified Memory この2つがメインで、このほかにiMac M1（16GB）、Mac mini M4（16GB）、MacBook Air M2（24GB）など。 そして、NVIDIA DGX Sparkを某所経由で予約済みです。 また、512GB M3 Ultra Mac Studio、5090搭載PCは複数の知人が購入しています。128GB M4 Max MacBook Proはもっと多くの知人が使っています。512GB Mac Studioを買い足している人も何人か。 もともと筆者が挙げていた4つのオプションに、リプライで提案された3つを加え、7つの選択
LLMがBlenderで行う3Dモデリング: MeshGen/LLaMA-Mesh を試す - BioErrorLog Tech Blog
LLMが3Dモデル情報を出力するLLaMA-Mesh、そのBlenderアドオンであるMeshGenで遊びます。 番外編では、ChatGPTを使って同じく3Dモデリングさせてみます。 はじめに LLaMA-Meshをざっくり理解する MeshGenで3Dモデリング MeshGenをBlenderにインストールする MeshGenの使い方 机の3Dモデルを生成する 椅子の3Dモデルを生成する 盆栽の3Dモデルを生成する 番外編: ChatGPTで3Dモデリング 机の3Dモデルを生成する 椅子の3Dモデルを生成する 盆栽の3Dモデルを生成する おわりに 参考 はじめに 近年は3Dモデルを出力する生成AIモデルも続々出てきています。 ローカルで簡単に試せるものはないかと探していると、NVIDA Labsが最近発表した"LLaMA-Mesh"というモデルを見つけました。 [2411.09595]
ITジャーナリスト 牧野 武文（まきの たけふみ） 生活とテクノロジー、ビジネスの関係を考えるITジャーナリスト、中国テックウォッチャー。著書に「Googleの正体」（マイコミ新書）、「任天堂ノスタルジー・横井軍平とその時代」（角川新書）など。 大きな話題となった中国AI「DeepSeek（深度求索）」。米国AIの優位性が揺らぎかねないことから「DeepSeekショック」という言葉も使われた。 一方、AI開発の世界では技術は“ガラス張り”になっており、米国AIがDeepSeekの技術を吸収することは難しくない。米国AIの優位性がすぐには影響を受けることはないだろう。 それよりも、注目しなければならないのは、DeepSeekがオープンソースで開発しているということだ。米中ともにAIはオープンソース化必至の状況になり、ここが新たな競争の焦点になっている。本記事では、2024年12月公開の大規模
RTX 50シリーズが直近5年で類を見ない最悪級のローンチをやらかしたおかげで、対抗勢力「Radeon」に対する注目度が最高潮です。 本記事では、RTX 50シリーズに対抗するRadeon RX 9000シリーズ最上位「RX 9070 XT」を詳しく比較ベンチマークします。 【サンプル提供】ASRock Japan ベンチマーク用にASRock Japan（@AsrockJ）さんより、Radeon RX 9070 XTを無償で1台提供してもらいました。比較に出すグラフィックボードや、ベンチマークソフトの指定は一切なかったです。シンプルに性能比較をして欲しい･･･といった趣旨の提供動機です。 やかもち検証用にグラボを送ってくださったASRock Japanさん。ありがとうございます。 （公開：2025/3/31 | 更新：2025/3/31） この記事の目次 Toggle 「Radeon R
GeForce RTX 50シリーズ第4弾「GeForce RTX 5070 Founders Edition」レビュー。前世代からしっかりと性能向上を果たす
期待のミドルハイ級GPUは前世代からしっかりと性能向上 NVIDIA GeForce RTX 5070 Founders Edition Text by 宮崎真一 「Blackwell」アーキテクチャを採用する新世代GPUのGeForce RTX 50シリーズのレビュー第4弾となるのは，ミドルハイ市場向けの「GeForce RTX 5070」（以下，RTX 5070）だ。ナンバーからも分かるとおり，RTX 5070は，「GeForce RTX 5070 Ti」の下位に位置付けられ，従来の「GeForce RTX 4070」（以下，RTX 4070）や「GeForce RTX 4070 SUPER」（以下，RTX 4070 SUPER）を置き換えるGPUである。 GeForce RTX 5070 SUPER Founders Edition メーカー：NVIDIA メーカー想定売価：549ド
CUDA 12.8 における Checkpoint API の概要 - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの鈴ヶ嶺です。普段は AI/ML システムに関する業務に従事しています。 本記事では、CUDA 12.8 から追加された Checkpoint API の概要について解説します。 まず、Checkpoint のユースケースやこれまでの NVIDIA CUDA における Checkpoint の試みなどの背景を説明し、新たに追加された CUDA Checkpointing について解説します。 さらに実際に実装し、torchvision や transformers などの CUDA アプリケーションに対して、Checkpoint の検証をしています。 背景 CUDA Checkpointing 実装と検証 cu_check tool 検証 Pytorch Counter torchvision transformers まとめ 背景 Checkpoint
自分の撮った写真数千枚を使って、リアルタイムに画像を生成してくれるVJツールを作った話 - Butadiene Works
はじめに こんにちは、Butadieneです。 先日、「オーディオとビジュアルのパフォーマンスを楽しむリアルイベント」draw(tokyo); #2にVJとして出演してきました。 function-draw.com #function_draw@lactoice251 (Livecoding + 生演奏) ×@butadiene121 (多分？C++による自作AIジェネVJ) 最高すぎ！ pic.twitter.com/a5I349EBLL— Saina(さいな) (@SainaKey) 2025年3月22日 今回のライブでは、らくとあいすさん（https://x.com/lactoice251）のGLSL Soundに合わせてVJを行いました。 当日の一旦のアーカイブです（そのうちちゃんとしたやつに差し替えます。） youtu.be 映し出されてるコードは、らくとあいすさんのGLSL S
フィックスターズは2025年2月27日、2D画像から3Dモデルを高速で生成するMulti-View Stereo（MVS）ソフトウェア「CUMVS （cuda-multi-view-stereo）」を、Apache License 2.0のオープンソースとして公開した。
2023年に発見され、数十億円規模の身代金要求にも使われた「Akira」と呼ばれるランサムウェアについて、NVIDIAのGPU「RTX 4090」を使えば短時間で暗号化されたファイルを解読できる可能性があると指摘されました。 Decrypting Encrypted files from Akira Ransomware (Linux/ESXI variant 2024) using a bunch of GPUs – Tinyhack.com https://tinyhack.com/2025/03/13/decrypting-encrypted-files-from-akira-ransomware-linux-esxi-variant-2024-using-a-bunch-of-gpus/ ブロガーのTinyhack氏は、Akiraが暗号鍵を生成する際に実行時のタイムスタンプをシード
Sarashina2-Vision: 日本語特化の大規模視覚言語モデルの公開 - SB Intuitions TECH BLOG
概要 SB Intuitionsでは、日本語や日本の文化・慣習に強い大規模視覚言語モデル（Vision-Language Model; VLM）の開発を進めており、2025年3月に弊社の日本語大規模言語モデル（Large Language Model; LLM）のSarashina2をベースに開発したVLMであるSarashina2-Vision (8B・14B)を公開しました。 Sarashina2-Visionは、日本に関連する画像に基づいた専門的タスクの処理能力を測るベンチマークや日本語の複雑図表の理解能力を測る内製ベンチマークなど、複数の日本語ベンチマークにおいて国内最高の性能を実現しています。 この記事ではVLM学習チームがSarashina2-Visionのモデル構成と学習の詳細について紹介します。評価については別記事をご参照ください。 使い方 Sarashina2-Visio
OpenManusでGemma3使ってみた
はじめに 最近、新たに登場した大規模言語モデルの「Gemma3」を試す機会があった。軽量かつローカル環境でも比較的動かしやすいとのことで、実際に動かしてみたいと考えた。一方、以前から気になっていたオープンソースの汎用エージェントシステム「OpenManus」も、ちょうど試す機会を探していたため、同時に試して相性や使い勝手を確かめることにした。 本記事は、これら2つを初めて導入したときの手順や注意点を整理した備忘録である。Gemma3 と OpenManus の基本的な使い方や簡単な連携実行の流れを示す。 実行環境 Windows11 home CPU: Intel(R) Core(TM) i7-14700F RAM: 32GB GPU: NVIDIA GeForce RTX 4070 Ti SUPER CUDA: 12.4 Python 3.12.6 Gemma3の用意 今回は簡易的に「L
2025年2月20日、日本を代表するAIユニコーン企業であるSakana AIが発表した「AI CUDA Engineer」が、CUDA（Compute Unified Device Architecture：NVIDIAのGPUハードウェアの並立計算を制御するための基層レイヤーのソフトウェア）カーネルの自動生成・最適化で驚異的な性能を発揮すると発表しました。CUDAカーネルとは、GPU上で並列実行される関数で、上手に並べることで計算パフォーマンスを大幅に向上させることができます。ここをAIエージェントにやらせよう、という提案です。 【画像】漫画で見る筆者の過去のお仕事 ⇨AI CUDA Engineer：エージェントによるCUDAカーネルの発見、最適化、生成 February 20, 2025 https://sakana.ai/ai-cuda-engineer-jp/ しかし、海外研
脱NVIDIA、はじまった？ Metaが自社AIチップに移行2025.03.21 12:305,219 Thomas Maxwell - Gizmodo US ［原文］ （ satomi ） NVIDIAの売上の半分近くはビッグ4（たぶんGAFAMなど）からの買い付け。 そうそういつまでもバカ高いGPUを外から買ってもいられないということで、AI各社がAIチップ開発に乗り出すなか、Metaが台湾TSMCと共同で開発した自社チップの小規模な導入に成功したとのニュースが入ってきました。 すでにトレーニングは終了済みReutersによると、導入されたのは、AIモデルの開発・トレーニング終了後の段階で、ユーザーに合うコンテンツを推論して用意する作業にすでに利用されているとのこと。2026年までにはトレーニング目的の利用も実現したい考えです。 記事にはこうあります。 AIツールで成長を加速する大博打
This post is a long form essay version of a talk about PyTorch internals, that I gave at the PyTorch NYC meetup on May 14, 2019. This talk is for those of you who have used PyTorch, and thought to yourself, "It would be great if I could contribute to PyTorch," but were scared by PyTorch's behemoth of a C++ codebase. I'm not going to lie: the PyTorch codebase can be a bit overwhelming at times. The
本記事で用いるYewのバージョンは0.21です。 それ以上のバージョンは執筆現在で未リリースです。 YewはRustに於ける「Webアプリケーションフレームワーク」として知られるものです。Webの中でも画面を作ることに特化(？)したもので、かつJavaScriptではなくWebAssemblyを使います。 そんなYewですが、ドキュメントだけでなく公式サイトが存在します。しかしこのサイト、言語として日本語を選ぶことができるにもかかわらず、実際には殆ど対応していませんでした。 日本語トップ画面(2025/03/16現在) https://yew.rs/ja/ 0.21バージョン日本語ドキュメント(2025/03/16現在) https://yew.rs/ja/docs/getting-started/introduction 日本語⋯？ しかし最近になり、現在最新の「0.21バージョン」から
NVIDIAが RTX PRO 6000 Blackwell を発表。 RTX 5090 の供給がさらに制限される？ NVIDIAはGTC/GDC 2025ではここ最近のトレンドでもあるAI向けハードウェアに特化したプレゼンテーションを行いましたが、その中で新製品としてBlackwell UltraラインアップのGB300 GPUを発表しましたが、これに加えてワークステーション向けGPUのBlackwell RTX PROシリーズの発表を行いました。 このBlackwell RTX PROシリーズは主にAIなどのワークロードに対応するため大容量かつECC対応メモリを搭載しており、最上位モデルのRTX PRO 6000の他にRTX PRO 5000/4500/4000の4つのモデルをディスクリートGPU向けとしてラインアップ、またノートPC向けにもBlackwell RTX PROシリーズが
モンハンワイルズも案外快適？ 現時点での最新エントリーGPU「GeForce RTX 5070」の実力をチェック！
GeForce RTX 5070 Founders Editionの概要 先述の通り、GeForce RTX 5070は現状におけるGeForce RTX 50シリーズのエントリーモデルに位置付けられる。SoC（System On a Chip）は「GB205」で、TSMCの4nmプロセスで製造されており、主なスペックは以下の通りだ。 GPUアーキテクチャ：Blackwell CUDAコア：6144基 Tensorコア：第5世代 ピーク処理性能：988 AI TOPS（1秒当たり988兆回の処理が可能） レイトレーシング（RT）コア：第4世代 ピーク処理性能：94 TFLOPS 動作クロック（定格）：2.16GHz～2.51GHz グラフィックスメモリ：12GB（GDDR7／192bit） 最大出力解像度：4K（3840×2160ピクセル）／480Hzまたは8K（7680×4320ピクセル
文字起こしAI Whisperモデルの更なる活用形 ～ 「負の遺産」とならないために | IIJ Engineers Blog
フロントエンド部分はPHP、バックエンドはPythonで構成していますが、これとは別にジョブスケジューリングにはSlurm Workload Managerを活用しています。 SlurmはGPU排他制御で必要になってくるもので、これによりそれぞれ実行された履歴はジョブとして管理することができる点がうれしいポイントです。 内部で動作するモデルはOpenAI/Whisperです。Whisperがリリースされたときは大変な盛り上がりを見せてたなぁというのをいまだ覚えてまして、このモデルに私もかじりついて一生懸命内部構造を調べてたりしたなーと。 今やすっかりクローズなイメージが固定してしまったOpenAIですが、当時はその境目の時代ということもあり、DALL-E2で使われてたCLIPや書き起こしモデルWhisperはオープンモデルとして、かの有名なGPT-3や画像生成モデル本体であるDALL-E2
【LLM】モデルの重みをWebLLM形式に変換する方法
LLMをブラウザで推論させる方法にwebLLMを使う方法がある。webLLMを使うとWASMとWebGPUを使用して量子化モデルをブラウザで動かすことが出来る。 WebLLM は、ハードウェアアクセラレーションを使用して言語モデル推論を Web ブラウザーに直接提供する、高性能なブラウザー内 LLM 推論エンジンです。すべてがサーバーのサポートなしでブラウザー内で実行され、WebGPU で高速化されます。 しかし、web-llmではwebGPU用の変換をする必要があるので、ここではモデルをwebGPU用にMLC-LLMに変換する方法を紹介する。 やったこと 独自でfine-tuning したモデルAtotti/TinySwallow-GRPO-TMethod-experimentalをq4f32_1で量子化したMLC形式のモデルAtotti/TinySwallow-GRPO-TMethod
デビッド・ハ サカナAI共同創業者兼CEOSakana AI（サカナAI、東京・港）は2月20日に発表した、米エヌビディアの画像処理半導体（GPU）向けのコードを自動生成して作業を高速化する「AI CUDA エンジニア」の論文にミスがあったと公表した。AIが賢くなった結果、性能を評価するベンチマークをごまかしながら作業を実行してしまい、実際を上回るスピードを記載していた。ライバル企業の一部リサーチャーから批判の声があがるなか、サカナは論文の訂正作業を進めている。何が起きていたのか。デビッド・ハ最高経営責任者（CEO）に聞いた。（取材・構成は岩沢明信）
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? nVIDIA RTX 5090を入手！ 2025年1月30日に発売されたnVIDIAの最新グラボ、RTX5090は、40万円越えのプライスにもかかわらず、出荷量が極端に少ないせいか、転売ヤーに目をつけられてしまい、定価ではまったく入手できない状態が続いていました。 各ショップは抽選販売を実施していましたが、手あたり次第応募するもすべて落選。それもそのはず、TSUKUMOの抽選販売には15000人以上の応募があったそうで、絶望的な確率だったようです。（おそらく当選は10枚程度） 定期的にショップのWebやAmazonをチェックするも入手で
2025年3月5日23時より、「GeForce RTX 5070」（以下、RTX 5070と略）の販売が解禁される。このGPUはCES 2025の基調講演において「（発表当時）1599ドルだったRTX 4090の性能を549ドルのRTX 5070で」というセンセーショナルな発表で話題を集めたGPUである。 国内予想価格は10万8800円〜と発表されているが、例によってボリュームゾーンはもっと上、12〜13万円程度になるものと筆者は予想している。先日発売したRTX 5070 TiはRTX 5070と近しいスペックのように見えるが、使われているコアはまったく異なる。 RTX 5070 TiはVRAM 16GB・メモリーバス幅256bit・NVEncが2基なのでRTX 5080の近縁だが、RTX 5070はVRAM 12GB・メモリーバス幅192bit・NVEncが1基と、絞れる部分を絞ってコス
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
財布を気にしたくないのでローカルLLM(Gemma3)にコードを書かせてみた - MNTSQ Techブログ
レベル別で紹介！オープンソースで挑戦できる120のプロジェクトアイデア集 - Qiita
ローカルLLM時代到来！Gemma 3の導入・活用ガイド(LMStudio)｜swiftwand.ai
「DeepSeekショック」後、生成AI開発のオープンソース化は進むのか | レバテックラボ（レバテックLAB）
Radeon RX 9070 XT ベンチマーク：RTX 5070 Tiどっちがいいか性能比較レビュー | ちもろぐ
2D画像から3Dモデルを高速生成できるソフトをオープンソースとして公開
ランサムウェア「Akira」の暗号化は16基のRTX 4090を使えば約10時間で解読できる
日本の技術者はSakana AIのことを、よく見たほうがいい。（窓の杜） - Yahoo!ニュース
脱NVIDIA、はじまった？ Metaが自社AIチップに移行
PyTorch internals : ezyang’s blog
【Rust】Yew公式サイトの日本語対応が進むらしい＋チュートリアルを試す
NVIDIAが RTX PRO 6000 Blackwell を発表。 RTX 5090 の供給がさらに制限される？
サカナの論文ミス CEOが語る勇み足とAIのごまかし問題 - 日経デジタルガバナンス
RTX5090で、StableDiffusion Automatic1111 を動かしてみた - Qiita
GeForce RTX 5070、RTX 4090に上下関係を叩き込まれる (1/6)