財布を気にしたくないのでローカルLLM(Gemma3)にコードを書かせてみた - MNTSQ Techブログ
SREチームマネージャーの藤原です。 LM Studio + Gemma 3 + Cline + VSCodeの環境を自由研究的に試用したので、その報告エントリです。 モチベーション プライベートでコードを書く際も最近はClineなどを使ってLLMを使ってコーディングをすることが徐々に増えてきました。 VSCodeとClineを組み合わせて外部サービスをつかってコードの変更作業を実施する場合、 何かコードの変更を依頼するたびに、財布の中身から少しずつお金が溢（こぼ）れていく感覚があるでしょう。 1回1回の額は少額とはいえ、多数回繰り返すとなかなかの金額になってきます。 会社では予算の範囲内であれば、利用できますが、個人開発の場合はなかなか躊躇してしまうこともあるでしょう。 また、先日Googleが公開したオープンなローカルLLMのGemma 3も話題になったりしています。 そこでAPI課金
言語モデルの物理学 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
言語モデルの物理学 (Physics of Language Models) とは、FAIR (Meta) の Zeyuan Allen-Zhu が提唱した、言語モデルの研究を進めるためのコンセプトです。ざっくり言うと、「あのモデルはこう」とか「そのモデルはこのモデルよりもこう」というような博物学的な知識を深めるのではなく、17世紀にケプラーやニュートンが物理学において行ったような原理に基づいた研究を進め、「言語モデルはなぜこのような振る舞いをするのか」という問いに答えられるようになるべきという考え方です。 言語モデルの物理学の特徴は大きく2つあります。 第一は、ウェブから収集したコーパスを使わず、きっちりコントロールされたデータセットを使って言語モデルを訓練するということ。ウェブは誰も全体像を理解できないほど複雑で、ノイズにまみれています。本物の物理学でも空気抵抗や摩擦があると、「鉄球は
生成AIでなんかやれと言われる皆さんへ（DeepSeekとばっちり編）
コンバンハ、オイソギデスカ 今日も上司の思いつきで無茶振りされる皆さんお疲れ様です。 DeepSeekみたいな話題が日経新聞に載るたびに新規事業になるんじゃ無いかとかプロトタイプをもってこいみたいなこと言われると災難ですよね。 何がどうなってて、何はできないんですよみたいなのまとめておいたから、俺の屍を越えてゆけ。 まず前提からな 確実なこと DeepSeekが、生成AIモデルをMITライセンスで出した。 巨大なサイズの生成AIモデルを出した。（普通のデスクトップPCでは動かないようなもの） 他がすでに出してた小さいモデルを改良したものを出した。（蒸留したもの、GPU積んでるデスクトップPCなら動くようなもの） 作り方、改良の仕方の論文を出した。ほぼ確実なこと中国が輸入できる制限されたGPU群で生成AIモデルを作った。 生成AIモデルを改良する際に、強化学習のみを用いて改善を行った。 他が
2025年さらに熱くなるであろうローカルLLMのためのm4mac購入検討
俺が好きなmacでローカルLLMを触れるってことと、来年さらにローカルLLMが熱くなる(はず)ということでm4チップが発売されたことを契機に購入を検討した。 ＃現状、m1 mac book air 16GB所持で、小さめのモデルでも手元で動かすにはちょっと心もとない。 この記事は検討の過程を共有して、誰かの参考になればと思って公開する。 結論 色々悩んだが、整理してみると俺はm4 mac book airのメモリ24GBを待つことにした。(年末セールのm3 mac book airもちょっと候補。) mac book proも悩んだが、持ち運びが多いので重さ、バカ高いPCを持ち運ぶの怖いという観点で諦めた。 一旦mac book airのみで推論ベースで遊んでみて、自分でもモデルを学習してみたいとかでてきたときにm4 mac miniのm4pro-48GBを追加導入しようかなと思う。 ロー
MacでローカルLLMを使う：OllamaとVSCode設定
ローカルLLMの準備と使用 Ollamaのライブラリから好みのモデルを選びます。 ここではgemma2:9bモデルを例に説明します。 モデルのダウンロードと起動： 対話を終了するには、Ctrl + dか/byeコマンドを入力。 よく使うコマンド モデル一覧表示：ollama list モデルのダウンロードと起動：ollama run モデル名 モデルのダウンロードのみ：ollama pull モデル名 モデルの削除：ollama rm モデル名 VSCodeの準備 まだVSCodeを持っていない場合は、公式サイトからダウンロード。 VSCode拡張機能「Continue」の追加 VSCodeを開き、拡張機能タブへ。 「Continue」を検索。 Continue拡張機能をインストール。 VSCodeとOllamaの連携 VSCodeで「Select model」を選択。 「Add Mode
LLMプロダクト開発とはどういうものなのか？｜erukiti
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由という記事を書きました。 mutaguchiさんのツイートを見て、LLMプロダクトの開発とはどういうものなのかを知らない人も多いのかなと気づいたので、そこらへんを記事として書いてみます。 https://t.co/4WvjuuoGnC 「LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由」の記事のはてブコメント見てたんだけど、ほとんど理解されてなかったのが興味深い。 ・プロプライエタリなLLMでは、ランニングコストが嵩み、これを利用したサービスは成立しづらい… — mutaguchi (@mutaguchi) April 24, 2024 商用LLM APIとローカルLLMって使い方が全然違う気がしてる。 商用LLM APIって、機微情報を送らないこと、規約違反テキストを送らないこ
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし
32GB RAM の Mac でローカル LLM をいい感じに動かす (日本語 LLM もあり) | Peddals Blog
本気のローカル LLM 界隈では 32GB 程度の RAM (ユニファイドメモリ) はジョークです。全てを GPU に割り当てられないので、本当に大規模 (70B 以上) な LLM には 32GB では足りません。ボクは M2 Max 32GB RAM の Mac Studio を買ってから知りました。悔しいです。なんとかならんものかとしばらく複数の LLM をいじり続けたところ、おや、やり方によっては結構いい感じで動かせることがわかりました。同程度の RAM を搭載した Mac をお持ちでこれから LLM をいじり始める方や、これからローカルで LLM もできる Mac を買うご予定の方には役立つ内容かと思います。LLM 自体の深いところ、量子化やパラメータなどの詳細にはあまり触れていないので、あしからず。 ローカル LLM とは ネットで「ローカル llm とは」と調べれば山ほど情報
NVIDIA製のAIスパコンはミニPCサイズ - シンギュラリティ実験ノート
NVIDIAからミニPCサイズのAIスパコンの製品発表があった。製品名はGB10である。 発表内容 GIGAZINEの記事が分かりやすいので、こちらから製品仕様を引用した。 製品仕様 CPU：Armアーキテクチャ、CPUコア数20個 GPU：Blackwellアーキテクチャ、FP4で1PFLOPS メモリ：128GB 省電力DDR5X ストレージ：4TB SSD OS：Linuxベース NVIDIA DGX OS 仕様の詳細は不明だが、DDR5Xメモリの採用はM4 Macと同じなのでメモリ帯域幅はM4 Macと同程度か。GPU演算性能は１PFLOPS（FP4）で、FP32での性能はFP4の1/8の性能とすると、125TFLOPS（FP32)となり、M4 Maxの10.6TFLOPSよりもかなり高性能で、Geforce RTX4090の82.5TFLOPSと比べても同程度かそれ以上となる。
新Mac miniでLLMを動かした場合の性能 - シンギュラリティ実験ノート
新しいMac miniが予約開始となった。ミニPC好きの私としてはこの新Mac miniでLLMを動かした場合の性能に興味がある。新Mac miniのM4 Proで８Bクラスおよび７０BクラスのLLMを動かした場合の性能を見積もり、我が1000ドルPCと比較してみたい。 Mac mini M4 Pro の価格見積 見積もりの対象としたMac miniのスペックは以下の通り。 プロセッサ M4 Pro（１４コアCPU、２０コアGPU） メモリ 64GB ユニファイドメモリ ストレージ １TB SSD Appleの予約サイトで見積もった結果がこちら。368,800円（税込み）となった。 高い！！というのが第一印象だと思う。しかし最先端のPCの価格は昔はこんなものだった。今から40年前に発表された初代マッキントッシュ（Macintosh 128K）は698,000円だ。 MacはLLMを動か
LocalAI徹底解説！OpenAI互換のオープンソースAIをローカル環境で活用する方法 | WEEL
LocalAIはオープンソースでの無料AIツールです。LocalAIでできることは多岐にわたっており、特にOpenAI互換であり、ローカルで実行可能なのが特徴。 LocalAI自体はLLMではなく、そのほかのLLMをローカル環境で動作させるためのプラットフォームです。LocalAI自体がOpenAIの代替と謳っていますが、実際のところはどうなのでしょうか？ 本記事では、LocalAIの概要やLocalAIでできること、実際の使い方について詳しく解説します。ぜひ最後までお読みください。 LocalAIの概要 LocalAIはオープンソースの無料AIプラットフォームです。ユーザーは好きなLLMを選択して、ローカル環境またはオンプレミスで利用することができます。 また、利用する際にはGPUは必要ありません。オプションでGPUありを選択することも可能。オプションでGPUを選択できるモデルは限られて
生成AIをPCにインストールする方法。自分好みのAIがローカルで動く | ライフハッカー・ジャパン
生成AIは無料でインストールすることも可能生成AIを利用するには、AIを実行するプログラム、そしてレスポンスを生成するための大規模言語モデル（LLM）が必要になります。 LLMはAIテキストジェネレーターを支えています。GPT-4はChatGPTを駆動する最新のもので、Googleは現在、Google Bardの裏で動作する新しく改良されたLLMとしてGeminiをリリースしています。 LLMを完全に理解するには、一定レベルの科学的・数学的知識が必要ですが、基本的な説明をすると、LLMは膨大な量のサンプルデータで訓練され、単語と文の関係（つまり、どの単語が一般的に後に続くか）を認識することを学習します。 ローカルにインストールできるAIモデルがいくつかありますScreenshot: Lifehacker US簡単に言うと、LLMは自動修正エンジンのようなものです。 LLMは何かを本当には「
Cline＋Amazon Bedrock(Claude)で”国内要件”でもAIエージェントを諦めない - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? NTTテクノクロス株式会社の渡邉洋平です。 今回はClineとClaudeの連携をAnazon Bedrockで試していきます。Clineの記事はいくつかありますが、今回はAWSユーザをスコープにした記事です。 Cline？ Meet Cline, an AI assistant that can use your CLI aNd Editor. Clineは開発者用のAIアシスタントツール。VSCodeなどにプラグインとして導入することで、コーディングの強力な相棒になってくれる。Cursor無し、特別なライセンス無しでもVSCodeで
ローカルLLMを利用したAIコードアシスタントのすすめ - テコテック開発者ブログ
本投稿は TECOTEC Advent Calendar 2024 の20日目の記事です。 次世代デジタル基盤開発事業部の椎葉です。最近はエンジニアとしてGoやNext.jsを使用したWebアプリケーションの設計開発に関わっています。 さて、昨今は業務でも生成AIサービスの活用が当たり前になってきました。直近のプロジェクトも生成AIの利用が好まれる土壌で、コーディングやコードレビュー、テストケースや資料作成など様々な工程に生成AIサービスを利用しています。 ですが一方で、ChatGPTを始めとした外部Webサービスは、コンプライアンスなどの観点から利用が難しい場合もあります。 例として、ChatGPTやClaudeは会話内容などを必要に応じて取得・利用する規約となっており、 業務で利用する場合は機密情報やセキュリティリスクとなる内容を送信しないよう注意が必要です。 https://open
Cline＋ローカル版DeepSeek R1でAIコーディングを使い放題にする（高スペックマシン向け）｜しぴちゃん
しぴぴぴ！ Vtuberのしぴちゃん (https://www.youtube.com/@CP-chan) です。 配信ではゲームの話しかしてませんが、今回はAIに関する連載ということでローカル環境（手元のマシン）で動かせるAIの話をしていきます。 第一弾 DeepSeek R1をほぼ準備なしからローカルGPUで動かす 第二弾 本記事 Cline＋ローカル版DeepSeek R1でAIコーディングを使い放題にする（高スペックマシン向け） 第三弾 GPUなしでも動く！ローカルLLMとllama.vscodeでコード補完 今回は連載の第二弾です。 LLMをローカルにインストールする大きなメリットとして、API制限や従量課金から解放されてLLMが「使い放題」になるという点があります。 DeepSeekは一世代前のV3ならWebで使ってもそんなに高くないのですが (https://api-docs
MacローカルでCline＋ローカルDeepSeek-R1を動かす（Ollama＋WebUI） 🚀
概要 ✨ この記事では、Macローカル環境で以下を実現する方法を解説します： 💻 Cline を使ったローカル開発環境の構築 🤖 Ollama＋DeepSeek-R1モデル を活用したAI運用 🌐 WebUI を Docker 経由で簡単にセットアップ M1やM4のMacで安全かつ効率的にAIを活用するための具体的な手順を網羅しました！設定が完了すれば、ローカル環境だけで高機能なAIを安全に楽しめます 🎉 ぜひ、このガイドを参考に自分だけのAI運用環境を構築してみてください 🚀 環境 🛠️ OS: macOS Sequoia 15.2 マシン: MacStudio M1 Max / RAM 32GB MacMini M4 Pro / RAM 64GB ollamaモデル:deepseek-r1:14b (このマシンで32bはキツイ😓) Ollama＋WebUIの準備 🧩 1
思いつきで作ったAIツールが5000スターを獲得した話
とにかくケチりたい、そんな気持ちで作ったツールの話です。 元々開発にCline(Claude Dev)やAiderなどの開発ツールを駆使していました。 ただ、APIの料金が常に心配で、できる限り安く済ませたい気持ちもあり、Claude Proを契約してWeb版にファイルを1つ1つアップロードする日々を過ごしていました。 ある日それが面倒になってきて「全部1ファイルにしたらいい感じに読み込んでくれるのでは？」と思い、作ってみたら思いのほかうまくいったので公開しました。 百聞は一見にしかずということで、 こちらのデモにお気に入りのGitHubリポジトリ(例: honojs/hono)を入力してみてください。 Claudeが得意とするXMLっぽいフォーマットで出力し、そのままClaudeにアップロードすることができます。 完全にAIバブルの波に乗ったとも言えるのですが、多くの競合がいる中でスター
GPT-4o(Claude)に危険物取扱者試験(甲種試験)を解かせてみる-その9: 様々なモデルの性能比較と感想｜Kan Hatakeyama
はじめに大規模言語モデルに危険物取扱者試験(甲種試験)を解かせて合格させるという試みを行ってきました｡ 前回までの検討で､Claude-3.5-sonnetを使いつつ､試験対策本の類題でRAGを行えば､この資格試験の過去問でほぼ満点を取れることが分かりました｡ 本記事では､Claude-3.5-sonnet以外のモデルで同じ検証を行い､各モデルの地頭と読解力を検証します｡ また､今後のモデル開発について思ったことについても､感想文を書きました(記事の最後)｡ 検証条件データ試験問題: 資格の公式サイトで配布されている過去問 RAGデータ: 試験対策本から抜き出した約600問の問題・回答・解説 解きたい問題にembedding vectorで近い10問を参照させる 典型的なプロンプト completion = client.chat.completions.create( model=mod
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIで激変するヒューマノイドロボット 高まる期待と現実の課題
https://www.soumu.go.jp/main_content/000899843.pdf