手持ちのGPU一枚でGemma 3も動かせる魔法の最適化技術「UnslothAI」とは｜しまだ@AI×マーケ/デザイン
「ChatGPTみたいなAIを自分のデータで調整したいけど、GPUが足りない...」 「LLMの学習が遅すぎて実験のイテレーションが回せない...😫」 このような悩みを抱えているAIエンジニアの方は多いのではないでしょうか？今日はそんな悩みを一気に解決してくれる革命的な技術「UnslothAI（アンスロースAI）」について徹底解説します。 従来比で最大2倍以上の高速化と60%以上のメモリ削減を実現するこの技術は、まさに大規模言語モデルの「ターボチャージャー」🚀。Googleの最新モデル「Gemma 3」も手持ちのGPU一枚で調整できるようになる魔法のような技術です。 この記事を読めば、LLMのファインチューニングが劇的に効率化され、より少ないリソースで高品質なカスタムAIを作れるようになります！ 1. UnslothAIとは？基本を押さえようUnslothAIは、大規模言語モデル（LL
Atlassian公式からベータ版MCPがリリースされたのでさわってみた | DevelopersIO
こんにちは。たかやまです。 先日非公式のAtlassian MCP（sooperset/mcp-atlassian）をご紹介しました。 Atlassian公式からMCPのベータ版がリリースされたので、そちらをご紹介します。 ちょうど5月14日にデスクトップ版ツールにも対応していたので今回はこちらをためしてみたいと思います。 さきにまとめ 2025-05-17時点でAtlassian公式のMCPはベータ版 提供されているMCPツール カテゴリ ツール名
CPUが得意なことをCPUにまかせて少ないVRAMでも大きめのLLMを速く動かす - きしだのHatena
Redditに「VRAM足りないとき一部のレイヤーをCPUに任せるんではなく、レイヤー全部をGPUに載せてレイヤー内部のFFNだけCPUに持っていったら速くなった、なんでこれが標準じゃないんだ」というのがあったので、おうちのRTX 4060 Ti 16GBで試してみたら微妙に速くなりました。 https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7/dont_offload_gguf_layers_offload_tensors_200_gen/ Qwen3 30B A3Bで試してみる こういった指定がOllamaやLM Studioではできないので、今回はKoboldCPPというので試してます。 https://github.com/LostRuins/koboldcpp KoboldCPPでは実用が厳しいので、llama.cppで試すほう
vLLMの仕組みをざっくりと理解する | データアナリティクスラボ
はじめに データソリューション事業部の力岡です。 近年、大規模言語モデル（LLM）を利用する機会は増加しており、GPTやClaudeといったクローズドなモデルだけでなく、自身の環境でオープンソースのLLMを活用したいと考える人が徐々に増えてきています。しかし、その場合に課題となるのは、推論速度の遅さや計算資源の制約です。 本記事では、LLMの推論速度を大幅に向上させることができるライブラリ「vLLM」について紹介します。さらに、vLLMの主要技術であるPagedAttentionやバッチ処理手法についても簡単に解説していきたいと思います。推論速度や計算資源に課題を感じている方は、ぜひ本記事を参考にしてください。 vLLMとは vLLMは、LLMの推論を高速化するためのオープンソースライブラリで、Pythonで利用することができます。通常、LLMの推論は多くの計算資源を必要とし、その結果、応
データセット生成・前処理のためのLLM推論クラスタの構築と運用 - Preferred Networks Research & Development
はじめに Preferred Networks (以下PFN) 子会社のPreferred Elements (以下PFE) は、PLaMo 2シリーズの開発を進めており、その成果の一部としてPLaMo 2 1BおよびPLaMo 2 8Bの事前学習済みモデルを先日公開しました。モデルの詳細は以下の記事をご覧ください。 大規模言語モデルの次期バージョン PLaMo 2 の事前検証: SSMの採用と合成データによる性能改善の取り組み 大規模言語モデルの次期バージョン PLaMo 2 8Bによる検証 PLaMo 2の開発は、高品質データセットをどれだけ構築できるかが重要なポイントと考えています。実際、高品質データセットを使用したPLaMo 2 8Bは、8BというサイズでPLaMo-100Bに相当する性能をJMMLUやJHumanEvalで獲得しています。 事前学習チームでは、その源泉となった高品
LLMの学習・推論の効率化・高速化に関する技術調査【技術動向調査】 | DOORS DX
ブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、LLMの学習・推論の高速化・効率化をテーマに3つの論文をご紹介します。 こんにちは、アナリティクスコンサルティングユニット所属の金です。 前回の記事にもあるように、現在ブレインパッドではLLM関連の論文の調査を行っています(LLM論文レビュー会)。 今回は、その中でも、LLMの学習・推論の高速化・効率化のトピックで取り上げた3つの論文についてご紹介します。 【生成AI・LLM解説記事】 生成AI（ジェネレーティブAI）とは？ChatGPTとの違いや仕組み・種類・活用事例 LLM(大規模言語モデル)とは？生成AIとの違いや活用事例・課題
Qwen3 の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Qwen3: Think Deeper, Act Faster 1. Qwen3本日 (2025年4月28日) 、「Qwen3」をリリースしました。「Qwen3-235B-A22B」は、「DeepSeek-R1」「o1」「o3-mini」「Grok-3」「Gemini-2.5-Pro」などの他のトップティアモデルと比較して、コーディング、数学、一般的な機能などのベンチマーク評価で競争力のある結果を達成しています。さらに、小型のMoEである「Qwen3-30B-A3B」は、10倍のアクティブパラメータを持つ「QwQ-32B」を凌駕し、「Qwen3-4B」のような小さなモデルでさえ、「Qwen2.5-72B-Instruct」の性能に匹敵します。 2つのMoEモデルをオープンウェイト化しています。「Qwen3-235B-A22B」は、総パラメ
天才エンジニア・イリヤスフィール氏、突如ローカル環境で動かすとんでもない動画生成AI「FramePack」を投下し界隈が沸騰中
sponsored ファーウェイの最新モデルから見えてくるそれぞれの魅力とは？ スマートバンドとスマートウォッチ、どっちがいい？ どっちを選ぶ？ 最新モデルで考える sponsored MSIの23.6インチモニター「MAG 242C」をレビュー 物価高なのに性能アップで価格を下げるという、ありがたいゲーミングディスプレーを複数買いしたい sponsored CData Arcで基幹システムのデータをkintoneに取り出したら、業務が変わった 残業地獄終了 ERPとkintoneを連携させたら、見積もりも在庫管理も爆速に sponsored 基幹システムとkintoneとの連携、チャレンジしたらDXが見える 触れたら怖いERP なぜ重厚長大になってしまったのか？ サイボウズとCDataが語る sponsored MSI「MAG B860M MORTAR WIFI」レビュー マイクロタワー
言語モデルの物理学 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
言語モデルの物理学 (Physics of Language Models) とは、FAIR (Meta) の Zeyuan Allen-Zhu が提唱した、言語モデルの研究を進めるためのコンセプトです。ざっくり言うと、「あのモデルはこう」とか「そのモデルはこのモデルよりもこう」というような博物学的な知識を深めるのではなく、17世紀にケプラーやニュートンが物理学において行ったような原理に基づいた研究を進め、「言語モデルはなぜこのような振る舞いをするのか」という問いに答えられるようになるべきという考え方です。 言語モデルの物理学の特徴は大きく2つあります。 第一は、ウェブから収集したコーパスを使わず、きっちりコントロールされたデータセットを使って言語モデルを訓練するということ。ウェブは誰も全体像を理解できないほど複雑で、ノイズにまみれています。本物の物理学でも空気抵抗や摩擦があると、「鉄球は
Cursorを使った文章執筆は、AIファーストな環境整備から始まる - 本しゃぶり
なぜCursorを使うと執筆が捗るのか？ それはAIファーストな環境では、自律的に情報を探索してくれるからだ。 執筆のパラダイムシフトは既に始まっている。 文章執筆でAIエディタを活用するには 最近、CursorなどのAIエディタによる文章執筆が注目を集めているが、「実際にどう使えば執筆が捗るのか」というイメージが湧かない人も多いだろう。いくら便利だと言われても、具体的な活用法が見えなければ結局は普通のエディタとの違いが分からない。ではどうしたら執筆に活用できるのか。 俺自身はこの2年間、AIを文章執筆に活かす方法を模索してきた。そしてようやく3つの要素が揃ったことで執筆環境が一変したと確信した。 EvernoteからObsidianに移行し、すべての情報をMarkdown形式で一元管理 音声入力でアイデアを一気に吐き出し、AIに修正・整理させる手法 Cursorの登場により、Markdo
Claude 3.7 Sonnetで作ったPower Apps 開発補助ツールでグローバルに反響がきた話 - Qiita
はじめに Claude 3.7 Sonnet。本当に凄まじいですね。 Anthropic社が2025年2月25日に発表されてから、かなり使いまくっています。 Claude 3.5 Sonnetでも凄まじすぎると感じていましたが、「ハイブリッド推論モデル」と称される史上初の仕組みを備え、高度なレスポンスを提供してくださります。 AI関連に課金しすぎている反省もあり、Claudeのサブスクリプションを解約したばかりでしたが、「Limited time offer: Switch to Claude Pro annual plan and save 25% 」という2/27の急なDMから課金を余儀なくされました・・・。月額20$で凄まじい知性が使えるのであれば良しとするか・・・と一旦考えています。 さてインターネットにありふれているClaude 3.7 Sonnetの紹介は、GPTのDeep R
MCPサーバーが切り拓く！自社サービス運用の新次元 - エムスリーテックブログ
こんにちは、エムスリーエンジニアリンググループ、コンシューマチームの園田です。本記事では、外部サービスとAIエージェントの連携を可能にするMCPプロトコルについて、技術検証の実装例を交えてお話しします。 1. MCPとは（ざっくり） MCP（Model Context Protocol）とは、Anthropic社によって策定されたAIエージェントが外部サービスから情報を参照したり連携することを目的としたプロトコルです。 「MCPサーバー」は、GitHubやPostgreSQLといったリソースをMCPで喋れるように変換してあげるプロキシのようなサーバーです。 Claude DesktopやCursorなどはMCPクライアントの機能があり、GitHubなどのMCPサーバーを利用してナレッジとして利用したり、プルリクエストの作成なども行えます。 Introduction - Model Cont
MCPでLLMに行動させる - Terraformを例とした tfmcp の紹介 - じゃあ、おうちで学べる
はじめに こんにちは！今回は、私が最近開発した tfmcp というツールを紹介します。これは Terraform を LLM（大規模言語モデル）から操作できるようにするツールで、Model Context Protocol (MCP) を活用しています。 github.com このブログが良ければ読者になったり、GitHub リポジトリにStarをいただけると開発の励みになります。nwiizoをフォロワーしてくれるのもありがたいです。より良いツール開発のためのフィードバックもお待ちしています！ MCP とは何か？ 記事を始める前に、まず MCP (Model Context Protocol) について簡単に説明しましょう。MCP についてより詳しい情報は、公式ドキュメント modelcontextprotocol.io や Anthropic の Model Context Protoc
１０億円かけた虐待判定ＡＩ、こども家庭庁が導入見送り…ミス６割で「実用化困難」
【読売新聞】 虐待が疑われる子どもの一時保護を巡り、人工知能（ＡＩ）にその必要性を判定させるシステムについて、こども家庭庁が導入見送りを決めたことがわかった。国が２０２１年度から約１０億円をかけて開発を進め、最終的な判断を下す児童相
32Bなのに「DeepSeek R1」フルモデルと同性能？ アリババがAIモデル「QwQ-32B」公開
Alibabaは公式Webサイトで、DeepSeek R1-6710やo1-miniなどとの性能比較表を公開。QwQ-32Bは、数学やコーディング、一般問題の解決能力で他社の主要AIモデルよりも同等かそれ以上の性能を発揮したとしている。 今回のAIモデルの開発においてAlibabaは、強化学習（最適な結果を得るためにAIを訓練させる手法）のスケーリングに注目した。初めに数学とコーディングタスクに特化した強化学習を実施した後さらに、一般問題の解決能力を上げるべく、もう1つ強化学習のフェーズを追加した。これにより、数学とコーディング能力を大幅に下げることなく、一般問題の解決能力を上げることができたという。 このことからAlibabaは「より強力な基礎モデルとスケーリングした計算リソースによる強化学習を組み合わせることで、汎用人工知能（AGI）の実現に近づけると確信している」と説明。今後は推論時
OpenHands の ソースコード解析｜Fertile Web@1カ月でSaaS構築
OpenHands は Devin と同様のオープンソースの自動開発エージェントです。 前回は良い記事を書けなかったので、今回はリベンジでソースコードを見てみます。 OpenHandsの重要なエージェントの部分は /openhands/agenthub です。/openhands/controller/agent などを継承しています。各機能を見ていきましょう。 browsing_agent - BrowserGymフレームワークを使用した完全なウェブブラウジング機能を提供 - AIエージェントがウェブページを閲覧・操作できる機能を実装 codeact_agent - LLMを利用したミニマリストなエージェントシステムです - CodeAct論文のアイデアを実装したものです delegator_agentこのエージェントは、タスクを他のエージェントに委任する役割を持つ制御エージェントで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
転職したらMCPサーバーだった件
生成AIの開発促進に懸賞金 経産省 - Yahoo!ニュース
LLM とのセックスに全部賭けろ - 能無いモノローグ
エンジニアに許された特別な時間の終わり
