今のAIの急激な進化は、今までの遅れを取り戻しただけで、これからは普通の成長速度になるんでは - きしだのHatena
この2年半くらいで急激にAIが進化して、このままの速度で進化が進むように見えるけど、今までディープニューラルネットや自然言語処理が目立たなかったところに、急に注目されてリソースが投入されて時代が追いついただけな気がする。 H100というハードウェアはChatGPT直前にリリースされていて、どこそこが数万台導入みたいなときにはすでにこなれていた。 GPUを連携させてニューラルネットの学習をさせる技術もだいぶこなれていた。 学習に投入するデータもだいぶあふれていた。 自然言語処理の知見も結構蓄積されてた。 それがチャットができるようになったことで注目されて、H100をフルに使って人材や知見を投入して、学習データを食い尽くしたのが今。 サイズを大きくして性能だしてたのが飽和して、推論時にコンピュータリソースを使う方向になってきてる。 学習データも食い尽くしたので、OpenAIがSNSやるみたいな
Qwen3はローカルLLMの世界を変えたかも - きしだのHatena
Qwen3が出ていて、14Bを中心にいろいろ試したのだけど、かなり使い物になって、日常的な用途ではこれでいいのでは、という感じもします。 4BでもGPT-4oを越えているという話もありますが、確かに単純な用途ではGPT-4oの代わりにしてもいいなと場面も割とありそうな出力です。さすがにちょっと込み入ったものだと4oだけど。 1.7Bなど小さいモデルも既存のモデルより使えるものになっていて、ローカルLLMの世界を変えそう。 解説動画も撮りました。 サイズとしては0.6B, 1.7B, 4B, 8B, 14B, 32Bと、MoEモデルの30B-A3B, 235B-A22Bです。 30B-A3Bが賢いというベンチマークだけど、コーディング用途だと14Bや32Bのほうがいいかも。MacならMLXで30B-A3Bは めちゃ速くていいけど。という感じでどのサイズにも用途があってすごい。 GitHub
【LLMは無料で使え！】OpenRouterのススメ【CLINEにも！】
はじめに 便利なのになんとなく使ってる人少ないなあと思ってたので、記事にしてみました。 いろんなLLMを統合できるというメリットもありますが、普通に高性能モデルを無料で使えるので、それだけでも使い倒す価値はあると思います。 OpenRouterとは OpenRouterでは、市場の主要はLLMモデルにアクセスできる統合APIを提供しており、あらゆるモデルの処理と統一的に書くことができます。（後述します） 統一的にかけるので、LLMプロバイダごとにコードを変える必要がなく、一度作成したコードを以降出現するあらゆるモデルに流用できるのが嬉しいです。 まあ、私的には基本的にLangChainを利用するので、この恩恵はあまり受けていませんが。 もう一つの恩恵は、優秀なAPIモデルや、ローカルLLMのモデルが無料モデルとして提供されていることです。 中には非常に優秀なモデルも無料で使えるので、料金を
サイコロから始めるModel Context Protocol (MCP): 生成AIと外部ツールを繋ぐためのプロトコル
2024/11/26に、AnthropicはModel Context Protocol(MCP)という新たなオープンソースプロジェクトを発表した。 これは、生成AIを活用する上で不可欠な「生成AIと外部のデータやツールを繋ぐ部分」を共通化し、再利用可能にするためのものだ。 概要 MCPは、JSON-RPCに基づいたプロトコルであり、AI本体側がクライアント、外部ツール側がサーバーになる。 2024/12現在、デスクトップ版ClaudeがMCPに対応している。 以下のように、OpenAPI、Slack、Git、BigQuery、Puppeteerなど、様々なサービスやソフトウェアへのバインディングが試験的に開発されている。 特にopenapi-mcp-serverはOpenAPI準拠のWebサービスなら何でも呼び出せるので、高いポテンシャルを感じる。mitmproxy2swaggerのよう
Docker Model Runner登場、Dockerコンテナと同じように任意の大規模言語モデルをDocker Hubから選んで簡単に導入、実行可能に
Docker Desktop 4.40の新機能として、Dockerコンテナと同じように任意の大規模言語モデルをDocker Hubから取得し、ローカル環境にインストール、簡単に実行できる「Docker Model Runner」β版が登場しました。 Docker Model RunnerはNVIDIA GPUとApple SilliconによるGPUアクセラレーションに対応。インストールされた大規模言語モデルは、事実上の標準的なAPIとなっているOpenAI API経由でアクセスできます。 これにより、従来手間のかかるライブラリの導入や環境設定が求められていた大規模言語モデルの導入が手間なく簡単にできるようになり、入れ替えも容易で、すぐに生成AIを活用したアプリケーションの開発に取りかかれるようになります。 OCIアーティファクトで大規模言語モデルをパッケージング Docker Model
言語モデルの物理学 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
言語モデルの物理学 (Physics of Language Models) とは、FAIR (Meta) の Zeyuan Allen-Zhu が提唱した、言語モデルの研究を進めるためのコンセプトです。ざっくり言うと、「あのモデルはこう」とか「そのモデルはこのモデルよりもこう」というような博物学的な知識を深めるのではなく、17世紀にケプラーやニュートンが物理学において行ったような原理に基づいた研究を進め、「言語モデルはなぜこのような振る舞いをするのか」という問いに答えられるようになるべきという考え方です。 言語モデルの物理学の特徴は大きく2つあります。 第一は、ウェブから収集したコーパスを使わず、きっちりコントロールされたデータセットを使って言語モデルを訓練するということ。ウェブは誰も全体像を理解できないほど複雑で、ノイズにまみれています。本物の物理学でも空気抵抗や摩擦があると、「鉄球は
Gemma 3やQwQなどでローカルLLMがそろそろ使い物になってきた - きしだのHatena
GoogleからGemma 3が出たり、AlibabaがQwQを出したりで、27Bや32BでDeepSeek V3の671Bに匹敵すると言っていて、小さいサイズや2bit量子化でも実際結構賢いので、普通の人がもってるPCでもローカルLLMが実用的に使える感じになってきています。 Gemma 3 Gemma 3は単一GPUで動くLLMで最高と言ってます。 https://blog.google/technology/developers/gemma-3/ 1B、4B、12B、27Bがあって、最高なのは27Bだけど、今回はLM Studioで12Bの4bit量子化版を使います。 LM Studioはここ。モデルのダウンロード含め、わかりやすいです。 https://lmstudio.ai/ とりあえず知識確認でJavaのバージョン履歴を。だいたいあってる！ JDK13のリリース年だけ違うけど、
Introduction - Model Context Protocol
MCP is an open protocol that standardizes how applications provide context to LLMs. Think of MCP like a USB-C port for AI applications. Just as USB-C provides a standardized way to connect your devices to various peripherals and accessories, MCP provides a standardized way to connect AI models to different data sources and tools. Why MCP? MCP helps you build agents and complex workflows on top of
LLMの重みの量子化でパフォーマンスが改善する仕組みについて
Abstract 本記事では、重みの量子化でパフォーマンスが改善する仕組みについて、Rooflineという図を使って視覚的に説明する。前半ではパフォーマンスのボトルネックを可視化するRooflineという図の作図法と各領域の意味について説明する。後半ではRooflineを使ってなぜ重みの量子化がシステムのパフォーマンスを改善するのかについて、AWQの論文を例にして説明する。 なお、この記事でいうパフォーマンスとはシステムリソースの利用効率のことをさし、精度などのベンチマーク性能ではないことに注意。 Rooflineとは？ Rooflineとは、計算機システムのボトルネックを視覚的に判断するための図であり、ボトルネックが以下のどちらにあるのかを判断することができる。 memory-bound / bandwidth-bound: データの転送で詰まってて、GPUは暇を持て余している状態。 c
LLMの幻覚を自己検知する「RIG」
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけ文字起こしシステムの改善は日々の課題になっています。 今回は、LLMの幻覚を検知するための仕組みとしてGoogleが紹介する「RIG(Retrieval Interleaved Generation)」について解説します。 ちなみにこのRIGは2024年の9月には公開されていたのですが、最近再びポストされていたので、せっかくのこの機会に紹介できればと思います！ サマリー LLMはその性質上ハルシネーションを完全に避けることが難しいです。このため、LLMの利用には利用者側がある程度正確に情報を判断する必要があります。 しかし、その生成された文章の中に情報の参照元があるだけで、真偽の判断の難易度はぐっと下がります。「RIG」はLLMをファインチューニングする
DeepSeek-R1の技術的詳細
DeepSeek-R1: 世界最高推論性能のOSSモデル こんにちはYosematです。 中華系のAI技術が進化していますね。OpenAIなど研究開発を進めて手法が確立されてきたタイミングで参入することで莫大な試行錯誤のコストを節約しお安いコストで仕上げている印象を受けています。 今日はぶっちぎりの話題性を誇るDeepSeek-R1について解説します。一般の読者が「お気持ちはわかった」状態になることと関連分野をかじってる人が「完全に理解した」状態になることを目指します。 DeepSeek-R1とは DeepSeek-R1は OSSの大規模言語モデル OpenAI o1に並ぶ性能を示す推論モデル 強化学習頼みで進化したモデル です。 APIも公開されていますがOutput Tokenあたりの値段はo1に比べて20倍以上安いです。 利用者目線でのすばらしさや社会に与える影響の考察は他の記事に譲
「DeepSeek-R1-Distill-Qwen-1.5B」をM2 Pro Mac miniで動かしてみた
DeepSeek-R1-Distill-Qwen-1.5Bとは 「DeepSeek-R1-Distill-Qwen-1.5B」の前に、まず「DeepSeek-R1」について簡単に紹介します。DeepSeek-R1は、DeepSeekによって開発されたオープンで高性能な大規模言語モデル(LLM)です。 DeepSeek-R1はパラメータ数が671Bの巨大なモデルですが、モデル圧縮手法の1つである蒸留を用いて小型化されたモデルも公開されています。 蒸留 (Distillation)とは、大規模な「教師モデル」の知識をより軽量な「生徒モデル」に移行することでモデルの圧縮をする手法です。深層学習モデルを軽量化するために使われています。 DeepSeek-R1の蒸留モデルは、既存のモデルであるQwenやLlamaをベースにDeepSeek-R1の推論パターンを学習させているようです。公開されてる6個
人間によるコーディング禁止の CLINE 縛りでゲームを作らせてみた感想
現時点の AI コーディングの実力を測るために、自分はプロンプトのみ、直接コードを書くのは禁止で Roo Code による VS Code によるエディタ操作のみでコードを書かせた。その感想 (急いで書いたのでいろいろと雑です) tl;dr 良し悪しはともかく、人類は確実にAIによる自動操縦型のプログラミング体験に依存するという確信を持った。 ただ、その基盤である CLINE(系)自体のツールとしての完成度はいまいち。 CLINE以外の、各モデルのコーディング性能も、現時点では物足りない。 CLINE とは何か(知らない人向け) いろいろと機能はあるが、コア機能としてはヘッドフルな vscode runner で、AI にコードを書かせるために必要な情報を受け渡しするインターフェースを持っている。ファイルの読み書きや、コマンドを実行結果をプロンプトにしてAIに渡す。puppeteer によ
月500ドルから始まる“AIチームメイト”との開発生活 〜Devinとの理想の開発プロセスを求めて〜
ソフトウェア開発の現場では、AIを活用した開発支援ツールへの注目が年々高まっています。 （たぶん）1年ほど前はCursorを使っているエンジニアも今ほどは少なく、OpenAI DevDayでデモを行なったOpenAIのエンジニアがCursorをエディタとして利用していたことが話題になったのを覚えています。 そして、2024年12月についにリリースされた「Devin」は、AIチームメイトの名の通り、まるでチームの一員として自律的に動く点が特徴とされています。 https://devin.ai/ 弊社も検証のためにDevinをトライアルしていますが、新人エンジニアを育成するように少しずつタスクを与え、フィードバックを繰り返していくうちに、Devinがどんどん機能してくれるようになる――そんな“育成ゲーム”のような手応えを感じています。 本記事では、月500ドルという導入コストを見合う形で活用す
Llamaライセンス契約のオープンソースへの適合性について
Meta Platforms社が開発するAIモデルのシリーズである「Llama」は、高性能で費用対効果が高く、比較的寛容な条件で頒布されていると多くの人々から見做されていることからシステムへの採用や派生モデルの開発等の利用が拡大しているように見受けられる。しかし、Meta社のCEOが自ら「Llamaはオープンソースである」と喧伝することで本当にLlamaがオープンソースであると誤解する傾向もあり、またLlamaライセンス契約自体に幾つかの厄介な問題が潜んでいるにも関わらず採用が進むことで今後法的な問題が生じかねないと考えられる。そこで本稿では、先ずLlamaライセンス契約のオープンソースへの適合性から解説することとする。 なお、Llamaライセンス契約のモデル利用時における注意点に関しては別の記事とする。 AIはtypoする Llamaのオープンソースへの適合性 1. オープンソース性を否
大規模言語モデルの次が来る？Meta発「LCM」とは【概念ベースのAI：Large Concept Model】
特に、特筆すべきポイントは、多言語対応において、LLMの方がまだ精度の高いケースがあると思うが、これは、大量の学習データを使っていることに起因している。 一方で、LCMは、SONARの埋め込み空間を使うことで、多言語対応が可能となっている。 LCMの特徴 概念図を理解できたところで、LCMにおける大きな3つの技術的な特徴を整理してみましょう。 SaT（Segment any Text）による分割 SONARによる多言語・マルチモーダルへの対応 拡散モデル（Diffusion）や量子化モデル（Quantized）などのアプローチによる改善 これらの3つの手法について、詳しく解説していきます。 1. SaT（Segment any Text）による分割 LCMの周辺技術として、「SaT」というテキストや音声など、さまざまな形態の言語情報を適切に分割・扱う手法があります。 SaTとは、Segme
DeepseekV3は何がすごいのか？何故ヤバいと言われているのかを解説
なぜDeepSeek V3は“破壊的”なのか？ 大規模言語モデル（LLM）といえば、OpenAIのGPTシリーズやMetaのLlamaシリーズなど、膨大な学習コストと大手企業の潤沢なリソースが必要というイメージが強いかもしれません。しかし、2024年末にリリースされたDeepSeek V3は、その“常識”を一変させる存在として大きな注目を集めています。 わずか数カ月・約558万ドルという圧倒的低コストで学習完了 GPT-4oに匹敵する性能をうたうオープンソースモデルであり、APIも数分の1～十数分の1と圧倒的価格破壊を起こしている Mixture-of-Experts（MoE）を活用して370B級モデルを安価・高速に動作 こうしたインパクトは「破壊的」と評されるに十分でしょう。これまで「開発コスト」や「リソース」による参入障壁が高かったLLMの世界に、新たな扉を開く可能性を秘めているからで
o1 ProにPICSY+Birdwatchさせる - 西尾泰和の外部脳
以下は上記の2つの論文（「PICSY: Propagational Investment Currency SYstem」と「Birdwatch」）をつなぐ領域の要点とまとめである。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
browser-use やばいです - Qiita
Epsilla - RAG as a Service for Building Vertical LLM Agents