バクラク事業CTO 中川佳希です。バクラク事業部 Platform Engineering 部では定期的な発信を行っています。前回は、Microsoft Entra ID PIM for Groupsの運用と工夫 by itkq でした。（とても便利です！） この記事では、Model Context Protocol（MCP）について触れていきます。※ 2025年2月時点での情報です。 Model Context Protocol 2024年11月に、Anthropicが発表したクライアント-サーバー間通信のプロトコルです。 仕様策定やエコシステムにはオープンコミュニティから誰でも参加可能で、各言語の実装SDKもオープンソースで開発されています。AnthoropicではMCP開発チームのジョブも公開されており、コミュニティとともに開発へのコミットメントをしていくことがうかがえます。 Why

前提 この記事では、「Symbolic Knowledge Distillation: from General Language Models to Commonsense Models」という論文で提案されている 記号知識蒸留 を、ローカルLLMで日本語で実験する。 詳細 知識蒸留 (Knowledge Distillation) とは、大きなモデル (教師) から小さなモデル (生徒) に知識を転送する手法である 具体的には、LLMの蒸留と言えば、大きなモデルが出力する確率分布（ソフトターゲット）を利用して、小さいモデルを学習させる手法が用いられていた しかし、本論文では、「象徴的」な知識蒸留として、単に数値的な蒸留ではなく、 テキスト (symbolic knowledge) の形で知識を抽出し転送すること を提案している 必要な知識と開発環境 ollamaとPythonとLang

これがすごく簡単なので、蒸留をお手軽に試したいという人にうってつけだと思う。何よりすごいのは、彼らが実装した動的量子化のおかげで、4ビットLoRA(QLoRA)の性能劣化が抑えられ、無料アカウントでも7Bモデルくらいなら学習できてしまうということ。 学習そのものも数分から数十分で終わってしまうので、これまでにあったような「蒸留/ファインチューニングは凄く大変」というイメージでもない。目から鱗という感じ。 いろいろなLLMを簡単に高速化できるので試してみるのも面白いかもしれない。 https://unsloth.ai/ Unslothが自分で用意した量子化モデルの一覧はこちら 自分でもPhi-4の蒸留を試してみたが、少しハマりどころがある。 まず、xformerのバージョンやら何やらを揃えないといけない。 Pythonは3.10で、CUDA12.1でやった。GPUはA100 80GBx1を使

フランスのAIスタートアップであるMistral AIが、レイテンシを重視したAIモデル「Mistral Small 3」をオープンソースライセンスでリリースしました。今回リリースされたMistral Small 3をベースに強化学習などを使用してさらに強力なモデルが作成できる可能性があるとのことです。 Mistral Small 3 | Mistral AI | Frontier AI in your hands https://mistral.ai/news/mistral-small-3/ 以下は縦軸をパフォーマンス、横軸をレイテンシとして「Mistral Small 3」「GPT-4o Mini」「Gemma-2 27B」「Qwen-2.5 32B」を並べた図。Mistral Small 3は図の左上にあり、素早く質の高い回答を生成できることが分かります。Mistral Small

こんにちは、自動車・製造ソリューションアーキテクトの呉です。 昨今 RAG (Retrieval Augmented Generation, 検索拡張生成) が流行っています。RAG はここ数年の技術で流行り廃りが早く、RAG のテクニックはすぐ古新聞になってしまいますが、変わらないものも見えてきました。また、RAG においては「RAG システム出来た ! みんな使ってくれ !! 」から、思ったほど業務で利用できるレベルの回答を得られる確率が低く、「使い物にならん !! 誰が使うか !!」みたいな悲劇と失望も巷ではちらほら伺います。本稿では、その変わらないだろう部分にフォーカスし、どうすれば RAG プロジェクトを成功させられるか、あるいは素早く失敗してダメージ軽減をするかについて、体験談に基づいて紹介していきます。 ちなみに連載ものの予定で、次回は検索基盤としての AWS で扱える ベク

本記事では、RAGの性能を高めるための「Agentic RAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、「AIエージェント」をRAGに取り入れた手法である「Agentic RAG」のサーベイ論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー Agentic RAG は、RAGの新しい手法です。この論文では、「RAGにAIエージェントを使っている」とはどういう状態なのか、どんなパターンがあるのかまとめられています。クリーブランド・ステート大学の研究者らによって、2025年1月に発表された論文です。 最近、「AIエージェント」が注目されてい

はじめに 最近、Large Language Models (LLM, 大規模言語モデル)を活用する機会が増えてきたことをきっかけに、LangChain の機能を試してみました。 フロントエンドエンジニアとして働く私のような初心者でも LangChain を試すことができるよう、基本的な内容をまとめ、簡単なサンプルコードをご紹介させていただきます。 これから LangChain の学習を始める方の参考になれば幸いです。 対象読者 LangChain に興味があるものの、始め方がわからない方 LLM を活用したアプリケーション開発に興味がある方 Python でのプログラミング経験をお持ちの方 Streamlit での開発を検討されている方 事前準備 本記事では Visual Studio Code を開発環境として使用しています。 内容は「基本編」と「実践編」の2部構成になっています。 基

使う生成AIから創る生成AIヘ　ローカルPCやオンプレミスで生成AI環境を構築してみよう：クラウドサービスだけじゃない！　ローカルPCやサーバ、Kubernetesで生成AI（1） 2022年以降、生成AIはブームを超えた存在になりつつあるといっても過言ではありません。気軽に試せるラップトップ環境で、チャットbotを提供するオールインワンの生成AI環境構築から始め、Kubernetesを活用した本格的なGPUクラスタの構築やモデルのファインチューニングまで解説する本連載。初回は、ローカル環境でカンタンに生成AIモデルを実行する方法や、生成AIを学んでいく上で押さえておきたいアーキテクチャを丁寧に解説します。

🌟 1. はじめに 🚀 1.1 背景 近年、人工知能（AI）の進化は目覚ましく、特に自然言語処理（NLP）分野では大規模言語モデル（LLM）の革新が進んでいます。OpenAI はこの分野のリーダーとして、さまざまな用途に対応する推論モデルを開発してきました。中でも o3 シリーズ、o1 シリーズ、GPT-4o は、それぞれ異なる特徴と用途を持つモデルとして注目されています。 🔬 o3 シリーズ 特徴: STEM（科学、技術、工学、数学）分野の推論能力を強化 ラインナップ: 軽量な「o3-mini」と高精度モードの「o3-mini-high」 用途: 数学やプログラミングなど、教育機関や中小規模プロジェクト向け 🔧 o1 シリーズ 特徴: STEM に限らず幅広いタスクに対応可能な汎用モデル ラインナップ: 軽量版「o1-mini」、標準版「o1」、最上位モデル「o1-pro」 用途

DeepSeek についての情報が錯綜しているため、目についたトピックスをまとめました。 ※ 個々の内容には深入りしませんが、可能な限り情報ソースを示しますので、詳細はそちらをご確認ください。 DeepSeekDeepSeek が何かという情報は大量にあるため、本記事では省略します。ほぼ同時期に公開された記事を紹介します。

※2025/2/1時点でAPIのキーの発行を一時的に停止してます はじめに DeepSeek APIは、最先端の自然言語処理（NLP）技術を提供する強力なツールです。このAPIを使用することで、テキスト生成、要約、感情分析、質問応答など、さまざまなNLPタスクを簡単に実行できます。本記事では、Pythonを使用してDeepSeek APIを活用する方法を、初心者から上級者まで幅広く解説します。各章では具体的な使用例とコードを提供し、実践的なスキルを身につけられるよう構成しています。 第1章：DeepSeek APIの概要と設定 DeepSeek APIは、高度な言語モデルを簡単に利用できるようにするサービスです。まずは、APIの基本的な設定方法から始めましょう。 DeepSeek公式ウェブサイトでアカウントを作成します。 APIキーを取得します。 Pythonの環境を準備し、必要なライブラ

これらのモデルは、元のモデルに比べるとかなり小型化されています。 蒸留（ディスティレーション）を通じてモデルを“圧縮”することで、推論の速度を向上させ、一般的なPCやiPhone等のスマートフォンでも動作可能なレベルに調整されています。 驚異のパフォーマンス：小型でも特定タスクでGPT-4oを超える？ DeepSeekのテクニカルペーパーによると、Distilled Modelsのベンチマークテストでは、 「8Bパラメータのモデルでさえ、特定のタスクにおいてGPT-4o（昨年5月時点のバージョン）を上回る」 という結果が出ています。 ただし、これは数学やコード生成といった特定のタスクに特化したトレーニングを行った場合の話です。 総合的な文章生成や知識カバー率では、依然としてGPT-4oやClaude、o1などのフロンティアモデルのほうが優れています。 つまり、 「タスクによってはローカルモ

https://www.deepseek.com/より引用 近時急激に話題が盛り上がっているDeepSeekですが、利用するに際しての法的な注意点について現時点でわかっている範囲で簡単にまとめてみました。 この記事のスコープ 本記事は「DeepSeek利用上の法的な注意点」というざっくりとしたタイトルですが、この記事で検討しているのは「日本のユーザがDeepSeekを利用することが、当該ユーザにとってなんらかの法令に違反する可能性があるか」という点です。 たとえば「ユーザがDeepSeekに入力した情報をDeepSeekが利用することが、DeepSeekにとって法令違反になるか」という問題は対象としていません。 また、「DeepSeekのオープンウェイトをダウンロードして社内で利用する場合、バックドアにより社内情報が漏えいする可能性があるか」などのセキュリティ上の注意点も対象としていません

DeepSeek-R1: 世界最高推論性能のOSSモデル こんにちはYosematです。 中華系のAI技術が進化していますね。OpenAIなど研究開発を進めて手法が確立されてきたタイミングで参入することで莫大な試行錯誤のコストを節約しお安いコストで仕上げている印象を受けています。 今日はぶっちぎりの話題性を誇るDeepSeek-R1について解説します。一般の読者が「お気持ちはわかった」状態になることと関連分野をかじってる人が「完全に理解した」状態になることを目指します。 DeepSeek-R1とは DeepSeek-R1は OSSの大規模言語モデル OpenAI o1に並ぶ性能を示す推論モデル 強化学習頼みで進化したモデル です。 APIも公開されていますがOutput Tokenあたりの値段はo1に比べて20倍以上安いです。 利用者目線でのすばらしさや社会に与える影響の考察は他の記事に譲

ブックマークしました ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください Twitterで共有

安野貴博 @ 新刊『1％の革命』が2/6発売予定です！ @takahiroanno ソフトウェアエンジニア。起業家。SF作家。34歳・妻と二人暮らし。 開成→東大工学部/松尾研→外資コンサルBCG→スタートアップを2社起業→SF作家/著サーキット・スイッチャー他　安野たかひろ事務所公式X→@annotakahiro24 （連絡はtakahiroanno2024あっとgmailまで） takahiroanno.com 安野貴博 @ 新刊『1％の革命』が2/6発売予定です！ @takahiroanno 【DeepSeekの利用は危険か】 LV.1 あんまり詳しくない人向けの答え: 利用規約的に入力したデータが裏でどう使われるかわからないので入力内容には注意してね。ぶっちゃけ精度はChat GPTのo1とそんな変わらないからそっち使った方が無難だと思うよ。出力にも政治的なバイアスがあると言われて

Not蒸留物、本物のDeepSeek-R1(671B)を1.58bit量子化したモデルを動かす（1500円/時) 皆に本物のDeepSeek-R1を見せてあげますよ お疲れ様です、波浪です。 DeepSeek R1をローカルPCで動かしました！ドヤっっってしてる記事がたくさんありますがその人たちが動かしているブツの大半はR1の蒸留物でサイズが13Bとかせいぜい70Bくらいなんですよね。 そんな中ガチのDeepseek-R1(model size 671B)の1.58bit量子化版がHFに登録されました。 まあタイトルにあるような「本物」かと言われたら量子化はしてますけどね それでも蒸留モデルよりは本物ですわ。 といっても、さすがに動かすためには最低でも24GBのVRAMと128GぐらいのRAMが必要です。（理論上は64Gでも動きそう？） ま、逆に言えば、それが家にある人はこれをローカルPC