Gemma 3n の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Announcing Gemma 3n preview: powerful, efficient, mobile-first AI 1. Gemma 3n「Gemma 3n」は、Googleが開発した「Gemma」シリーズの最新オープンモデルです。「Gemini Nano」と同じアーキテクチャを採用し、音声認識機能を追加したことで、マルチモーダル・高速・軽量を実現し、デバイス上で動作します。 Meet Gemma 3n, a model that runs on as little as 2GB of RAM 🤯 It shares the same architecture as Gemini Nano, and is engineered for incredible performance. We added audio unde
OpenAI Codex の使い方｜npaka
1. Codex「Codex」はクラウドベースのソフトウェアエンジニアリングエージェントです。「バグ修正」「コードレビュー」「リファクタリング」「ユーザーからのフィードバックに基づいたコード修正」などに利用できます。実世界のソフトウェア開発向けに最適化されたo3を搭載しています。 OpenAIでは、開発者が自ら主導権を握り、面倒な作業をエージェントに委任する未来を信じています。「Codex」が独自の環境で動作し、リポジトリでプルリクエストを作成していることから、この未来の兆しが見えています。 2. GitHubの接続「Codex」エージェントにGitHubリポジトリへのアクセスを許可するには、GitHubアプリを組織にインストールしてください。必要な権限は、「リポジトリのクローン作成」と「プルリクエストのプッシュ」の2つです。アプリは、ユーザーの許可なしにリポジトリに書き込みを行うことはあ
Qwen3 の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Qwen3: Think Deeper, Act Faster 1. Qwen3本日 (2025年4月28日) 、「Qwen3」をリリースしました。「Qwen3-235B-A22B」は、「DeepSeek-R1」「o1」「o3-mini」「Grok-3」「Gemini-2.5-Pro」などの他のトップティアモデルと比較して、コーディング、数学、一般的な機能などのベンチマーク評価で競争力のある結果を達成しています。さらに、小型のMoEである「Qwen3-30B-A3B」は、10倍のアクティブパラメータを持つ「QwQ-32B」を凌駕し、「Qwen3-4B」のような小さなモデルでさえ、「Qwen2.5-72B-Instruct」の性能に匹敵します。 2つのMoEモデルをオープンウェイト化しています。「Qwen3-235B-A22B」は、総パラメ
Llama 4 の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation 1. Llama 4本日、「Llama 4 Scout」と「Llama 4 Maverick」がリリースしました。これらは、前例のないコンテキスト長のサポートを備えた初のオープンウェイトネイティブマルチモーダルモデルであり、MoEアーキテクチャを使用して構築されています。 また、新しいモデルの教師として機能する最も強力な「Llama 4 Behemoth」のプレビューも行います。 ・Llama 4 Maverick ・17Bのアクティブパラメータ ・128のエキスパート ・合計400Bのパラメータ ・100万トークンのコンテキスト長 ・Llama 4 Scout ・17Bのアク
Blender MCP を試す｜npaka
「Blender MCP」を試したのでまとめました。 1. Blender MCP「Blender MCP」は、「MCP」を介して「Claude」を「Blender」と直接対話できるようにします。この統合により、プロンプトによる3Dモデル作成や操作などが可能になります。 2-2. Claude Desktop AIアシスタントのClaudeを利用するためのデスクトップアプリケーションです。 ・Claude Desktop 2-3. Python 3.10以降 + uvPythonは、公式サイトから適切なバージョンをインストールします。 uvのインストール手順は、次のとおりです。 ・Mac brew install uv・Windows powershell -c "irm https://astral.sh/uv/install.ps1 | iex" set Path=C:\Users
OpenAI Agents SDK 入門 (1) - 事始め｜npaka
「OpenAI Agents SDK」の概要についてまとめました。 ・OpenAI Agents SDK 1. Agents SDK「Agents SDK」は、Agentシステムを構築するための軽量パッケージです。これは、以前の実験プロジェクト「Swarm」の本番環境対応版となります。 「Agents SDK」は、以下な最小限のプリミティブで構成されています： ・Agent : 指示とToolを備えたLLM ・Handoff : 特定のタスクを他のAgentに委任できる機能 ・Guardrail : Agentへの入力を検証するしくみ これらのプリミティブを Python と組み合わせることで、ToolとAgentの間の複雑な関係を表現し、学習コストなしに実用的なアプリケーションを構築できます。 さらに、SDK には トレース機能（Agentの動作を可視化・デバッグできる機能）が組み込まれ
OpenAI の Reasoningモデル のベストプラクティス｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Reasoning best practices - OpenAI API 1. Reasoningモデル のベストプラクティスOpenAIは、「Reasoningモデル」(o1 や o3-mini など) と「GPTモデル」(GPT-4o など)の2種類のモデルを提供しています。これらのモデルは動作が異なります。 この記事の内容は次のとおりです。 (1) ReasoningモデルとGPTモデルの違い (2) Reasoningモデルを使用するタイミング (3) Reasoningモデルを効果的に促す方法 2. Reasoningモデル と GPTモデル「Reasoningモデル」は、複雑なタスクについてより長く、より真剣に考えるように学習しています。これにより、戦略を立て、複雑な問題に対する解決策を計画し、大量のあいまいな情報に基づいて
Anthropic の MCP のクイックスタート｜npaka
「Anthropic」の「MCP」(Model Context Protocol) の macOS でのクイックスタート手順をまとめました。 ・Quickstart - Model Context Protocol 1. MCP のアーキテクチャ「MCP」(Model Context Protocol) は、Claudeデスクトップなどのホストアプリケーションとローカルサービス間の安全な接続を可能にするプロトコルです。 1-1. 一般的なアーキテクチャホストアプリケーションが複数のサーバに接続できるクライアントサーバアーキテクチャに従います。 ・MCP Hosts : 「Claude Desktop」「IDE」「MCP」を介してリソースにアクセスするAIツールなどのプログラム ・MCP Clients : サーバとの 1:1 接続を維持するプロトコルクライアント ・MCP Servers
OpenAI API の Vision Fine-Tuning を試す｜npaka
「OpenAI API」の「Vision Fine-Tuning」を試したのでまとめました。 1. Vision Fine-Tuning「GPT-4o」の「Vision Fine-Tuning」が可能になりました。これにより開発者は、より強力な画像理解機能を持つようにモデルをカスタマイズできます。 2. データセットの作成今回は、「ぼっち・ざ・ろっく」の結束バンドのメンバーの名前を学習します。 ファインチューニング前の「GPT-4o」では、「後藤ひとり」「伊地知虹夏」は知っていましたが、「山田リョウ」「喜多郁代」は知りませんでした。 (1) 画像の準備し、Google Colabにアップロード。 今回は4人を4枚ずつ用意し、datasetフォルダを作成してその中に配置しました。 (2) 画像ファイルを読み込む関数の準備。 import base64 # 画像ファイルを読み込む関数 def
LLM のベンチマーク まとめ｜npaka
「LLM」の ベンチマーク をまとめました。 1. マルチモーダルのベンチマークマルチモーダルのベンチマーク。 1-1. Chatbot Arena (LMSys) 【英語】人間が異なるモデルを匿名で比較し、どちらのモデルがより優れた応答をしたかを投票することでランキングを形成。 ・Chatbot Arena Leaderboard ※ タブで Arena (Vision) を選択 1-2. Heron VLM リーダーボード (wandb) 【日本語】「Japanese-Heron-Bench」 「LLaVA-Bench-In-the-Wild (Japanese)」の総合評価。 ・Japanese-Heron-Bench (Turing) 21枚の画像に対して計102問の質問。日本に関する知識を要求。 ・LLaVA-Bench-In-the-Wild (Japanese) (Turi
Llama 3.1 の新機能と使い方｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Llama 3.1 - 405B, 70B & 8B with multilinguality and long context 1. Llama 3.1 の新機能「Llama 3.1」の新機能は、次のとおりです。 ・128Kトークンの大きなコンテキスト長 (元は8K) ・多言語 ・ツールの使用 ・4,050億パラメータの非常に大きな高密度モデル ・より寛容なライセンス 8B、70B、405Bの3つのサイズがあり、それぞれにベースモデルと指示モデルがあります。128Kトークンのコンテキスト長と、英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語を含む8つの言語をサポートしています。「Llama 3.1」は、より長いコンテキストに役立つ効率的な表現である「Grouped-Query Attention」(
iOS・Android の ローカルLLM実行環境まとめ｜npaka
iOS・Android の ローカルLLMの実行環境をまとめました。 1. iOS1-1. Llama.cpp (gguf)「Llama.cpp」の「example/llama.swiftui」で、iOSでggufを実行するプロジェクトが提供されています。モデルはHuggingFaceの「TheBloke」「mmnga」などで数多く提供されています。ただし、メモリ制限のため小サイズのモデルに限られます。 1-2. MLX「mlx-swift-examples」の「LLMEval」に、iOSでMLXを実行するプロジェクトが含まれています。モデルはHuggingFaceの「MLX Community」などで数多く提供されています。ただし、メモリ制限のため小サイズのモデルに限られます。 1-3. TensorFlow Lite (tflite)「MediaPipe」の「LLM Inference
MLX で Llama 3 を試す｜npaka
「MLX」で「Llama 3」を試したので、まとめました。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 2. 推論の実行「MLX」は、Appleが開発した新しい機械学習フレームワークで、「Apple Silicon」(M1/M2/M3など) を最大限に活用するように設計されています。 推論の実行手順は、次のとおりです。 (1) Pythonの仮想環境の準備。 今回は、「Python 3.10」の仮想環境を準備しました。 (2) パッケージのインストールと実行。 今回は「mlx-community/Meta-Llama-3-8B-Instruct-4bit」のモデルを利用します。 pip install mlx-lm mlx_lm.generate --model mlx-community/Meta-Llama-3-8B-Instruct-4bit -
LangChain への OpenAIのRAG戦略の適用｜npaka
以下の記事が面白かったので、かるくまとめました。 ・Applying OpenAI's RAG Strategies 1. はじめに「Open AI」はデモデーで一連のRAG実験を報告しました。評価指標はアプリケーションによって異なりますが、何が機能し、何が機能しなかったかを確認するのは興味深いことです。以下では、各手法を説明し、それぞれを自分で実装する方法を示します。アプリケーションでのこれらの方法を理解する能力は非常に重要です。問題が異なれば異なる検索手法が必要となるため、「万能の」解決策は存在しません。 2. RAG スタックにどのように適合するかまず、各手法をいくつかの「RAGカテゴリ」に分類します。以下は、カテゴリ内の各RAG実験を示し、RAGスタックに配置する図です。 3. ベースライン距離ベースのベクトルデータベース検索は、クエリを高次元空間に埋め込み（表現）し、「距離」に基
大規模モデルを単一GPUで効率的に学習する方法｜npaka
以下の記事が面白かったので、かるくまとめました。 ・Methods and tools for efficient training on a single GPU 1. LLMを単一GPUで効率的に学習する方法大規模モデルの学習では、次の2つを考慮する必要があります。 ・スループット・学習時間 ・モデルのパフォーマンス 「スループット」 (サンプル / 秒) を最大化すると、学習コストの削減につながります。これは通常、GPUメモリを限界まで利用することで実現されます。必要なバッチサイズがメモリオーバーする場合は、「Gradient Accumulation」などの「メモリの最適化」が必要になります。 ただし、「推奨バッチサイズ」がメモリに収まる場合は、学習が遅くなる可能性があるため、「メモリの最適化」を適用する必要はありません。どのバッチサイズが最良の結果をもたらすかを決定し、それに応じ
LLMのファインチューニング で 何ができて 何ができないのか｜npaka
LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ
OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試す｜npaka
OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試したのでまとめました。 1. GPT-4 から GPT-3.5 への蒸留「LlamaIndex」で、OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留のColabが提供されてたので、それをベースに独自データで試してみました。 具体的には、「GPT-4」で学習データを生成し、「GPT-3.5」でファインチューニングすることで、「GPT-3.5」に「GPT-4」相当の知識を習得させます。 We successfully made gpt-3.5-turbo output GPT-4 quality responses in an e2e RAG system 🔥 Stack: automated training dataset creation in @ll
LLM の LoRA / RLHF によるファインチューニング用のツールキットまとめ ｜npaka
「LLM」の「LoRA」「RLHF」によるファインチューニング用のツールキットをまとめました。 1. PEFT「PEFT」は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。 現在サポートしている手法は、次の4つです。 ・LoRA ・Prefix Tuning ・P-Tuning ・Prompt Tuning ◎ LLaMA + LoRA 「Alpaca-LoRA」は、「LLaMA」に「LoRA」を適用して「Alpaca」の結果を再現するためのコードが含まれているリポジトリです。「finetune.py」がLoRAの参考になります。 ・tloen/alpaca-lora ◎ RedPajama-INCITE + LoRA 「INCITE-LoRA」は、「RedPajama-INCITE」に「LoRA」を適用する
MPT-7B - オープンで商用利用可能なLLM｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Introducing MPT-7B: A New Standard for Open-Source, Commercially Usable LLMs 1. MPT-7B「MPT-7B」は、「MosaicML」が開発した、テキストとコードの1Tトークンでゼロから学習したLLMです。オープンソースで、商用利用可能で、LLAMA-7Bと同等の品質を持ちます。約20万ドル、人間介入なし、9.5日間、MosaicMLプラットフォームで学習しています。 2. モデル一覧ベースモデルに加えて、3つのファインチューニングモデルも提供しています。 2-1. MPT-7B (ベースモデル)「MPT-7B」は、6.7Bパラメータを持つベースモデルです。MosaicMLのデータチームが収集したテキストとコードの1Tトークンで学習しました。 ・ライセンス :
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最近のLLMの学習法のまとめ - SFT・RLHF・RAG｜npaka
