Anthropic Consoleで プロンプトの生成・テスト・評価 を試す｜npaka
2. プロンプトの生成・テスト・評価プロンプトの生成・テスト・評価の手順は、次のとおりです。 2-1. プロンプトの生成(1) 「Anthropic Console」を開き、「Generate a prompt」をクリック。 (2) 作成したいプロンプトのタスクを入力。 今回は、「文書を最大10個の箇条書きにまとめる」と入力し、「Generate Prompt」ボタンをクリック。 プロンプトが自動生成されます。 (3) 「Continue」ボタンをクリック。 テスト画面に遷移します。 あなたは与えられた文書を簡潔に要約するタスクを行います。以下の文書を読み、最大10個の箇条書きにまとめてください。 <document> {{DOCUMENT}} </document> 以下の指示に従って要約を作成してください： 1. 文書の主要なポイントや重要な情報を特定してください。 2. 各箇条書きは
Luma Dream Machine プロンプトガイド｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・FAQ and Prompt Guide: Luma Dream Machine 1. Image to Video のプロンプトガイド・生成ページの画像アイコンをクリックして JPG、JPEG、PNG画像をアップロードします。シーンを説明するプロンプトを提供することもできます。 ・「Enhance Prompt」を有効にすると、シーンで何が起きてほしいかを説明するだけで済みます。 <image of a car> + “a red car driving on a road” ・希望する出力が得られない場合は、「Enhance prompt」なしで試すことができます。この場合、画像とシーンで何が起きてほしいかを説明する必要があります。 強化されていないプロンプトでは、モーションがまったく見られないか、モーションがほとんど見られなくなる可
HuggingFace の Gemma 統合｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Welcome Gemma - Google’s new open LLM 1. Gemma1-1. Gemma「Gemma」は、「Gemini」をベースとしたGoogleの4つの新しいLLMモデルのファミリーです。2Bと7Bの2つのサイズがあり、それぞれにベースモデルと指示モデルがあります。すべてのバリアントは、量子化なしでもさまざまなタイプのコンシューマ ハードウェアで実行でき、コンテキスト長は8Kトークンです。 ・google/gemma-7b : ベースモデル ・google/gemma-7b-it : 指示モデル ・google/gemma-2b : ベースモデル ・google/gemma-2b-it : 指示モデル 以下は、ベースモデルの概要と、LLM Leaderboard の他のオープンモデルと比較したパフォーマンスです
ロングコンテキストLLMに対応したRAGの新アーキテクチャ｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Towards Long Context RAG - LlamaIndex 1. はじめにGoogleは、1Mコンテキストウィンドウを持つ「Gemini 1.5 Pro」をリリースしました。初期ユーザーは、数十もの研究論文や財務報告書を一度に入力した結果を共有しており、膨大な情報を理解する能力という点で印象的な結果を報告しています。 当然のことながら、ここで疑問が生じます。「RAG」は死んだのでしょうか？そう考える人もいますが、そうではない人もいます。 幸運にも「Gemini 1.5 Pro」の機能をプレビューすることができ、それを試してみることで、ロングコンテキストLLMを適切に使用するには、RAGがどのように進化するのかについてのまとめました。 2. Gemini 1.5 Pro の 初期観察「Gemini」の結果は印象的で、テクニカ
OpenAI の Model Spec の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 Exampleは省略してるので元記事で確認してください。 ・Model Spec (2024/05/08) 1. Model Spec の概要1-1. Model Spec の概要これは「Model Spec」の最初のドラフトであり、OpenAI APIおよびChatGPTでのモデルの望ましい動作を指定する文書です。これには、一連の中核目標と、矛盾する目標や指示に対処する方法に関するガイダンスが含まれています。 OpenAIの目的は、研究者やデータラベル作成者がRLHF と呼ばれる手法の一部としてデータを作成するためのガイドラインとして「Model Spec」を使用することです。「Model Spec」はまだ現在の形式では使用していませんが、その一部はOpenAIでRLHFに使用したドキュメントに基づいています。また、モデルが「Model
MLX で Llama 3 を試す｜npaka
「MLX」で「Llama 3」を試したので、まとめました。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 2. 推論の実行「MLX」は、Appleが開発した新しい機械学習フレームワークで、「Apple Silicon」(M1/M2/M3など) を最大限に活用するように設計されています。 推論の実行手順は、次のとおりです。 (1) Pythonの仮想環境の準備。 今回は、「Python 3.10」の仮想環境を準備しました。 (2) パッケージのインストールと実行。 今回は「mlx-community/Meta-Llama-3-8B-Instruct-4bit」のモデルを利用します。 pip install mlx-lm mlx_lm.generate --model mlx-community/Meta-Llama-3-8B-Instruct-4bit -
Cohere Compass - 新マルチアスペクト埋め込みモデル｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Cohere Compass Private Beta: A New Multi-Aspect Embedding Model 1. Cohere Compass「Cohere Compass」は、マルチアスペクトデータのインデックス作成と検索を可能にする新しい埋め込みモデルです。 「マルチアスペクトデータ」は、複数の概念と関係を含むデータです。これは企業データ内では一般的です。電子メール、請求書、履歴書、サポートチケット、ログメッセージ、表形式データにはすべて、コンテキスト上の関係を持つ実質的なコンテンツが含まれています。企業データには多くの概念が含まれている可能性があり、概念間の関係を理解する必要があるため、このデータの取得は継続的な課題です。 これに対処するには、開発者は、クエリからドキュメント内の特定のメタデータフィールドに対する
Google Colab で Gemini Pro をもっと試す｜npaka
1. GeminiのセットアップColabでの「Gemini」のセットアップ手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install -q -U google-generativeai(2) パッケージのインポート。 Markdown出力のユーティリティ関数も準備してます。 import pathlib import textwrap import google.generativeai as genai from google.colab import userdata from IPython.display import display from IPython.display import Markdown # Markdown出力 def to_markdown(text): text = text.replace("•
OpenAIの 新モデルの追加 と APIの更新｜npaka
2024年1月25日に発表された、OpenAIの 新モデルの追加 と APIの更新 についてまとめました。 1. OpenAIの 新モデルの追加 と APIの更新2024年1月25日、OpenAIの 新モデルの追加 と APIの更新 が発表されました。 ・新しいEmbeddingモデルの追加 ・GPT-4 Turbo Previewの更新 ・GPT-3.5 Turboの更新 ・モデレーションモデルの更新 ・APIキーの管理方法の改善 2. 新しいEmbeddingモデルの追加2-1. 新しいEmbeddingモデル2つの新しい「Embeddingモデル」を追加します。 ・text-embedding-3-small : 小型で高効率 ・text-embedding-3-large : 大規模で高性能 「Embedding」は、自然言語やコードなどのコンテンツ内の概念を表す一連の数字です。「
M2UGen の概要｜npaka
「M2UGen」の概要をまとめました。 1. M2UGen「M2UGen」は、テキスト・画像・動画からの音楽生成・音楽理解・音楽編集が可能です。 「音楽理解」には「MERT」、「画像理解」には「ViT」、「動画理解」には「ViViT」、「音楽生成」には「MusicGen」「AudioLDM2」を利用し、「アダプタ」や「LLaMA2」と組み合わせることで、複数の能力を持つモデルとなっています。 ・ホーム ・コード ・デモ 2. M2UGen のデータセット「MU-LLaMA」「MPT-7B-Chat」を使用して音楽指向のデータセットを、「BLIP画像キャプションモデル」「VideoMAEキャプションモデル」を使用してキャプションを生成します。 2-1. MUCapsデータセット21966曲、1273.78時間のキャプション生成のためのデータセットです。 ・音楽ファイル → MU-LLaMA
Google Colab で Stable Zero123 を試す｜npaka
「Google Colab」で「Stable Zero123」を試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. Stable Zero123「Stable Zero123」は、「Zero123」に基づく単一画像からの高品質3Dオブジェクト生成のモデルです。改善されたデータレンダリングとモデルコンディショニング戦略により、「Zero123」「Zero123-XL」と比較して、パフォーマンスが向上しました。「Stable Zero123」モデルと一緒に「スコア蒸留サンプリング」(SDS)を使用することで、あらゆる入力画像から高品質の3Dモデルを作成できます。 2. Stable Zero123のモデル「Stable Zero123」は、現在1つのモデルのみが提供されています。 ・stabilityai/stable-zero
MT-Bench の概要｜npaka
「MT-Bench」の概要についてまとめました。 1. MT-Bench「MT-Bench」は、80の高品質でマルチターンの質問を含む、慎重にキュレーションされたLLMのベンチマークです。これらの質問は、LLMがマルチターンダイアログのモデルの会話の流れと指示に従う能力の評価を目的としており、「一般的なユースケース」と「挑戦的な指示」の両方が含まれています。 次の8つの主要なカテゴリを評価します。 ・Writing ・Roleplay ・Extraction ・Reasoning ・Math ・Coding ・Knowledge I (STEM) ・Knowledge II (humanities/social science) カテゴリごとに10個のマルチターン質問、合計160個の質問セットになります。 2. 採点方法人間の嗜好はゴールドスタンダードであると信じていますが、収集が遅くて高
Eureka - LLMで報酬を自動生成してロボットを学習させるAIエージェント｜npaka
以下の記事が面白かったので、かるくまとめました。 ・Eureka! NVIDIA Research Breakthrough Puts New Spin on Robot Learning 1. Eureka「NVIDIA Research」が開発した、ロボットに複雑なスキルを学習させることができる新しいAI エージェントは、ロボットハンドにペン回しを教えることができました。 これは、ロボットを学習させるための報酬アルゴリズムを自律的に作成する 「Eureka」のおかげで、ロボットが達成できるようになった30近くのタスクのうちの1つになります。引き出しやキャビネットを開ける、ボールを投げる、キャッチする、ハサミを使うなどの作業も覚えました。 公開された「Eureka」の研究には、論文とプロジェクトの AI アルゴリズムが含まれており、開発者は強化学習研究用の物理シミュレーション リファレン
LlamaIndex での LLMの互換性｜npaka
以下の記事が面白かったので、かるくまとめました。 ・LLM Compatibility Tracking - LlamaIndex 🦙 1. LlamaIndex での LLMの互換性「LlamaIndex」は、ほぼすべてのLLMと統合することができますが、LLMがそのままで問題なく機能するかどうか、またはさらにカスタマイズが必要かどうかが不明瞭な場合があります。 以下の表は、さまざまな LLMのさまざまなLlamaIndexの機能の初期エクスペリエンスを検証することを試みています。一般に、OpenAIやAnthropicなどの有料APIはより信頼できると見なされています。ただし、カスタマイズ可能性と透明性へのアプローチにより、ローカルのオープンソース モデルの人気が高まっています。 2. 有料LLM API の互換性英語入力での評価になります。 ・gpt-3.5-turbo ・gpt-
RAG評価ツール ragas を試す｜npaka
RAG評価ツール「ragas」を試したので、まとめました。 1. ragas「ragas」は、「RAG」 (Retrieval Augmented Generation) パイプラインを評価するためのフレームワークです。「RAG」は外部データを使用してLLMのコンテキストを拡張するLLMアプリケーションです。「ragas」はこのパイプラインを評価して、パフォーマンスを定量化します。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) RAGパイプラインの準備。 今回は、以下の記事で作成した、ELYZAのRAGパイプラインを使います。 (2) パッケージのインストール。 # パッケージのインストール !pip install ragas datasets(3) 環境変数の準備。 「ragas」は「OpenAI API」で評価します。 import os import
LangChain への OpenAIのRAG戦略の適用｜npaka
以下の記事が面白かったので、かるくまとめました。 ・Applying OpenAI's RAG Strategies 1. はじめに「Open AI」はデモデーで一連のRAG実験を報告しました。評価指標はアプリケーションによって異なりますが、何が機能し、何が機能しなかったかを確認するのは興味深いことです。以下では、各手法を説明し、それぞれを自分で実装する方法を示します。アプリケーションでのこれらの方法を理解する能力は非常に重要です。問題が異なれば異なる検索手法が必要となるため、「万能の」解決策は存在しません。 2. RAG スタックにどのように適合するかまず、各手法をいくつかの「RAGカテゴリ」に分類します。以下は、カテゴリ内の各RAG実験を示し、RAGスタックに配置する図です。 3. ベースライン距離ベースのベクトルデータベース検索は、クエリを高次元空間に埋め込み（表現）し、「距離」に基
Microsoft Copilot Studio と Copilot の概要｜npaka
以下の記事が面白かったので、かるくまとめました。 ・Introducing Microsoft Copilot Studio and new features in Copilot for Microsoft 365 1. はじめに「Microsoft」は「Microsoft Ignite 2023」にて「Microsoft Copilot」全体にわたる新しいイノベーションを発表しました。あらゆる場面で「Copilot」が、「Web」「PC」「職場」のコンテキストを理解し、必要なときに適切なスキルを提供します。 2. Copilot の製品ラインナップの更新「Bing Chat」「Bing Chat Enterprise」は、シンプルに「Copilot」になります。質問応答、コンテンツ作成、データ解説などの基本的な機能が備わっています。また、Web基盤があるため、常に最新の情報にアクセスで
OpenAI API の Assistant API のしくみ｜npaka
1. Assistant API「OpenAI API」の「Assistant API」は、さまざまなタスクを実行できる強力な「AIアシスタント」を作成するためのAPIです。 (1) アシスタントは、OpenAIのモデルを呼び出し、個性や能力を調整するための具体的な指示を与えることができる。 (2) アシスタントは複数のツールに並行してアクセスできる。「Code interpreter」「Knowledge retrieval」などOpenAIが提供するツールに加えて、「Function calling」を介してユーザーが提供するツールを利用できる。 (3) アシスタントは永続的なスレッドにアクセスできる。スレッドはメッセージ履歴を保存し、会話長がモデルのコンテキスト長より長すぎる場合に切り捨てることで、AIアプリケーション開発を簡素化。 (4) アシスタントは、いくつかの形式でファイルに
OpenAI API で提供されている モデル まとめ｜npaka
「OpenAI API」で提供されている「モデル」をまとめました。 ・Model - OpenAI API 1. OpenAI API で提供されている モデル「OpenAI API」で提供されている「モデル」は、次のとおりです。 ・GPT-4o : GPT-4よりも安価で高速な、最も先進的なマルチモーダルフラッグシップモデル ・GPT-4 : GPT-3.5を改善し、自然言語やコードを理解し、生成できるモデル ・GPT-3.5 : GPT-3を改善し、自然言語やコードを理解し、生成できるモデル ・DALL-E : 自然言語から画像を生成および編集できるモデル ・TTS : テキストを自然な音声に変換できるモデル ・Whisper : 音声をテキストに変換できるモデル ・Embedding : テキストをベクトル表現に変換できるモデル ・Moderation : テキストが機密または安全か
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本語LLM の学習に関する技術記事まとめ｜npaka
