Gemma Cookbook の コンテンツ一覧｜npaka
「Gemma Cookbook」の コンテンツ一覧をまとめました。 1. Gemma Cookbook「Gemma Cookbook」は、「Gemma」のガイドとサンプルコードのコレクションです。 2. Gemmaモデルファミリー「Gemma」は、「Gemini」に使用されたものと同じ研究と技術から構築された、軽量で最先端のオープンモデルのファミリーです。 ・Gemma ・CodeGemma ・PaliGemma ・RecurrentGemma 「Gemma」は、以下で提供されています。 ・GitHub ・HuggingFace ・Kaggle ・Google Cloud Vertex AI Model Garden ・ai.nvidia.com 3. コンテンツ一覧3-1. 一般・Common_use_cases.ipynb Gemma、CodeGemma、PaliGemma の一般的な
LangChain v0.2 の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・LangChain v0.2: A Leap Towards Stability 1. LangChain v0.2「LangChain v0.2」は v0.1 上に構築されており、コミュニティからのフィードバックが組み込まれています。 ・langchain と langchain-community の完全な分離 ・バージョン付きドキュメント ・より成熟したエージェントフレームワーク ・LLMインターフェースの標準化、特にツール呼び出しに関する改善 ・ストリーミングサポートの向上 ・30を超える新しいパートナー パッケージ 完全な v0.2 は数週間以内に公開されます。 2. langchain と langchain-community の完全な分離「LangChain v0.2」での最も注目すべき変更点の1つは、「langchain
Dify の ワークフロー の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Workflow - Dify 1. ワークフロー1-1. ワークフロー「ワークフロー」は、複雑なタスクを小さな「ノード」に分割することで、LLMアプリケーションのモデル推論への依存を減らし、システムの説明可能性、安定性、耐障害性を向上させます。 「ワークフロー」の種類は、次のとおりです。 ・Chatflow : 顧客サービス、セマンティック検索など、応答作成に複数ステップのロジックを必要とする会話シナリオ用 ・Workflow : 高品質な翻訳、データ分析、コンテンツ作成、電子メールの自動化など、自動化・バッチ処理シナリオ用 1-2. Chatflow自然言語入力におけるユーザー意図認識の複雑さに対処するため、「質問分類」「質問書き換え」「サブ質問分割」などの問題理解ノードを提供します。さらに、LLMに外部環境との対話機能、すなわち「
Google Colab で LangGraph を試す｜npaka
「Google Colab」で「LangGraph」を試したので、まとめました。 ・LangChain v0.1.4 1. LangGraph「LangGraph」は、LLMでステートフルな「マルチアクターアプリケーション」を構築するためのライブラリです。「LCEL」(LangChain Expression Language) を拡張して、複数チェーン (またはアクター) を複数ステップにわたって循環的に協調動作させることができます。 「LangChain」の大きな価値の1つに、カスタムチェーンを簡単に作成できることがあります。このための機能として「LCEL」を提供してきましたが、サイクルを簡単に導入する方法がありませんでした。「LangGraph」によって、LLMアプリケーションにサイクルを簡単に導入できるようになりました。 2. Colabでの実行Colabでの実行手順は、次のとおり
OpenAI API で提供されている モデル まとめ｜npaka
「OpenAI API」で提供されている「モデル」をまとめました。 ・Model - OpenAI API 1. OpenAI API で提供されている モデル「OpenAI API」で提供されている「モデル」は、次のとおりです。 ・GPT-4 / GPT-4 Turbo : GPT-3.5を改善し、自然言語やコードを理解し、生成できるモデル ・GPT-3.5 : GPT-3を改善し、自然言語やコードを理解し、生成できるモデル ・DALL-E : 自然言語から画像を生成および編集できるモデル ・TTS : テキストを自然な音声に変換できるモデル ・Whisper : 音声をテキストに変換できるモデル ・Embedding : テキストをベクトル表現に変換できるモデル ・Moderation : テキストが機密または安全かどうかを検出できるモデル ・GPT base : ファインチューニング
OpenAI DevDay で発表された新モデルと新開発ツール まとめ｜npaka
以下の記事が面白かったので、かるくまとめました。 ・New models and developer products announced at DevDay 1. GPT-4 Turbo「GPT-4 Turbo」は、「GPT-4」より高性能です。2023年4月までの知識と128kのコンテキストウィンドウを持ちます。さらに、「GPT-4」と比較して入力は1/3、出力は1/2の安い価格で提供します。 開発者はモデルID「gpt-4-1106-preview」で試すことができます。今後数週間以内に、安定した実稼働モデルをリリースする予定です。 1-1. Function Calling の更新「Function Calling」に、単一メッセージから複数のFunction (「車の窓を開けてエアコンをオフにする」など) を呼び出す機能などが追加されました。精度も向上しています。 1-2. 構造
LlamaIndex v0.8 クイックスタートガイド - Python版｜npaka
Python版の「LlamaIndex」のクイックスタートガイドをまとめました。 ・LlamaIndex v0.8.59 1. LlamaIndex「LlamaIndex」は、プライベートやドメイン固有の知識を必要とする専門知識を必要とする質問応答チャットボットを簡単に作成できるライブラリです。 2. LlamaIndexの5つのステージ「LlamaIndex」には、5つのステージがあります。 2-1. Loadingデータソース (テキストファイル、PDF、Webサイト、データベース、APIなど) からデータを読み込みます。 「Loading」の主要コンポーネントは、次のとおりです。 ・Document : データソースのコンテナ ・Node : Documentを分割したもの。チャンクとメタデータが含まれる ・Connector : データソースからDocumentおよびNodeに取り
LangChain クイックスタートガイド - Python版｜npaka
Python版の「LangChain」のクイックスタートガイドをまとめました。 ・LangChain v0.0.329 (2023/11/3) 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。真の力は、それを他の 計算 や 知識 と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 主な用途は、次の3つになります。 ・文書に関する質問応答 ・チャットボット ・エージェント 2. LangChain のモジュール「L
LangChain の Embeddings を試す｜npaka
1. Embeddings「Embeddings」は、LangChainが提供する埋め込みの操作のための共通インタフェースです。 「埋め込み」は、意味的類似性を示すベクトル表現です。テキストや画像をベクトル表現に変換することで、ベクトル空間で最も類似したテキストを探すセマンティック検索などに利用できます。 現在サポートしている、「Embedding」のプロバイダーは、次の3つです。 ・OpenAI API ・Hugging Face ・Cohere API 現在サポートしている、「Embedding」のメソッドは、次の2つです。 一部のプロバイダーが、ドキュメントとクエリに対して異なる埋め込みメソッドを持つため、2つに別れています。 ・embed_query() : 単一のテキストを埋め込みに変換。 ・embed_documents() : 複数のテキストを埋め込みに変換。 2. Open
ローカルLLMの情報まとめ｜npaka
「ローカルLLM」の記事が増えてきたのでまとめました。 「Llama 2」ベースのローカルLLMについては、以下でまとめています。
『OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門』 が発売になります。｜npaka
この本は、「GPT-4」「ChatGPT」「LangChain」を活用して「チャットAI」を開発するための入門書です。 対象読者は、 ・チャットAIのしくみを知りたい人 ・チャットAIに知識や計算の能力を与えて仕事を自動化したい人 ・会話ロボットやAITuberなどの会話エンジンとして使いたい人 ・自分のアプリケーションにチャットUIを組み込みたい人 になります。 「ChatGPT」は、OpenAIが開発した最新のチャットAIです。ログインして会話を入力するだけで使える手軽さはもちろん、人間のような自然な会話ができることから世界中で人気となり、2022年11月にリリースされてからわずか2ヶ月で1億人のアクティブユーザー数を達成しました。同年にリリースされた画像生成AI「Stable Diffusion」とともに、研究者や専門家ではない一般の人が人工知能を活用しはじめる、ターニングポイントと
ベクトル検索ライブラリ Faiss を試す｜npaka｜note
ベクトル検索ライブラリ「Faiss」を試したので、使い方をまとめました。 1. Faiss「Faiss」は、Facebookがリリースしたベクトル検索ライブラリです。 2. テキストを埋め込みに変換「埋め込み」は、意味的類似性を示すベクトル表現です。2つのベクトル間の距離は、その関連性を表し、小さな距離は高い関連性、大きな距離は低い関連性を示します。 一般的に次のような用途に使用されます。 ・検索 : 検索結果がクエリ文字列との関連性でランク付けされる ・クラスタリング : テキストを類似性によってグループ化 ・レコメンデーション : 関連するテキストを含む項目を推奨 ・異常検出 : 関連性の少ない外れ値を特定 ・ダイバーシティ測定 : 類似性分布を分析 ・分類 : テキストを最も類似したラベルで分類 Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」
Unity ML-Agents と toio によるサッカーロボットの強化学習｜npaka
「AI・人工知能EXPO 2021 【春】」の「ギリア」ブースにて、「Unity ML-Agents」 と「toio」によるサッカーロボットの強化学習を展示しました。 動画を撮ってくれた人がいました。ありがとうございます。 ソニー、強化学習により自律的に動く8台のサッカーロボットを展示。Unity-MLで学習した後、iphone単体で推論を行うらしい。8台の自律ロボット、すごい。 個人的にAI Expoの中で最も面白い展示だった。#AI #Expo #Sony #強化学習 pic.twitter.com/OJRBSnI8Ta — S Choe (@wireless_power) April 9, 2021 「toio」はiPhoneでBluetooth経由で制御されており、1台のiPhoneで8台分の「toio」の推論を行っています。 今回は、「Unity ML-Agents」と「toio
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本語LLM の学習に関する技術記事まとめ｜npaka