diffusers で LoRA を試す｜npaka
「diffusers」で「LoRA」を試したので、まとめました。 ・diffusers v0.24.0 1. LoRA「LoRA」(Low-Rank Adaptation)は、AIモデルの効率的な調整やカスタマイズのための手法です。手法は、モデルの重みを直接調整するのではなく、低ランク（小さい次元）の行列を用いてモデルの一部の重みを調整することにより、モデルの振る舞いを変更します。 この手法には、多くの利点があります。 ・効率性 : AIモデルを効率的にファインチューニングすることを可能にします。 ・カスタマイズ : 特定のタスクや用途に合わせてAIモデルをカスタマイズするのに適しています。 ・柔軟性 : AIモデルの基本的なアーキテクチャを保ちながら、その振る舞いを変更することができるため、柔軟性が高いです。 「LoRA」は小型で学習が高速ですが、ベースモデルとLoRAウェイト (アダプ
Google Colab で Mistral-7B-v0.2 を試す｜npaka
「Google Colab」で「Mistral AI」の「Mistral-7B-v0.2」を試したので、まとめました。 1. Mistral-7B-v0.2「Mistral-7B-v0.2」は、「Mistral AI-7B-v0.1」の指示チューニングの改良版です。 2. Mistral-7B-v0.2のモデル「Mistral-7B-v0.2」は、現在1つのモデルのみが提供されています。 ・mistralai/Mistral-7B-Instruct-v0.2 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。 (2) パッケージのインストール。 # パッケージのインストール !pip install transformers sentencepiece accelerate
Google Colab で OpenAI API の Retrieval を試す｜npaka
「Google Colab」で「OpenAI API」の「Retrieval」を試したので、まとめました。 前回 1. Retrieval「Assistant API」は、さまざまなタスクを実行できる強力な「AIアシスタント」を作成するためのAPIです。 「Assistant API」は現在、次の3つのツールをサポートしています。 ・Code Interpreter : Pythonコードを作成して実行 ・Retrieval : モデル外部からの知識を取得 ・Function Calling : 関数のレスポンスを取得 今回は、「Retrieval」を使います。「Retrieval」は、製品情報やユーザーから提供されたドキュメントなど、モデル外部からの知識を取得して、アシスタントを強化します。ファイルをアップロードして「アシスタント」に渡すと、自動的にドキュメントをチャンク化し、埋め込みの
LangChainで HyDE による質問応答を試す｜npaka
1. HyDE「HyDE」(Hypothetical Document Embeddings) は、質問応答に必要な文書の検索をより高い精度で行うための手法です。 一般的な質問応答では、質問を埋め込みにして文書を検索しますが、「HyDE」では文書を読ませず仮想的な応答を生成し、その応答を埋め込みにして文書を検索します。 2. HyDEによる埋め込み生成Google ColabでのHyDEによる埋め込み生成の手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install langchain !pip install openai(2) 環境変数の準備。 以下のコードの <OpenAI_APIのトークン> にはOpenAI APIのトークンを指定します。(有料) import os os.environ["OPENAI_API_KEY"]
Google Colab で ImageBind を試す｜npaka
「Google Colab」で「ImageBind」を試したので、まとめました。 1. ImageBind「ImageBind」は、「画像」「テキスト」「音声」「深度(3D)」「熱」「IMU(慣性測定ユニット)」といった6つの異なるモダリティにまたがる共同埋め込みを学習します。これにより、クロスモーダル検索、演算によるモダリティの合成、クロスモーダル検出や生成など、すぐに使える新しい創発的アプリケーションを実現します。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」を選択。 (2) パッケージのインストール。 # パッケージのインストール !git clone https://github.com/facebookresearch/ImageBind %cd ImageBind
Google Colab ではじめる LoRA｜npaka
Google Colab で LoRA を試したのでまとめました。 1. LoRA「LoRA」(Low-rank Adaptation)は、数枚の被写体画像と対応するテキストを元にファインチューニングを行うことで、Text-to-Imageモデルに新たな被写体を学習させる手法です。 特徴は、次のとおりです。 ・Dreamboothより高速 ・VRAM 8GBでも動作 ・学習データだけ抽出して他モデルとマージできる ・学習結果のサイズが小さい (Unet のみで3MB、Unet+Clipで6MB) ・UnetとCLIPの両方をファインチューニング可能。 2. ファインチューニングの実行Colabでのファインチューニングの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」に「GPU」を選択。 (2) Googleドライブのマウント。 #
ChatGPTプラグイン の概要｜npaka
「OpenAI」の「ChatGPTプラグイン」の記事が面白かったので、かるくまとめました。 ・Chat Plugins - OpenAI API ・ウェイトリスト 1. ChatGPTプラグイン「ChatGPTプラグイン」は、「ChatGPT」をサードパーティのアプリケーションに接続するためのプラグインです。「ChatGPT」は、開発者によって定義されたAPIと対話し、機能を強化し、幅広いアクションを実行できるようになります。 次のような機能を追加できます。 ・リアルタイム情報の取得 (スポーツスコア、株価、最新ニュースなど) ・知識ベース情報の取得 (会社のドキュメント、個人的なメモなど) ・ユーザーに代わってアクションを実行 (フライトの予約、食べ物の注文など) プラグイン開発者は、マニフェストファイルとAPIエンドポイントを公開します。これらはプラグインの機能を定義し、「ChatGP
Google Colab で PEFT による大規模言語モデルのファインチューニングを試す｜npaka
「Google Colab」で 「PEFT」による大規模言語モデルのファインチューニングを試したので、まとめました。 1. PEFT「PEFT」(Parameter-Efficient Fine-Tuning)は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。 大規模言語モデルのファインチューニングは、多くの場合、法外なコストがかかりますが、「PEFT」は少数のパラメータのみをファインチューニングするため、計算コストとストレージ コストが大幅に削減でき、さらには、完全なファインチューニングに匹敵するパフォーマンスを実現します。 現在サポートしている手法は、次の4つです。 ・LoRA ・Prefix Tuning ・P-Tuning ・Prompt Tuning 2. Colabでの実行Google Colab
GPT Index のインデックスの種類｜npaka
1. GPT Index のインデックスの種類1-1. GPT Index のインデックスの種類「GPT Index」のインデックスの種類は、次のとおりです。 ・ベクトルストアインデックス : GPTSimpleVectorIndex、GPTFaissIndex、GPTWeaviateIndex ・リストインデックス : GPTListIndex ・ツリーインデックス : GPTTreeIndex ・キーワードテーブルインデックス : GPTKeywordTableIndex 1-2. クエリパラメータインデックス共通のクエリパラメータは、次のとおりです。 ◎ クエリパラメータ ・mode : モード ・response_mode : レスポンスモード ・required_keywords : ノードに存在する必要があるキーワードリスト (GPTTreeIndex以外)・exclude_k
Stable Dreamfusion によるテキストからの3D生成を試す｜npaka
「Stable Dreamfusion」によるテキストからの3D生成を試したので、まとめてみました。 1. DreamFusion「DreamFusion」は、Google ResearchとUC Berkeleyの研究チームが発表した、テキストから3Dを生成する手法です。事前学習したtext-to-2Dの拡散モデルを使って、text-to-3Dを実現します。 2. Stable Dreamfusion「Stable Dreamfusion」は、「DreamFusion」の論文を元に作られた、Stable Diffusionモデルを使った「DreamFusion」のPytorch実装です。 まだ多くの機能は実装中のため、元の論文の結果に匹敵するものではありませんが、テキストからの3Dオブジェクトの生成をいち早く体験できます。 （うまく生成できるプロンプトはまだ少ないみたい） (2) 「Ch
Google Colab で はじめる Stable Diffusion v1.4 (2) - img2img｜npaka
「Google Colab」で「Stable Diffusion」のimg2imgを行う方法をまとめました。 ・Stable Diffusion v1.4 ・diffusers 0.3.0 前回 1. img2img「Stable Diffusion」は、テキストから画像を生成する、高性能な画像生成AIです。テキストからだけでなく、テキストと入力画像を渡して画像を生成することもできます。 4. テキストと入力画像で画像生成テキストと入力画像を渡して画像生成する手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」に「GPU」を選択。 (2) 「Stable Diffusion」のインストール。 # パッケージのインストール !pip install --upgrade diffusers==0.3.0 transformers scipy(
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最近話題になった大規模言語モデルまとめ｜npaka