以下の記事が面白かったので、簡単にまとめました。 ・Hello GPT-4o 1. GPT-4o「GPT-4o」 (「omni」の「o」) は、人間とコンピュータのより自然な対話に向けた一歩です。テキスト、音声、画像のあらゆる組み合わせを入力として受け入れ、テキスト、音声、画像の出力のあらゆる組み合わせを生成します。 音声入力にはわずか232ミリ秒 (平均320ミリ秒) で応答できます。これは、人間の会話における応答時間とほぼ同じです。英語のテキストおよびコードでは「GPT-4 Turbo」のパフォーマンスに匹敵し、英語以外の言語のテキストでは大幅に改善されており、APIでははるかに高速で50%安価です。「GPT-4o」は、既存のモデルと比較して、特に視覚と音声の理解に優れています。 2. モデルの機能「GPT-4o」以前は、音声モードを使用して、平均2.8秒 (GPT-3.5) および5

以下の記事が面白かったので、かるくまとめました。 ・SDXL in 4 steps with Latent Consistency LoRAs 1. はじめに「LCM」 (Latent Consistency Model) は、元モデルを別モデルに蒸留することで、画像生成に必要なステップ数を減らす手法です。25～50ステップかかっていた処理を4～8ステップで可能にします。 蒸留したモデルは、より小さくなるように設計される場合 (DistilBERT、Distil-Whisperなど)と、必要なステップ数が少なくなるように設計される場合があります。これは通常、膨大な量のデータ、忍耐力、少数のGPU を必要とし、時間とコストが必要でした。しかし、それも過去の話です。 11月9日 、「LCM」で蒸留したかのように「Stable Diffusion」「SDXL」を本質的に高速化できる新手法「LCM

以下の記事が面白かったので、かるくまとめました。 ・Introducing Microsoft Copilot Studio and new features in Copilot for Microsoft 365 1. はじめに「Microsoft」は「Microsoft Ignite 2023」にて「Microsoft Copilot」全体にわたる新しいイノベーションを発表しました。あらゆる場面で「Copilot」が、「Web」「PC」「職場」のコンテキストを理解し、必要なときに適切なスキルを提供します。 2. Copilot の製品ラインナップの更新「Bing Chat」「Bing Chat Enterprise」は、シンプルに「Copilot」になります。質問応答、コンテンツ作成、データ解説などの基本的な機能が備わっています。また、Web基盤があるため、常に最新の情報にアクセスで

以下の記事が面白かったので、かるくまとめました。 ・New models and developer products announced at DevDay 1. GPT-4 Turbo「GPT-4 Turbo」は、「GPT-4」より高性能です。2023年4月までの知識と128kのコンテキストウィンドウを持ちます。さらに、「GPT-4」と比較して入力は1/3、出力は1/2の安い価格で提供します。 開発者はモデルID「gpt-4-1106-preview」で試すことができます。今後数週間以内に、安定した実稼働モデルをリリースする予定です。 1-1. Function Calling の更新「Function Calling」に、単一メッセージから複数のFunction (「車の窓を開けてエアコンをオフにする」など) を呼び出す機能などが追加されました。精度も向上しています。 1-2. 構造

「Windows Copilot」の使い方をかるくまとめました。 ・Welcome to Copilot in Windows 1. Windows Copilot「Windows Copilot」は「Windows 11」に搭載された人工知能ツールであり、「Bing Chat」と連携して、Windowsにまつわる各種作業をサポートします。「Windows Update」で最新版 (22H2以降) にアップデートすることで、利用できるようになります。 2. Windows Copilot の使い方「Windows Copilot」の使い方は、次のとおりです。 (1) 「タスクバーのCopilotアイコンをクリック」または「Win+C」で起動。 サインイン中のMicrosoftアカウントを使用するため、Windowsにローカルアカウントでサインインしている場合は利用できません。 (2) 会話

2. GitHub Copilot Chatの開始「GitHub Copilot Chat」の開始手順は、次のとおりです。 (1) 「GitHub Copilot」のセットアップ。 「GitHub Copilot」のセットアップが必要です。 (2) VSCodeの拡張機能で「GitHub Copilot Chat」をインストール。 (3) チャットタブが追加されるので、クリック。 (4) チャットのメッセージボックスに質問を入力。 コードを開いて「このコードを説明して」と頼むと、次のように説明してくれました。 エディタでコードが選択されている場合、Copilot は選択した範囲に質問を絞り込みます。 3. スラッシュコマンド「Copilot」がより適切な回答を提供できるように、「スラッシュコマンド」を使用して質問のトピックを選択できます。 ・/explain : 選択したコードがどのように

「ELYZA-japanese-Llama-2-7b」で「LlamaIndex」を試したのでまとめました。 【注意】Google Colab Pro/Pro+ の A100 で動作確認しました。 ・LlamaIndex v0.8.14 1. 使用モデル今回は、「ELYZA-japanese-Llama-2-7b-instruct」と埋め込みモデル「multilingual-e5-large」を使います。 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」の「A100」を選択。 (2) パッケージのインストール。 # パッケージのインストール !pip install llama-index !pip install transformers accelerate bitsandbyt

以下の記事が面白かったので、かるくまとめました。 ・Introducing Code Llama, a state-of-the-art large language model for coding 1. はじめに「Code Llama」は、コードと自然言語の両方からコードとコードに関する自然言語を生成できる最先端のLLMです。研究および商用利用が可能で、無料で利用できます。 「Code Llama」は「Llama 2」ベースで、次の3つのモデルを提供します。 ・Code Llama : 基本的なコード生成モデル。 ・Code Llama - Python : Pythonに特化したコード生成モデル。 ・Code Llama - Instruct : 自然言語の指示を理解できるようにファインチューニングしたモデル。 ベンチマークテストではコードタスクにおいて、公的に入手可能な最先端のLL

1. ファインチューニングの利点ファインチューニングの利点は、次のとおりです。 (1) プロンプトよりも高品質な応答 (2) プロンプトに収まりきらないより多くの例の適用 (3) プロンプトの短縮によるトークン数 (コスト) の節約 (4) プロンプトの短縮による処理時間の短縮 モデルは膨大な量のテキストで事前学習されており、このモデルを効果的に利用するため、プロンプトに手順や応答の例を指定する手法が使われます。この例を使用してタスクの実行方法を示すことを「Few-Shot」と呼びます。 ファインチューニングで、プロンプトに収まりきらないより多くの例で学習することにより、さまざまなタスクでより良い結果を達成できるようになります。プロンプトに多くの例を指定する必要はなくなります。これによりトークン (コスト) が節約され、処理時間も短縮されます。 2. ファインチューニングの使用料金ファイン

「Google Colab」で「Weblab-10B」を試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. Weblab-10B「Weblab-10B」は、「東京大学松尾研究室」が開発した、100億パラメータサイズ・日英2ヶ国語対応の大規模言語モデルです。 2. Weblab-10Bのモデル「Weblab-10B」では、次の2種類のモデルが公開されています。 ・matsuo-lab/weblab-10b : ベースモデル ・matsuo-lab/weblab-10b-instruction-sft : 指示モデル 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install transformers sentencepiece

「Google Colab」で「AI BunCho」で利用されているモデル「japanese-novel-gpt-j-6b」を試したので、まとめました。 【注意】T4のハイメモリで動作確認しています。 1. japanese-novel-gpt-j-6b「japanese-novel-gpt-j-6b」は、日本初のAI(大規模言語モデル)を使用した創作支援アプリ「AI BunCho」で利用されているモデルです。「GPT-J-6B」をTPUで2週間日本語トークナイザーを用いて日本語データで事前学習し、その後2週間小説データで転移学習したものになります。 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「T4」の「ハイメモリ」を選択。 (2) パッケージのインストール。 # パッケ

「Google Colab」での「JP Language Model Evaluation Harness」による日本語LLMの評価手順をまとめました。 1. JP Language Model Evaluation Harness「JP Language Model Evaluation Harness」は、Stability AI が作成されてる、日本語 LLM の評価コードです。 2. 評価データセット「JCommonsenseQA」と「JNLI」と「MARC-ja」と「JSQuAD」の4つのデータセットで評価しています 2-1. JCommonsenseQA「JCommonsenseQA」は 常識的な推論能力を必要とする多肢選択式質問応答タスクのデータセットです。「CommonsenseQA」の日本語版になります。 2-2. JNLI「JNLI」は、前提文が仮説文に対して持つ推論関

「Google Colab」で「Llama 2 + LangChain」の RetrievalQA を試したのでまとめました。 1. 使用モデル今回は、「Llama-2-7b-chat-hf」(4bit量子化)と埋め込みモデル「multilingual-e5-large」を使います。 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」を選択。 (2) パッケージのインストール。 # パッケージのインストール !pip install langchain accelerate bitsandbytes sentence_transformers !pip install faiss-gpu(3) HuggingFaceのログイン。 # HuggingFaceのログイン !hugging

3. ローカルでの実行ローカルでの実行手順は、次のとおりです。 (1) Pythonの仮想環境の準備。 (2) 「Llama 2」(llama-2-7b-chat.ggmlv3.q4_0.bin)の準備。 前回と同様です。 (3) パッケージのインストール。 macOSはGPU対応が面倒そうなので、CPUにしてます。 $ pip install llama-cpp-python $ pip install langchain $ pip install faiss-cpu $ pip install sentence_transformers(4) コードの作成。 ・hello_qa.py import logging import sys from langchain.chains import RetrievalQA from langchain.embeddings import H

以下の記事が面白かったので、軽くまとめました。 ・Llama 2 is here - get it on Hugging Face 1. Llama 2「Llama 2」は、Metaが開発した、7B・13B・70B パラメータのLLMです。 長いコンテキスト長 (4,000トークン) や、70B モデルの高速推論のためのグループ化されたクエリアテンションなど、「Llama 1」と比べて大幅な改善が加えられています。 そして、このリリースの最もエキサイティングな部分は、「RLHF」を使用して対話用に最適化されたモデル「Llama 2-Chat」です。 有用性と安全性の幅広いベンチマークにおいて、「Llama 2-Chat」ほとんどのオープンモデルよりも優れたパフォーマンスを示し、人間の評価によるとChatGPTと同等のパフォーマンスを達成しています。 2. デモ以下のスペースで、「Llama

「Google Colab」で「xGen」を試したので、まとめました。 1. xGen「xGen」は、「Salesforce」が開発した、8Kの文脈をあつかえる7BのローカルLLMです。長い文脈をあつかう対話、質問応答、要約が同サイズのモデルと比べ大きく改善されているとのことです。 2. モデル一覧「xGen」は、次の3つのモデルが提供されています。 ・Salesforce/xgen-7b-8k-inst ・Salesforce/xgen-7b-8k-base ・Salesforce/xgen-7b-4k-base 3. Colabでの実行「Google Colab」での実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install transformers !pip install tiktoken(2) トークナイザーとモデルの

以下の記事で紹介されている、LoRAファインチューニングのパラメータ調整ガイドがわかりやすかったので、簡単にまとめました。 ・Training Your Own LoRAs 前回 1. VRAMはじめに、「VRAM」を考える必要があります。 ・一般に、デフォルトパラメータを使用した学習でのVRAM使用量は、デフォルト設定で (1000以上のコンテキストトークンを含む) テキストを生成する時とほぼ同じになります。つまり、テキストを生成できれば、LoRAを学習できます。 ・VRAMに余裕がある場合は、より高い「batch size」を設定すると、より多くのVRAMが使用され、その代わりに学習の質が向上します。 ・データが大きい場合は、「cutoff length」を高く設定すると効果的ですが、VRAMが大幅に消費されます。余裕がある場合は、「batch size」を「1」に設定し、「cutof

「text-generation-webui」で「Rinna」「OpenCALM」「RWKV」を試したので、まとめました。 ・Windows 11 1. text-generation-webui「text-generation-webui」は、大規模言語モデルを実行するためのWeb UIです。テキスト生成の「AUTOMATIC1111」になることを目標としています。 特徴は、次のとおりです。 ・3つのインターフェイスモード (default, notebook, chat) ・モデルバックエンド (transformers, llama.cpp, AutoGPTQ, GPTQ-for-LLaMa, ExLlama, RWKV, FlexGen) ・ドロップダウンメニューによるモデル切り替え ・LoRA (ロード・アンロード・学習) ・プロンプトテンプレート (Alpaca, Vicuna

「Google Colab」で「Falcon-7B」のQLoRAファインチューニングを試したのでまとめました。 【注意】「Google Colab Pro/Pro+」で使えるA100で動作確認してます。 1. trl v0.4.2「QLoRA」(bitsandbytesによる4bit量子化)を使用した大規模モデルの学習、新クラス「RewardTrainer」「SFTTrainer」を含むTRLの新バージョンで、「RLHF」をエンドツーエンドで簡単に実行可能になりました。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」で「A100」を選択。 (2) パッケージのインストール。 「SFTTrainer」を利用するため「accelerate」「peft」「transformers」「d

「Google Colab」で「Rinna-3.6B」のLoRAファインチューニングを試したのでまとめました。 【注意】Google Colab Pro/Pro+ の A100で動作確認しています。VRAMは14.0GB必要でした。 1. Rinna-3.6B「OpenCALM-7B」は、「サイバーエージェント」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチューニングすることで、対話型AI等の開発が可能です。 「Rinna-3.6B」は、「Rinna」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチューニングすることで、対話型AI等の開発が可能です。 2. 学習「Google Colab」で「Rinna-3.6B」のLoRAファインチューニングを行います。データセットは@kun1em0nさんの「k