LLM のデータセットまとめ｜npaka
LLMのデータセットをまとめました。 1. 事前学習データセット1-1. Text・Wikipedia (ja) ・fujiki/wiki40b_ja ・shisa-pretrain-en-ja-v1 (ja) ・augmxnt/shisa-pretrain-en-ja-v1 ・Wikipedia (en) ・Wiki Demo (en) ・RefinedWeb (en) ・RedPajama V2 (en) ・Pile (en) ・SkyPile (zh) ・The Stack 2 (en) ・The Stack (en) ・StarCoder (en) 1-2. Code・The Stack 2 (en) ・The Stack (en) ・StarCoder (en) 2. SFTデータセット2-1. Instruction・ichikara-instruction (ja) ・ich
LlamaIndex の埋め込みモデルを Multilingual-E5-large に切り替える｜npaka
2. ドキュメントの準備はじめに、チャットボットに教える専門知識を記述したドキュメントを用意します。 今回は、マンガペディアの「ぼっち・ざ・ろっく！」のあらすじのドキュメントを用意しました。 ・bocchi.txt 3. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install llama-index !pip install sentence_transformers(2) 環境変数の準備。 以下のコードの <OpenAI_APIのトークン> にはOpenAI APIのトークンを指定します。(有料) import os os.environ["OPENAI_API_KEY"] = "<OpenAI_APIのトークン>"(3) ログレベルの設定。 import logging im
大規模モデルを単一GPUで効率的に学習する方法｜npaka
以下の記事が面白かったので、かるくまとめました。 ・Methods and tools for efficient training on a single GPU 1. LLMを単一GPUで効率的に学習する方法大規模モデルの学習では、次の2つを考慮する必要があります。 ・スループット・学習時間 ・モデルのパフォーマンス 「スループット」 (サンプル / 秒) を最大化すると、学習コストの削減につながります。これは通常、GPUメモリを限界まで利用することで実現されます。必要なバッチサイズがメモリオーバーする場合は、「Gradient Accumulation」などの「メモリの最適化」が必要になります。 ただし、「推奨バッチサイズ」がメモリに収まる場合は、学習が遅くなる可能性があるため、「メモリの最適化」を適用する必要はありません。どのバッチサイズが最良の結果をもたらすかを決定し、それに応じ
LlamaIndex の Gemini統合 を試す｜npaka
「LlamaIndex」の「Gemini」統合を試したので、まとめました。 ・llama-index v0.10.14 1. Gemini と GeminiEmbedding「llama-index-llms-gemini」パッケージの「Gemini」と「llama-index-embeddings-gemini」パッケージの「GeminiEmbedding」を通じて、Googleの「Gemini」と「Embedding」およびその他の生成モデルにアクセスできます。 3. 質問応答Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 「llama-index-llms-gemini」と「llama-index-embeddings-gemini」をインストールします。 # パッケージのインストール !pip install llama-index==0.10.14
LangChain の Gemini統合 を試す｜npaka
「LangChain」の「Gemini」統合を試したので、まとめました。 ・langchain 0.1.9 1. ChatGoogleGenerativeAI「langchain-google-genai」パッケージの「ChatGoogleGenerativeAI」を通じて、Googleの「gemini」と「gemini-vision」およびその他の生成モデルにアクセスできます。 2. LLM呼び出しColabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 「langchain-google-genai」をインストールします。pillowはマルチモーダルで使用します。 # パッケージのインストール !pip install langchain==0.1.9 langchain-google-genai pillow(2) 環境変数の準備。 左端の鍵アイコンで「GOOG
Googleのオープンモデル Gemma の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Gemma: Introducing new state-of-the-art open models 1. Gemma「Gemma」は、「Gemini」と同じ技術を基に構築された、軽量で最先端のオープンモデルです。「Google DeepMind」と「Google」の他のチームによって開発された「Gemma」は、「Gemini」からインスピレーションを受けており、その名前はラテン語で「宝石」を意味するgemmaを反映しています。モデルの重み付けに伴い、開発者のイノベーションをサポートし、コラボレーションを促進し、「Gemma」の責任ある使用をガイドするためのツールもリリースします。 「Gemma」は本日より世界中で利用可能になります。 知っておくべき重要な詳細は次のとおりです。 ・「Gemma 2B」「Gemma 7B」の2つのサイズの
Llama.cpp で Karakuri LM を試す｜npaka
「Llama.cpp」で「Karakuri LM」を試したので、まとめました。 ・Llama.cpp (b2045) ・M3 Max 1. Karakuri LM「Karakuri LM」は、カスタマーサポートDXを推進するカラクリ株式会社が開発したLlama2ベースの70Bの日本語LLMです。「Japanese MT-Bench」の性能評価において、2024年1月26日時点で国産LLMモデルとして最高性能を達成しています。 2. Karakuri LM のモデル一覧2-1. 公式モデル現在提供されているモデルは、次の2つです。 ・karakuri-ai/karakuri-lm-70b-v0.1 ・karakuri-ai/karakuri-lm-70b-chat-v0.1 2-2. 量子化モデル量子化モデルは、mmngaさんが提供されています。推奨は、「Q4_K_M」「Q5_K_M」「Q5
LangChain の Tavily Serch API を試す｜npaka
「LangChain」の「Tavily Serch API」を試したので、まとめました。 1. Tavily「Tavily」は、AIエージェント専用に構築された検索エンジンです。AIの機能を強化し、リアルタイムで正確かつ事実に基づいた結果を迅速に提供します。「Search API」を使用することで、AIエージェントが信頼できるリアルタイムな知識を取得できるようになり、ハルシネーションや偏見を軽減し、より適切な意思決定が可能になります。 「LangChain」では「Retriever」(TavilySearchAPIRetriever) などで利用することができます。 3. TavilyのAPIキーの取得「Tavily」のサイトにログインすることで、APIキーを取得できます。 4. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケー
LangGraph の概要｜npaka
以下の記事が面白かったので、かるくまとめました。 ・LangGraph 1. LangGraph「LangGraph」は、LLMでステートフルな「マルチアクターアプリケーション」を構築するためのライブラリです。「LCEL」(LangChain Expression Language) を拡張して、複数チェーン (またはアクター) を複数ステップにわたって循環的に協調動作させることができます。 「LangChain」の大きな価値の1つに、カスタムチェーンを簡単に作成できることがあります。このための機能として「LCEL」を提供してきましたが、サイクルを簡単に導入する方法がありませんでした。「LangGraph」によって、LLMアプリケーションにサイクルを簡単に導入できるようになりました。 2. エージェントとステートマシン2-1. エージェントエージェントの最も単純で同時に最も野心的な形式は、
Google Colab で LangGraph を試す｜npaka
「Google Colab」で「LangGraph」を試したので、まとめました。 ・LangChain v0.1.4 1. LangGraph「LangGraph」は、LLMでステートフルな「マルチアクターアプリケーション」を構築するためのライブラリです。「LCEL」(LangChain Expression Language) を拡張して、複数チェーン (またはアクター) を複数ステップにわたって循環的に協調動作させることができます。 「LangChain」の大きな価値の1つに、カスタムチェーンを簡単に作成できることがあります。このための機能として「LCEL」を提供してきましたが、サイクルを簡単に導入する方法がありませんでした。「LangGraph」によって、LLMアプリケーションにサイクルを簡単に導入できるようになりました。 2. Colabでの実行Colabでの実行手順は、次のとおり
LangChain の Research Assistant - チャット以外のUXの模索｜npaka
以下の記事が面白かったので、かるくまとめました。 ・"Research Assistant": Exploring UXs Besides Chat 1. チャットの欠点これまでの多くのLLMアプリはチャットベースです。「ChatGPT」は最も急成長しているコンシューマ向けアプリであり、チャットは合理的な UXです。ただし、UX としてのチャットにはいくつか欠点もあり、多くの場合、高パフォーマンスなアプリの作成が困難になる可能性があります。 1-1. 待ち時間主な欠点は、チャットに伴う遅延が予想されることです。チャットでは、ユーザーとしては迅速な応答を期待します。これが、LLMアプリにおいてストリーミングが非常に重要である理由です。高速応答のような錯覚が得られ、進行状況が可視化されます。 この待ち時間の予想は、バックグラウンドで多くの作業を行うのが困難であることを意味します。作業が増えれば
diffusers で LoRA を試す｜npaka
「diffusers」で「LoRA」を試したので、まとめました。 ・diffusers v0.24.0 1. LoRA「LoRA」(Low-Rank Adaptation)は、AIモデルの効率的な調整やカスタマイズのための手法です。手法は、モデルの重みを直接調整するのではなく、低ランク（小さい次元）の行列を用いてモデルの一部の重みを調整することにより、モデルの振る舞いを変更します。 この手法には、多くの利点があります。 ・効率性 : AIモデルを効率的にファインチューニングすることを可能にします。 ・カスタマイズ : 特定のタスクや用途に合わせてAIモデルをカスタマイズするのに適しています。 ・柔軟性 : AIモデルの基本的なアーキテクチャを保ちながら、その振る舞いを変更することができるため、柔軟性が高いです。 「LoRA」は小型で学習が高速ですが、ベースモデルとLoRAウェイト (アダプ
mergekit を使用してLLMをマージする｜npaka
以下の記事が面白かったので、かるくまとめました。 ・Merge Large Language Models with mergekit 1. モデルのマージモデルのマージは、2つ以上のLLMを1つのモデルに結合する手法です。これは、新しいモデルを安価に作成するための比較的新しく実験的な方法です (GPUは必要ありません)。モデルのマージは驚くほどうまく機能し、 「Open LLM Leaderboard」に多くの最先端のモデルが生成されました。 このチュートリアルでは、「mergekit」を使用して独自のモデル「Marcoro14-7B-slerp」を作成します。このモデルは、「Open LLM Leaderboard」 (02/01/23) で最高のパフォーマンスを誇るモデルになりました。 コードは「GitHub」および「Google Colab」で入手できます。「mergekit」を簡
LangChain のための wandb 入門｜npaka
この入門記事は、「Weights & Biases」のご支援により提供されています。 1. wandb「wandb」 (Weights & Biases) は、機械学習の実験管理とモデルのパフォーマンス追跡に特化したツールです。 「wandb」の主な機能は、次のとおりです。 ・トレース : 実験のパラメータ、評価指標、出力を自動的にログに記録します。これにより、異なる実験間での比較や分析が容易になります。 ・視覚化: 学習中の評価ををリアルタイムで視覚化します。これにより、モデルのパフォーマンスを直感的に理解しやすくなります。 ・ハイパーパラメータの最適化 : 異なるハイパーパラメータのセットを試して、最適な組み合わせを見つけるのに役立ちます。 ・チームコラボレーション : チームメンバー間で実験のデータを共有し、コラボレーションを促進します。 ・統合 : 主要な機械学習フレームワーク (
Google Colab で phi-2 を試す｜npaka
「Google Colab」で「phi-2」を試したので、まとめました。 1. phi-2「phi-2」は、教科書レベルの高品質データセットを使って高性能な小規模モデルを実現しようとするマイクロソフトリサーチの最新のSLM (Small Language Model) です 2. phi-2のモデル「phi-2」は、現在1つのモデルのみが提供されています。 ・microsoft/phi-2 : ベースモデル 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。 (2) パッケージのインストール。 # パッケージのインストール !pip install transformers sentencepiece accelerate bitsandbytes einops(2) トー
Google Colab で Gemini API を試す｜npaka
「Google Colab」で「Gemini API」を試したので、まとめました。 1. Gemini API「Gemini API」は、「Google DeepMind」が開発したマルチモーダル大規模言語モデル「Gemini」を利用するためのAPIです。 3. Gemini API の準備Colabでの「Gemini API」の準備手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install -q -U google-generativeai(2) 「Google AI Studio」からAPIキーを取得し、Colabのシークレットマネージャーに登録。 キーは「GOOGLE_API_KEY」とします。 import google.generativeai as genai from google.colab import userd
TensorFlow Lite入門 / TensorFlow Liteの概要｜npaka
1. TensorFlow Liteとは「TensorFlow Lite」は、モバイル端末上でより軽量でより高速に推論できるように最適化された、TensorFlow モデルのモバイル専用フォーマットおよび実行環境です。Googleが提供するツールにより、既存のモデルを「TensorFlow Liteモデル」(*.tflite)に変換することで、iOS やAndroid などの端末で推論モデルを利用できるようになります。 ただし「TensorFlow Lite」は、現在のところ限られた演算子しかサポートしていないため、すべてのモデルが動作するわけではありません。 2. 事前に訓練されたモデル事前に訓練されたモデルとして、以下のモデルが提供されています。 ・画像分類 ・物体検出 ・スマートリプライ ・ポーズ推定 ・セグメンテーション 3. TensorFlow Liteコンバータ「Tensor
Gemini Nano と Android AICore の概要｜npaka
以下の記事が面白かったので、かるくまとめました。 ・A New Foundation for AI on Android 1. Gemini Nano「Gemini Nano」は、「Gemini」モデルから蒸留してモバイル向けに最適化されたモデルです。モバイル上で直接実行され、さまざまなユースケースをサポートします。デバイス上で実行すると、エンドツーエンドの暗号化メッセージングアプリでメッセージへの返信を提案するなど、データがデバイスの外に流出しない機能が有効になります。また、ネットワークがない場合でも常に利用できます。 2. Android AICore「Android AICore」は、「Gemini Nano」への簡単なアクセスを提供する 「Android 14」の新しいシステムサービスです。「AICore」はモデル管理、ランタイム、安全機能などを処理し、AI をアプリに組み込む作業
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本語LLM の学習に関する技術記事まとめ｜npaka
Google のAIリリース年表｜npaka
