gpt2-japaneseの使い方 (1) - mediumモデルによる日本語テキスト生成｜npaka
「gpt2-japanese」の「mediumモデル」が公開されたので、AIによる日本語テキスト生成を試してみました。 1. gpt2-japaneseのインストール (1) Google Colabのノートブックを開く。 (2) メニュー「編集→ノートブック→ハードウェアアクセラレータ」で「GPU」を選択。 (3) 以下のコマンドで、「gpt2-japanese」をインストール。 # gpt2-japaneseのインストール !git clone https://github.com/tanreinama/gpt2-japanese %cd gpt2-japanese !pip install -r requirements.txt2. モデルのダウンロード「mediumモデル」を「gpt2-japanese」フォルダにダウンロードします。 # mediumモデルのダウンロード !wge
GPT-4o の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Hello GPT-4o 1. GPT-4o「GPT-4o」 (「omni」の「o」) は、人間とコンピュータのより自然な対話に向けた一歩です。テキスト、音声、画像のあらゆる組み合わせを入力として受け入れ、テキスト、音声、画像の出力のあらゆる組み合わせを生成します。 音声入力にはわずか232ミリ秒 (平均320ミリ秒) で応答できます。これは、人間の会話における応答時間とほぼ同じです。英語のテキストおよびコードでは「GPT-4 Turbo」のパフォーマンスに匹敵し、英語以外の言語のテキストでは大幅に改善されており、APIでははるかに高速で50%安価です。「GPT-4o」は、既存のモデルと比較して、特に視覚と音声の理解に優れています。 2. モデルの機能「GPT-4o」以前は、音声モードを使用して、平均2.8秒 (GPT-3.5) および5
Google Colab で デルタもんLoRA を試す｜npaka
「Google Colab」で「デルタもんLoRA」を試したので、まとめました。 1. デルタもんLoRA「デルタもんLoRA」が「アルファパラダイス」のキャラクター「デルタもん」のLoRAです。「アルファパラダイス」のイラスト・音声・3Dデータなどのコンテンツは、AI に関連した利用に限り、目的を問わず自由に使うことができるとのこと。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。 (2) パッケージのインストール。 # パッケージのインストール !pip install diffusers peft(3) 「HuggingFace」からAPIキー (Access Token) を取得し、Colabのシークレットマネージャーに登録。 キーは「HF_KEY」とします。
LangChain クイックスタートガイド - Python版｜npaka
Python版の「LangChain」のクイックスタートガイドをまとめました。 ・LangChain v0.0.329 (2023/11/3) 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。真の力は、それを他の 計算 や 知識 と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 主な用途は、次の3つになります。 ・文書に関する質問応答 ・チャットボット ・エージェント 2. LangChain のモジュール「L
LangChain のための wandb 入門｜npaka
この入門記事は、「Weights & Biases」のご支援により提供されています。 1. wandb「wandb」 (Weights & Biases) は、機械学習の実験管理とモデルのパフォーマンス追跡に特化したツールです。 「wandb」の主な機能は、次のとおりです。 ・トレース : 実験のパラメータ、評価指標、出力を自動的にログに記録します。これにより、異なる実験間での比較や分析が容易になります。 ・視覚化: 学習中の評価ををリアルタイムで視覚化します。これにより、モデルのパフォーマンスを直感的に理解しやすくなります。 ・ハイパーパラメータの最適化 : 異なるハイパーパラメータのセットを試して、最適な組み合わせを見つけるのに役立ちます。 ・チームコラボレーション : チームメンバー間で実験のデータを共有し、コラボレーションを促進します。 ・統合 : 主要な機械学習フレームワーク (
OpenAI API で提供されている モデル まとめ｜npaka
「OpenAI API」で提供されている「モデル」をまとめました。 ・Model - OpenAI API 1. OpenAI API で提供されている モデル「OpenAI API」で提供されている「モデル」は、次のとおりです。 ・GPT-4 / GPT-4 Turbo : GPT-3.5を改善し、自然言語やコードを理解し、生成できるモデル ・GPT-3.5 : GPT-3を改善し、自然言語やコードを理解し、生成できるモデル ・DALL-E : 自然言語から画像を生成および編集できるモデル ・TTS : テキストを自然な音声に変換できるモデル ・Whisper : 音声をテキストに変換できるモデル ・Embedding : テキストをベクトル表現に変換できるモデル ・Moderation : テキストが機密または安全かどうかを検出できるモデル ・GPT base : ファインチューニング
VRM入門｜npaka
1. VRMとは「VRM」は、プラットフォーム非依存の3Dアバターファイルフォーマットです。「人型のキャラクター・アバター」において、細かいモデルデータの差違を吸収し、アプリケーション側での取り扱いしやすくすることを目的としています。UnityでVRMファイルを読み書きする標準実装が提供されますが、フォーマット自体はプラットフォーム非依存であり他エンジンや環境でも取り扱うことが可能です。 2. VRMの特徴VRMの特徴は次のとおりです。 ・プラットフォーム非依存で人型のキャラクター3Dモデルデータを取り扱うことが可能。 ・3D標準の「glTF2.0」をベースに、人型モデルを取り扱うための制約と拡張を加えたフォーマット。 ・テクスチャやマテリアルなどすべてのデータを含めて1ファイルにまとめられる。 ・スケール（1.00 = 1m）・座標系と向き（Y-up, -Z方向向き）など標準仕様が決まっ
OpenAI API の ファインチューニングガイド｜npaka
1. ファインチューニングの利点ファインチューニングの利点は、次のとおりです。 (1) プロンプトよりも高品質な応答 (2) プロンプトに収まりきらないより多くの例の適用 (3) プロンプトの短縮によるトークン数 (コスト) の節約 (4) プロンプトの短縮による処理時間の短縮 モデルは膨大な量のテキストで事前学習されており、このモデルを効果的に利用するため、プロンプトに手順や応答の例を指定する手法が使われます。この例を使用してタスクの実行方法を示すことを「Few-Shot」と呼びます。 ファインチューニングで、プロンプトに収まりきらないより多くの例で学習することにより、さまざまなタスクでより良い結果を達成できるようになります。プロンプトに多くの例を指定する必要はなくなります。これによりトークン (コスト) が節約され、処理時間も短縮されます。 2. ファインチューニングの使用料金ファイン
Unity ML-Agents 0.11.0のチュートリアル｜npaka
1. Unity ML-Agents「Unity ML-Agents」は、Unity で「強化学習」の「環境」を構築し、「エージェント」の学習および推論を行うためのフレームワークです。 最新版「0.11.0」では、「BroadcastHub」「Brain」が廃止され、よりシンプル&スマートになりました。サンプルの学習環境「3DBall」を使って、学習および推論の手順を解説します。 ・Unity ML-Agents 2. 開発環境の準備◎ Unityの開発環境のインストール 「Unity ML-Agents」を利用するには、「Unity 2017.4」以降が必要になります。今回は「2019.2.2f1」を使っています。 以下のサイトからダウンロード後、インストールしてください。 ・Unityのダウンロード ◎ Unity ML-Agentsのリポジトリのダウンロード 「Unity ML-Ag
Google Colab で Llama-2-70B-chat-GPTQ を試す｜npaka
1. AutoGPTQ「AutoGPTQ」を使って「Llama 2」の最大サイズ「70B」の「Google Colab」での実行に挑戦してみます。 2. Colabでの学習Google Colabでの学習手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」の「A100」を選択。 (2) パッケージのインストール。 # パッケージのインストール %cd /content !git clone https://github.com/PanQiWei/AutoGPTQ %cd AutoGPTQ !pip install . !pip install git+https://github.com/huggingface/transformers(2) トークナイザーとモデルの準備。 from transformers import A
GitHub Copilot Labs の使い方｜npaka
1. GitHub Copilot Labs「GitHub Copilot Labs」は、「GitHub Copilot」の実験的な機能を提供するVSCode拡張です。 以下の機能を提供しています。 ・コードの説明 ・コードを別の言語に翻訳 ・コードの編集 ・読みやすさの向上 ・型の追加 ・バグ修正 ・デバッグコードの追加・削除 ・コードをステップ毎に説明 ・コードの堅牢化 ・コードの分割 ・ドキュメントの追加 ・カスタム ・テストコードの生成 また、「GitHub Copilot Labs」では「GitHub Copilot」とは別の規約が適用されます。より多くの情報を収集する可能性があります。これは、実稼働ではなく、学習を目的として設計されているためになります。 2. GitHub Copilot Labsの開始「GitHub Copilot Labs」の開始手順は、次のとおりです。
rinnaの日本語GPT-2モデルのファインチューニングを試す｜npaka
「rinnaの日本語GPT-2モデル」のファインチューニングを「Huggingface Transformers 4.23.1」で試したのでまとめました。 ・Huggingface Transformers 4.23.1 1. rinnaの日本語GPT-2モデル「rinnaの日本語GPT-2モデル」は、70GBの日本語テキストをV100で約1カ月学習させた日本語テキスト生成のモデルです。 2. ファインチューニングの実行ファインチューニングの実行手順は、次のとおりです。 (1) Colabで新規ノートブックを作成し、メニュー「編集 → ノートブックの設定で「GPU」を選択。 (2) GPUの確認。 # GPUの確認 !nvidia-smi+----------------------------------------------------------------------------
ChatGPTプラグイン の作成方法｜npaka
1. ChatGPTプラグインの作成手順「ChatGPTプラグイン」の作成手順は、次のとおりです。 (1) APIの実装 (2) マニフェストファイルの作成 (3) OpenAPIドキュメントの作成 2. マニフェストファイルの作成2-1. マニフェストファイルの基本構成「マニフェストファイル」は、「ChatGPTプラグイン」のメタデータを記述するファイルです。APIのドメインの「/.well-known/ai-plugin.json」でホストします。 「マニフェストファイル」の基本構成は、次のとおりです。 { "schema_version": "v1", "name_for_human": "TODO Plugin", "name_for_model": "todo", "description_for_human": "Plugin for managing a TODO list.
gtp-2-simple (4) - Twitterのテキスト生成AIボットの作成｜npaka
以下の記事を参考に書いてます。 ・How to Build a Twitter Text-Generating AI Bot With GPT-2 1. はじめに「GPT-2」は、OpenAIによって作成されたテキスト生成ニューラルネットワークです。AIが自動生成するテキストアドベンチャゲームや、チェスの移動表記法で訓練したAIなどで、最近注目を集めています。 過去1か月間、Twitterアカウント@dril_gpt2は、「gpt-2-simple」を使用して@drilのツイートをファインチューニングし、チューリングテストの限界を押し広げるツイートを生成しました。 this is what big data looks like: a) filtering out the people with fucked-up hair b) automatically generating news
Google Colab で はじめる Stable Diffusion v1.4｜npaka
2. ライセンスの確認以下のモデルカードにアクセスして、ライセンスを確認し、「Access Repository」を押し、「Hugging Face」にログインして（アカウントがない場合は作成）、同意します。 4. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」に「GPU」を選択。 (2) 「Stable Diffusion」のインストール。 # パッケージのインストール !pip install diffusers==0.3.0 transformers scipy ftfy(3) トークン変数の準備。 以下の「<HugginFace Hubのトークン>」の部分に、先程取得したHuggingFace Hubのトークンをコピー&ペーストします。 # トークン変数の準備 YOUR_TOKEN="<H
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
著書一覧｜npaka
npaka｜note