UTM による macOS への Ubuntu のインストール手順｜npaka
(2) HomeBrewで「UTM」をインストール。 「アプリケーション」に「UTM.app」が追加されています。 brew install --cask utm3. Ubuntu Server のインストール(1) Ubuntuイメージのダウンロード。 ARM版の「Ubuntu Server」のISOイメージをダウンロードします。 今回は「Ubuntu 22.04.5 LTS」を使用しました。 (2) 「アプリケーション」の「UTM.app」を起動し、「新規仮想マシンを作成」をクリック。 (3) 「仮想化」、「Linux」をクリックし、「起動ISOイメージ」に先ほどダウンロードしたUbuntuイメージを指定し、「続ける」をクリック。 (4) 設定を確認しながら「続ける」を繰り返す。 今回はすべてデフォルトのままとしました。 (5) 「Linux」をダブルクリック。 (6) 設定を確認しな
Google Colab で Flux のLoRAファインチューニングを試す｜npaka
「Google Colab」で「Flux」のLoRAファインチューニングを試したのでまとめました。 【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. AI Toolkit by Ostris今回は「AI Toolkit by Ostris」で「Flux」のLoRAファインチューニングを行いました。 Did a lot of testing on my LoRA training script for @bfl_ml FLUX.1 dev model. Amazing model! I think it is finally ready. Running smooth on a single 4090. Posting a guide tomorrow. Special thanks to @araminta_k for helping me test
Dify で RAG を試す｜npaka
1. RAG「RAG」(Retrieval Augmented Generation) は、最新の外部知識の習得とハルシネーションの軽減という、LLMの2つの主要課題に対処するためのフレームワークです。開発者はこの技術を利用して、AI搭載のカスタマーボット、企業知識ベース、AI検索エンジンなどをコスト効率よく構築できます。これらのシステムは、自然言語入力を通じて、さまざまな形態の組織化された知識と相互作用します。 下図では、ユーザーが「アメリカの大統領は誰ですか？」と尋ねると、システムは回答のためにLLMに質問を直接渡しません。代わりに、ユーザーの質問について、知識ベース (Wikipediaなど) でベクトル検索を実施します。意味的な類似性マッチングを通じて関連するコンテンツを見つけ (たとえば、「バイデンは現在の第46代アメリカ合衆国大統領です...」)、LLMに発見した知識とともにユ
Apple Vision Pro で3Dキャラクターに付いてきてもらう｜npaka
「Apple Vision Pro」での3Dキャラクターに付いてきてもらう手順をまとめました。 ・Xcode 15.2 (Apple Silicon) 前回 1. VRM を usdz に変換「VRM」をusdzに変換する手順は、次のとおりです。 (1) モデルの準備。 「ニコニコ立体」から「ニコニコ立体ちゃん」をダウンロードします。 (2) Blenderを起動して「VRM Add-on for Blender」をインストール。 リポジトリからアドオンファイル (VRM_Addon_for_Blender-release.zip) をダウンロードし、Blenderの「プリファレンス→アドオン→インストール」でインストールし、チェックボックスで有効化します。 (3) Blenderのメニュー「ファイル → インポート → VRM」でニコニコ立体ちゃんのVRMファイル (AliciaSoli
mac版 の Stability Matrix を試す｜npaka
mac版の「Stability Matrix」がリリースされたので、試してみました。 ・Stability Matrix v2.8.2 ・M3 Max (Sonoma 14.3.1) 1. Stability Matrix「Stability Matrix」は、「Stable Diffusion WebUI」のパッケージマネージャーです。ワンクリックでインストールとアップデートが可能です。 ・Automatic 1111, Automatic 1111 DirectML, SD Web UI-UX, SD.Next ・Fooocus, Fooocus MRE, Fooocus ControlNet SDXL, Ruined Fooocus ・ComfyUI ・VoltaML ・InvokeAI ・Kohya's GUI ・OneTrainer 2. インストールmacへのインストールの手順
diffusers で ControlNet を試す｜npaka
「diffusers」で「ControlNet」を試したので、まとめました。 1. ControlNet「ControlNet」は、「Stable Diffusion」モデルにおいて、新たな条件を指定することで生成される画像をコントロールする機能です。プロンプトでは指示しきれないポーズや構図の指定が可能になります。 2. ControlNetの更新履歴「diffusers」のControlNetの更新履歴は、次のとおりです。 2-1. diffusers v0.14.0・Stable Diffusion 1.5用のControlNet Stable Diffusion 1.5用に8つのControlNetのモデルを提供。 2-2. diffusers v0.15.0・Multi-ControlNet 一度に複数のControlNetのモデルを使用可能に 2-3. diffusers v0.
Meta Quest 3 の Depth API を試す｜npaka
1. Depth API「Quest 3」の「Depth API」は、ユーザーの視点から見た物理環境の深度を表すリアルタイムの深度マップを提供します。「Depth API」を使用することで、移動するオブジェクトの動的オクルージョンをサポートできるようになりました。 オクルージョンには、「ハードオクルージョン」と「ソフトオクルージョン」があります。 ・ハードオクルージョン : 計算コストは低いが、エッジがギザギザが目立つ ・ソフトオクルージョン : 視覚的に魅力的ですが、より多くのGPUが必要 2. 実験的機能の有効化「Depth API」は実験的機能です。「Quest 3」の「Depth API」の有効化の手順は、次のとおりです。 (1) Quest 3 と PC が接続している時に、以下のコマンドを実行。 adb shell setprop debug.oculus.experimen
Building Blocks による Meta Quest 3 アプリの作成 ｜npaka
「Building Blocks」による Meta Quest 3 アプリの作成手順をまとめました。 前回 1. Building Blocks「Building Blocks」は、パススルー、ハンドトラッキング、アイゲイズなどの機能を、現在のシーンに追加ボタンを押すだけで追加できる機能です。今回は、パススルーの機能を追加します。 ・Building Blocks 2. Unityのプロジェクト作成Unityのプロジェクトの作成手順は、以下の記事と同様です。 3. Building Blocks でパススルー追加Building Blocks でパススルーを追加する手順は、次のとおりです。 (1) メニュー「Oculus → Tools → Building Blocks」を選択。 提供されているブロックは、次の通りです。 ・Camera Rig [VR] Oculus用のカメラリグ ・B
はじめての Meta Quest 3 アプリの作成 ｜npaka
はじめての Meta Quest 3 アプリの作成手順をまとめました。 1. Meta Quest Developer Hubの準備はじめに、Meta Quest Developer Hubの準備を行います。 2. UnityのインストールUnityのインストール手順は、次のとおりです。 (1)「Unity Hub」のインストール。 (2)「Unity Hub」で「Unity 2021.3」をインストール。 (3)「Add Modules」で「Android Build Support」と「Android SDK & NDK Tools」「OpenJDK」をチェック。 3. Unityのプロジェクト作成Unityのプロジェクトの作成手順は、次のとおりです。 (1) Unityの「3D」(または「URP」)のプロジェクトの作成。 (2) メニュー「File → Build Settings」
Meta Quest 3 アプリ開発ガイド｜npaka
以下の記事が面白かったので、かるくまとめました。 ・Start Building with Meta Quest 3 1. Meta Quest 3 アプリ開発ガイド2023年10月10日、「Meta Quest 3」が発売されました。前モデル「Meta Quest 2」から大幅な性能向上を果たし、カラーパススルーに対応することでMR (Mixed Reality) にも最適化されたヘッドセットになりました。 この記事では、「Meta Quest 3」のアプリ開発をはじめるにあたって、どのドキュメントから読みはじめれば良いかをガイドします。 2. MRのアプリ開発の基礎知識MRのアプリ開発がはじめての場合は、「MR Design Guidelines」で「MR」の基礎を学ぶことをお勧めします。 ・MRの概要 ・デザインのベストプラクティス ・仮想オブジェクトと物理世界を融合させる ・仮想オ
Meta Quest Developer Hub の使い方｜npaka
「Meta Quest Developer Hub」の使い方をまとめました。 1. Meta Quest Developer Hub「Meta Developer Hub」は、PCから直接Meta Questの各種操作を行うためのツールです。 ・Meta Quest開発者ハブ 2. Meta Questの開発者モードの有効化「Meta Developer Hub」を使うには、「Meta Quest」の開発者モードの有効化が必要です。 (1) スマートフォンの「Meta Questアプリ」を起動してログイン。 ・iOS ・Android (2)「デバイス」を選択し、「Meta Quest」とスマートフォンをペアリング。 (3) 「ヘッドセットの設定 → 開発者モード」を選択し、有効化。 (4) 開発者登録をしていない場合は、開発者登録を要求されるので登録。 (5) USBケーブルで「Meta
OpenAI API の ファインチューニングガイド｜npaka
1. ファインチューニングの利点ファインチューニングの利点は、次のとおりです。 (1) プロンプトよりも高品質な応答 (2) プロンプトに収まりきらないより多くの例の適用 (3) プロンプトの短縮によるトークン数 (コスト) の節約 (4) プロンプトの短縮による処理時間の短縮 モデルは膨大な量のテキストで事前学習されており、このモデルを効果的に利用するため、プロンプトに手順や応答の例を指定する手法が使われます。この例を使用してタスクの実行方法を示すことを「Few-Shot」と呼びます。 ファインチューニングで、プロンプトに収まりきらないより多くの例で学習することにより、さまざまなタスクでより良い結果を達成できるようになります。プロンプトに多くの例を指定する必要はなくなります。これによりトークン (コスト) が節約され、処理時間も短縮されます。 2. ファインチューニングの使用料金ファイン
GitHub Copilot Labs の使い方｜npaka
1. GitHub Copilot Labs「GitHub Copilot Labs」は、「GitHub Copilot」の実験的な機能を提供するVSCode拡張です。 以下の機能を提供しています。 ・コードの説明 ・コードを別の言語に翻訳 ・コードの編集 ・読みやすさの向上 ・型の追加 ・バグ修正 ・デバッグコードの追加・削除 ・コードをステップ毎に説明 ・コードの堅牢化 ・コードの分割 ・ドキュメントの追加 ・カスタム ・テストコードの生成 また、「GitHub Copilot Labs」では「GitHub Copilot」とは別の規約が適用されます。より多くの情報を収集する可能性があります。これは、実稼働ではなく、学習を目的として設計されているためになります。 2. GitHub Copilot Labsの開始「GitHub Copilot Labs」の開始手順は、次のとおりです。
ローカルLLMの情報まとめ｜npaka
「ローカルLLM」の記事が増えてきたのでまとめました。 「Llama 2」ベースのローカルLLMについては、以下でまとめています。
StarCoder - コードのためのLLM｜npaka
1. BigCode「BigCode」は、「HuggingFace」と「ServiceNow」が共同で主導するオープンなコラボレーションです。コードのためのLLMの責任ある開発に取り組んでいます。 2. StarCoder「StarCoder」と「StarCoderBase」は、80以上のプログラミング言語、Gitコミット、GitHub issue、Jupyter notebookなど、GitHubから許可されたデータで学習したコードのためのLLM (Code LLM) です。「StarCoderBase」は15Bパラメータモデルを1兆トークンで学習、「StarCoder」は「StarCoderBase」を35Bトークンでファインチューニングしたモデルになります。 「StarCoder」は他のオープンなLLMよりも多くの入力を処理でき (8,000トークン以上)、幅広いアプリケーションを可
RLHF (人間のフィードバックからの強化学習) の図解｜npaka
以下の記事が面白かったので、軽く要約しました。 ・Illustrating Reinforcement Learning from Human Feedback (RLHF) 1. はじめに言語モデルは、人間の入力プロンプトから多様で説得力のあるテキストを生成することで、ここ数年、目覚ましい成果をあげています。しかし、「良い」テキストかどうかは、主観的で文脈に依存するため、定義することが困難です。 「良い」テキストを生成するための損失関数の設計は難しく、ほとんどの言語モデルは、まだ単純な次のトークン予測損失（クロスエントロピーなど）で学習しています。この損失自体の欠点を補うために、BLEUやROUGEなどの人間の好みをよりよく捉えるように設計された指標も定義されています。しかしこれらは、能力測定において損失関数より適してますが、生成されたテキストを単純なルールで参照比較するため、制限があり
ローカルLLM の対話で使われてるプロンプト書式まとめ｜npaka
「ローカルLLM」の対話で使われているプロンプト書式をまとめました。 1. FastChat「ローカルLLM」の対話で使われているプロンプト書式をまとめました。 「FastChat」のコード内のテンプレートを参考にしています。 2. テンプレートのパラメータテンプレートで定義されているパラメータは、次のとおりです。 ・system : システムプロンプト ・roles : ロール群 (2種類) ・messages : メッセージ群 (role, message) ・offset : Few-Shot例のオフセット ・sep_style : セパレータ種別 ・ADD_COLON_SINGLE ・ADD_COLON_TWO ・NO_COLON_SINGLE ・BAIZE ・DOLLY ・RWKV ・sep : セパレータ ・sep2 : セパレータ2 ・stop_str : 停止文字 (デフォ
OpenAI APIのファインチューニングの学習データのガイドライン｜npaka
以下の記事を元に、「OpenAI API」のファインチューニングの学習データのガイドラインをまとめました。 1. 学習データの書式ファインチューニングするには、単一の入力「プロンプト」とそれに関連する出力 「コンプリーション」 のペアで構成される学習データが必要です。これは、１回のプロンプトで詳細な手順や複数の例を入力するような、ベースモデルの使用方法とは大きく異なります。 「学習データの書式」のガイドラインは、次のとおりです。 ・プロンプトが終了してコンプリーションが開始することをモデルに知らせるため、区切り記号 ("\n\n###\n\n"など) でプロンプトを終了する必要があります。区切り記号は、プロンプトの他の場所で使用されない文字列を指定します。 ・コンプリーションが終了することをモデルに知らせるため、停止記号 ("\n"、"###"など)でコンプリーションを終了する必要がありま
LLM のデータセットまとめ｜npaka
LLMのデータセットをまとめました。 1. 事前学習データセット1-1. Text・Wikipedia (ja) ・fujiki/wiki40b_ja ・llm-jp-corpus-v2 (ja) ・llm-jp-corpus-v2 ・shisa-pretrain-en-ja-v1 (ja) ・augmxnt/shisa-pretrain-en-ja-v1 ・youlery (ja) ・ce-lery/mistral-3b-dataset ・ayousanz/OSCOR-2301-ja-cleaned ・ayousanz/c4-ja-cleaned ・Common Crawl (multilingual) ・Wikipedia (en) ・Wiki Demo (en) ・RefinedWeb (en) ・RedPajama V2 (en) ・Pile (en) ・SkyPile (zh)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
画像生成AI のリリース年表｜npaka
