GaLore - 家庭用ハードウェアでの大規模モデルの学習｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・GaLore: Advancing Large Model Training on Consumer-grade Hardware 1. GaLore「GaLore」は、「NVIDIA RTX 4090」などの家庭用GPU上で、Llamaなどの最大7Bパラメータを持つモデルの学習を容易にします。これは、学習プロセス中のオプティマイザの状態と勾配に従来関連付けられていたメモリ要件を大幅に削減することによって実現されます。 2. オプティマイザ状態でのメモリ効率オプティマイザ状態は、特にAdamのような適応最適化アルゴリズムでは、モデルの学習中のメモリフットプリントの重要な部分を占めます。「GaLore」は、オプティマイザによって処理される前に、勾配を低次元の部分空間に投影することでこの問題に対処します。これにより、これらの状態を保存するため
OpenAI DevDay で発表された新モデルと新開発ツール まとめ｜npaka
以下の記事が面白かったので、かるくまとめました。 ・New models and developer products announced at DevDay 1. GPT-4 Turbo「GPT-4 Turbo」は、「GPT-4」より高性能です。2023年4月までの知識と128kのコンテキストウィンドウを持ちます。さらに、「GPT-4」と比較して入力は1/3、出力は1/2の安い価格で提供します。 開発者はモデルID「gpt-4-1106-preview」で試すことができます。今後数週間以内に、安定した実稼働モデルをリリースする予定です。 1-1. Function Calling の更新「Function Calling」に、単一メッセージから複数のFunction (「車の窓を開けてエアコンをオフにする」など) を呼び出す機能などが追加されました。精度も向上しています。 1-2. 構造
rinna.cpp を試す｜npaka
「rinna.cpp」を試したのでまとめました。 ・rinna/japanese-gpt-neox-3.6b-instruction-ppo ・macOS 13.4.1 【追加情報】「redpajama.cpp」はメンテされてないので、今後は @syoyo さん版使うのが良さそうです。 redpajama.cpp はなんかもうメンテされていないから, rinna を llama.cpp で動かす時はこちらの fork を使うといいよ☺️ (近日中に japanese-normalizer-cpp 取り込んで日本語正規化対応する!) https://t.co/M6LK0OZlm8https://t.co/ZAfp7YJjXr — syoyo.eth 🌸 レイトラ ® 🐯 5 周年 🎉 (@syoyo) July 14, 2023 1. rinna.cpp「rinna.cpp」は、「ll
LLM のデータセットまとめ｜npaka
LLMのデータセットをまとめました。 1. 事前学習データセット1-1. Text・Wikipedia (ja) ・fujiki/wiki40b_ja ・shisa-pretrain-en-ja-v1 (ja) ・augmxnt/shisa-pretrain-en-ja-v1 ・Wikipedia (en) ・Wiki Demo (en) ・RefinedWeb (en) ・RedPajama V2 (en) ・Pile (en) ・SkyPile (zh) ・The Stack 2 (en) ・The Stack (en) ・StarCoder (en) 1-2. Code・The Stack 2 (en) ・The Stack (en) ・StarCoder (en) 2. SFTデータセット2-1. Instruction・ichikara-instruction (ja) ・ich
gpt2-japaneseの使い方 (1) - mediumモデルによる日本語テキスト生成｜npaka
「gpt2-japanese」の「mediumモデル」が公開されたので、AIによる日本語テキスト生成を試してみました。 1. gpt2-japaneseのインストール (1) Google Colabのノートブックを開く。 (2) メニュー「編集→ノートブック→ハードウェアアクセラレータ」で「GPU」を選択。 (3) 以下のコマンドで、「gpt2-japanese」をインストール。 # gpt2-japaneseのインストール !git clone https://github.com/tanreinama/gpt2-japanese %cd gpt2-japanese !pip install -r requirements.txt2. モデルのダウンロード「mediumモデル」を「gpt2-japanese」フォルダにダウンロードします。 # mediumモデルのダウンロード !wge
MediaPipeとTensorFlow.jsによるブラウザでの顔と手の追跡｜npaka
以下の記事を参考に書いてます。 ・Face and hand tracking in the browser with MediaPipe and TensorFlow.js 1. ブラウザでライブデモを試してください「facemesh」は、画像内の顔の境界とランドマークを検出、「handpose」は手を検出するパッケージです。これらのパッケージは小さく、高速で、ブラウザ内で実行されるため、データがユーザーのデバイスを離れることはなく、ユーザーのプライバシーが保護されます。 以下のリンクから、今すぐ試すことができます。 ・facemesh ・handpose これらパッケージは、マルチモーダル知覚パイプラインを構築するためのライブラリ「MediaPipe」の一部としても利用できます。 ・MediaPipe face tracking ・MediaPipe hand pose trackin
VRM入門｜npaka
1. VRMとは「VRM」は、プラットフォーム非依存の3Dアバターファイルフォーマットです。「人型のキャラクター・アバター」において、細かいモデルデータの差違を吸収し、アプリケーション側での取り扱いしやすくすることを目的としています。UnityでVRMファイルを読み書きする標準実装が提供されますが、フォーマット自体はプラットフォーム非依存であり他エンジンや環境でも取り扱うことが可能です。 2. VRMの特徴VRMの特徴は次のとおりです。 ・プラットフォーム非依存で人型のキャラクター3Dモデルデータを取り扱うことが可能。 ・3D標準の「glTF2.0」をベースに、人型モデルを取り扱うための制約と拡張を加えたフォーマット。 ・テクスチャやマテリアルなどすべてのデータを含めて1ファイルにまとめられる。 ・スケール（1.00 = 1m）・座標系と向き（Y-up, -Z方向向き）など標準仕様が決まっ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
