OpenAI API の ファインチューニングガイド｜npaka
1. ファインチューニングの利点ファインチューニングの利点は、次のとおりです。 (1) プロンプトよりも高品質な応答 (2) プロンプトに収まりきらないより多くの例の適用 (3) プロンプトの短縮によるトークン数 (コスト) の節約 (4) プロンプトの短縮による処理時間の短縮 モデルは膨大な量のテキストで事前学習されており、このモデルを効果的に利用するため、プロンプトに手順や応答の例を指定する手法が使われます。この例を使用してタスクの実行方法を示すことを「Few-Shot」と呼びます。 ファインチューニングで、プロンプトに収まりきらないより多くの例で学習することにより、さまざまなタスクでより良い結果を達成できるようになります。プロンプトに多くの例を指定する必要はなくなります。これによりトークン (コスト) が節約され、処理時間も短縮されます。 2. ファインチューニングの使用料金ファイン
現場で使える機械学習活用 ~その①機械学習プロジェクトの流れと留意すべきこと~｜akiraTOSEI
はじめにこのブログは、「現場で使える機械学習活用」をテーマにした4部作のうち1作目です。これらの4部作では「いかにして機械学習を使って現実世界の問題を解決するか」を軸に、陥りやすいポイントやコツを解説していきます。 第1回目は、プロジェクトの流れとプロジェクト成功のため留意すべきことを解説します。 機械学習プロジェクトの流れと留意すべきこと ←イマココ 仮想プロジェクトを題材にしたプロジェクトのコツ解説 プロジェクトで頻出する問題の対応 説明性があるAI (XAI) とその活用 機械学習プロジェクトの流れ機械学習を実務に適用するプロジェクトは、下記に示す5つの段階に分けることができます。 課題から機械学習で解決できそうな部分を見つけ、実現性を探る 機械学習で解けるように問題を設定する 必要なデータを集め、前処理をする 機械学習で学習・モデルの改善を行う 機械学習を実務に組み込む 1~4 は
ChatGPTを支えた高品質AI作成手法「RLHF」の中身はこんな感じ、面倒なデータ入力・整理はオープンソースでセルフホスト可能なプラットフォーム「Argilla」が便利
RLHFとは「人間の評価による強化学習」のことで、大規模言語モデルをChatGPTなどの実用レベルに至る品質にまで高めた実績のある手法です。RLHFでは教師データを作成したり、大規模言語モデルの回答を評価したりする際に人間がデータを入力する必要があり、特に複数人で作業する場合にデータの管理が大変になってしまうものですが、そうしたRLHF用データの入力や管理を行ってくれるプラットフォームが「Argilla」です。 Bringing LLM Fine-Tuning and RLHF to Everyone https://argilla.io/blog/argilla-for-llms/ 大規模言語モデルを作成する時の手順を示したのが下の図です。まず大量のテキストを用いて事前学習を行います。こうして作成されたモデルが事前学習済みモデルで、GPTやPaLM、LLaMAなどのモデルがこのカテゴリに
LLM の LoRA / RLHF によるファインチューニング用のツールキットまとめ ｜npaka
「LLM」の「LoRA」「RLHF」によるファインチューニング用のツールキットをまとめました。 1. PEFT「PEFT」は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。 現在サポートしている手法は、次の4つです。 ・LoRA ・Prefix Tuning ・P-Tuning ・Prompt Tuning ◎ LLaMA + LoRA 「Alpaca-LoRA」は、「LLaMA」に「LoRA」を適用して「Alpaca」の結果を再現するためのコードが含まれているリポジトリです。「finetune.py」がLoRAの参考になります。 ・tloen/alpaca-lora ◎ RedPajama-INCITE + LoRA 「INCITE-LoRA」は、「RedPajama-INCITE」に「LoRA」を適用する
UE5で「めちゃくちゃリアルなバーチャル渋谷」を表現したユーザー現る。プレイヤーが自由に探索できる、センター街つきアニメ渋谷 - AUTOMATON
フリーランスアーティストのYan Ru氏は4月18日、開発中のプロジェクト『Anime Tokyo』デモを公開した。デモでは、Unreal Engine 5（以下、UE5）使って再現された渋谷の街並みを自由に歩き回れるほか、写真を撮ることなどができる。本作は実行ファイル形式にて、ArtStationにて無料で配布中だ。 I combined my favorite Japanese anime and unreal engine to create a new form of game art. This is a free game that can be running, You can now download Demo file in my ArtStation.https://t.co/QrNgKIs761#gamedev #UnrealEngine5 #3DCG #Gamepl
【Stable Diffusion】美少女イラスト生成におすすめのモデルデータまとめ40選＋α【実写（フォトリアル）・2.5D・アニメイラスト】
モデルデータに関するFAQモデルデータを使う際によくありそうな疑問をまとめていきます。 モデルデータってどこからダウンロードするの?基本的にCivitaiかHugging Faceの2択です。 これ以外の場所で入手できるモデルデータは、公式のものではないことがほとんどなので注意してください。 色々種類があるけど、どれをダウンロードすればいいの?基本的には1番バージョンが新しく、最も容量が大きいものをダウンロードしておけばOKです。 prunedとモデルデータの名前についているものは、元のモデルデータから不必要と思われる部分を削ってファイルサイズを小さくしているものです。 fp32は単精度浮動小数点演算、fp16は半精度浮動小数点演算を意味していて、学習の際に使われた手法が異なるようです。ただfp32の方が基本的に容量が大きく、モデルによっては2倍程度の差があります。
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.)OpenAIChatGPTlangchainGPT-4LlamaIndex 生成AIカンファレンス 〜徹底解剖「トップランナーから見た日本が挑む生成AIの最前線」〜 日時：5月8日(水) 10:00-18:30 形式：オフライン・オンラインのハイブリッド開催 場所：東京大学伊藤謝恩ホール（オンライン参加の方は配信URLをお送りします） 参加方法：下記イベントページより申込 ChatGPT に代表される今日の AI ブームを牽引しているのは 大規模言語モデル（Large-scale Language Model, LLM） と言っても過言ではないでしょう。LLM とは大量のテキストデータを使ってトレーニングされた自然言語処理のモデルで、代表的なものに、GPT（OpenAI）
30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
超高精度で商用利用可能な純国産の日本語音声認識モデル「ReazonSpeech」を無償公開
株式会社レアゾン・ホールディングス(本社：東京都新宿区、代表取締役：渡邉 真)は世界最高レベルの高精度日本語音声認識モデルおよび世界最大19,000時間の日本語音声コーパス※「ReazonSpeech」を公開いたしました。 2023年1月18日 株式会社レアゾン・ホールディングス(本社：東京都新宿区、代表取締役：渡邉 真)は世界最高レベルの高精度日本語音声認識モデルおよび世界最大19,000時間の日本語音声コーパス※「ReazonSpeech」を公開いたしました。 ※音声コーパス: 音声データとテキストデータを発話単位で対応付けて集めたもの。音声認識モデルを作成する材料として使用され、その規模と品質が音声認識の精度を大きく左右する。 ※2「ReazonSpeech」を用いた文字起こしサービスをプロジェクトwebサイトにて実際に試すことができます。 プロジェクトwebサイト：https://
Colabで動かすStableDiffusion実装｜深津 貴之 (fladdict)
自分がつかってる、Google Colab用StableDiffusion環境を公開しました。 海外のWEB UIのが重いのと、やりたいことが微妙に違うので自分なりに作った。公式のDiffuserを使わないので軽いです。無課金のcolabでも動くのではないかと思います。 使い方GitHubページの「Open in Colab」ボタンをおして、colabで開く。 このページ上部のメニューで、「ランタイム > ランタイムのタイプを変更」からGPUを有効化を確認 HuggingFaceでアカウントを作成 StableDiffusionのモデルページで、「利用規約」に合意する。 モデルファイル sd-v1-4.ckpt をダウンロード モデルファイルを Google Drive等にアップロード 下のセル 「1-1. Google Driveとの接続」を実行 下のセル 「1-2. のフォーム」に、G
【自然言語処理】Python初心者でも文章要約タスクが実装できた
はじめに わたくし、Python歴1年の初心者ですが、このたび、苦労に苦労を重ねて、自然言語処理タスクの文章要約を実装できました。 自然言語処理に興味のあるPython初心者のお役に立てればと、記事に残したいと思います。 実装にあたっては、ネットの記事も手あたり次第調べましたが、最終的には、以下の本が大変参考になりました。 ただし、バージョンの変更により、この本の通りに実装しても、2022年8月時点ではエラーになる箇所があります。出版社経由で著者の方にお聞きして一部コードを修正したほか、自分なりに工夫をして実装しました。 モデルについて Huggingface社が提供している深層学習フレームワークのTransformersを使います。 transformersにはBERTをはじめとするさまざまな言語モデルが実装されていますが、今回のタスクでは、T5というモデルをファインチューニングして使い
君には今から3時間で機械学習Webアプリを作ってもらうよ
新人: 「本日データサイエンス部に配属になりました森本です！」 先輩: 「お、君が新人の森本さんか。僕が上司の馬庄だ。よろしく！」 新人: 「よろしくお願いします！」 先輩: 「さっそくだけど、練習として簡単なアプリを作ってみようか」 先輩: 「森本くんは Python なら書けるかな？」 新人: 「はい！大学の研究で Python 書いてました！PyTorch でモデル作成もできます！」 先輩: 「ほう、流石だね」 新人: 😊 先輩: 「じゃ、君には今から 3 時間で機械学習 Web アプリを作ってもらうよ」 先輩: 「題材はそうだなぁ、写真に写ってる顔を絵文字で隠すアプリにしよう」 先輩: 「あ、デプロイは不要。ローカルで動けばいいからね。顔認識と画像処理でいけるよね？」 新人: 😐 新人: (えぇぇぇぇぇぇぇ。3 時間？厳しすぎる...) 新人: (まずモデルどうしよう。てかもら
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
stablediffusion WebUI モデル一覧
【2023年版】Stable Diffusion モデルまとめ | BLOG CAKE
DiffusionによるText2Imageの系譜と生成画像が動き出すまで
美少女イラストを生成できるおすすめのモデルまとめ【Stable Diffusion】
LoRAを使った学習のやり方まとめ！好きな絵柄・キャラクターのイラストを生成しよう【Stable Diffusion】
Stable Diffusion を基礎から理解したい人向け論文攻略ガイド【無料記事】
東京大学深層学習（Deep Learning基礎講座2022）深層学習と自然言語処理
https://twitter.com/djrio_vr/status/1516235833548111872
