ChatGPTでファインチューニング (Fine-tuning) を試してみた - PLAY DEVELOPERS BLOG
こんにちは、プラットフォーム技術部開発第２グループの李です。 最近AIサービスChatGPTがよく注目されます。米国時間2023年8月22日にOpenAIは、大規模言語モデル「GPT-3.5 Turbo」がFine-tuningに対応したと発表しました。 openai.com 今回、このFine-tuningを試してみました。 Fine-tuningとは Fine-tuningのメリット プロンプトよりも高品質な結果が得られる プロンプトに収まりきらないほどの多くの例を学習できる 短いプロンプトによるトークンの節約 低レイテンシーのリクエスト OpenAI APIを使用したFine-tuningの手順 1. OpenAI APIキーを取得する 2. Fine-tuningの作業環境を準備する 3. トレーニングデータを準備する 4. トレーニングデータのフォーマットをチェックする 5. デ
LLMに「自分自身との対戦」で能力を向上させる手法『Self-Play Fine-Tuning（SPIN）』 | AIDB
ホーム LLM, ファインチューニング, 有料記事, 論文 LLMに「自分自身との対戦」で能力を向上させる手法『Self-Play Fine-Tuning（SPIN）』 LLMに自身の出力をアップデートさせ続け、品質を向上させる自己学習手法の一種が考案されました。実験では様々なテストスコアが上昇したとされています。 手法の名称は『Self-Play Fine-Tuning（SPIN）』と付けられています。 本記事では手法と実験結果を見ていきます。 参照論文情報 タイトル：Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models 著者：Zixiang Chen, Yihe Deng, Huizhuo Yuan, Kaixuan Ji, Quanquan Gu 所属：カリフォルニア大学 URL：h
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
