GPT-3.5をFine-tuningして架空のスポーツを教え込んでみた① - Qiita

本記事でやること 公式ドキュメントの要点を整理 独自のデータセットを作成し、実際にFine-tuningをしてみる ※「知識を教え込む」といった内容で試しています。 Fine-tuningの推奨ユースケースではないと言われています。 第2回では、データセットの見直しと改善をテーマに色々とまとめました。 公式ドキュメントの要点まとめ まずは以下公式ドキュメントの中で気になった点をピックアップしてまとめておきます。 Fine-tuningの位置付け・イメージ 昔の公式ドキュメントにFine-tuningとRetrieval(RAGなど)の違いが紹介されていました。 （今はこのような記載を見つけれらませんでした、あくまでイメージとして捉えていただければと思います） 手法 イメージ 現在のドキュメントには以下のように記載されています。 EmbeddingsとRetrieval 大量のドキュメントデ