OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試したのでまとめました。 1. GPT-4 から GPT-3.5 への蒸留「LlamaIndex」で、OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留のColabが提供されてたので、それをベースに独自データで試してみました。 具体的には、「GPT-4」で学習データを生成し、「GPT-3.5」でファインチューニングすることで、「GPT-3.5」に「GPT-4」相当の知識を習得させます。 We successfully made gpt-3.5-turbo output GPT-4 quality responses in an e2e RAG system 🔥 Stack: automated training dataset creation in @ll
![OpenAIのファインチューニングAPIによる GPT-4 から GPT-3.5 への蒸留を試す|npaka](https://cdn-ak-scissors.b.st-hatena.com/image/square/ce677f61fc899d8ef480fae46acdf975457596f3/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F114445470%2Frectangle_large_type_2_5b4c82935862a99a89dd897be6ffd0f9.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)