【chatGPTをユーザーが学習させる】ファインチューニングについて | kuzguz.net

近年、自然言語処理技術の進歩によって、人工知能がより高度な言語理解能力を身につけるようになりました。その中でも、GPT（Generative Pre-trained Transformer）は、OpenAIが開発した言語モデルの一つであり、さまざまなタスクに適用可能な高性能を誇っています。 本記事では、GPTの一つであるchatGPTに着目し、ユーザーが自分自身のデータで学習させるファインチューニングについて解説します。 chatGPTの学習データについて chatGPTの学習データは、大量のテキストデータを用いて学習されます。その収集元は、主にウェブ上の公開された大量の文書や書籍、Wikipediaのようなオンライン百科事典、ニュース記事、ブログ記事、SNSの投稿などです。 収集されたテキストデータは、言語モデルの学習に適した形式に前処理されます。この前処理には、文字の正規化、トークン化