ローカル LLM を用いた Instruction データセット の Data Augmentation と Evol-Instruct - Qiita

ローカル LLM を用いた Instruction データセット の Data Augmentation と Evol-InstructPython自然言語処理機械学習大規模言語モデルLLM はじめに どうもこんにちは、kunishou です。本記事は LLM Advent Calendar 2023 5日目の記事になります。LLM アドカレも毎日面白い記事の連続で、自分も他の記事に見劣りしないような有益な記事を書かねばと刺激を受けながら執筆しました。 本記事について 本記事はローカル LLM を用いて Instruction データセットを Data Augmentation することができるか Evol-Instruct することができるか の2つのテーマについて検証した記事になります。 モチベーション Instruction データセットの自動生成の課題 LLM の性能は Instr

[deejayroka]

“しかし、 OpenAI のサービスで得た出力は OpenAI の競合となるモデルの作成に使用することは禁止されているため OpenAI のモデルを用いて自動生成した Instruction データセットは商用 LLM の開発では利用できません。 このた”