Kotoba-Recipes ライブラリ: 5分ではじめる Llama-2 継続学習

はじめに Kotoba Technologiesでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 Kotoba Technologiesは2023年7月に米国の博士号・教授職を持った創業者2人によって日米クロスボーダー体制で創業され、最先端NLP技術を用いて、日本及び非英語圏における実運用に向けた研究開発を行っています。今回は、社内で利用されているライブラリの一部を公開したため、使用方法等について解説を行います。 Llama 2を筆頭に数多くのモデルがリリースされていますが、推論(inference)してモデルの挙動を確かめることはできても、自前のデータで学習する方法についてはtransformers Trainerクラスを利用した手法を除き、コミュニティに知見として十分に共有されているとは言い難いと個人的には感じています。そこで今回、Kotoba