Unslothを用いたQwen2.5 VLのCPT&SFTによる運転免許証KIEタスクの検証

はじめに 業務でLLMを活用していくうえで、どうしても「精度・コスト・速度」のバランスを取る必要があります。特に、各社の提供する高性能なLLMは非常に優れた精度を持っている一方で、コストやレイテンシの面では課題を感じることも多いです。また、学習するにしても、高額なGPUを使用する必要があり、学習コストの面でも課題があります。 そこで今回注目したのが、小型のLLMを使って特定タスクに特化した形でファインチューニングするアプローチです。このアプローチによって、限られたリソース環境でも十分な精度を保ちつつ、学習コスト、や推論速度（レイテンシ）を抑えることができる可能性があります。 低リソース環境でも効率的に学習・推論が行える点から、今回注目したのが、軽量かつ高速な学習が特徴の Unsloth というライブラリです。今回はこのUnslothを使って、LoRAによる継続事前学習とSFT（教師ありファ