Phi-4のBugをfixした!というXを見かけたので、追っていくとUnslothの記事に行きつきました。すると、ファインチューニングすぐできるよ!というColabまであるのでお試し。Colab T4で動くとありますが、L4環境で稼働させました。 データセットは丁寧に人力で作成されているMalum-230日本語のデータセットを利用させていただきました。大きな変更部分は不要でしたが、一通りデーターを学習させたいので、サンプルでは30stepであったものをepochs=1としています。また、GGUF変換とpush部分をtoken直書きだったので、シークレットから引っ張ってくるようにしました。あとは、huggingfaceのidとmodel名をセットすればよいだけです。 ollama公式モデルだと多弁でしたが、淡泊な回答(max_new_tokens = 512時)が得られました。まとめも計算も