オープンなLLMであるMistral-Instruct-7Bを使ってWikipediaの情報から自動的にクイズを作るスクリプトを書いてみました。この出力をそのままでは使えませんが、一度出力してしまえば、あとでLLMを使って整形したり整合性を確認したりすることで使えるはずです。 Llama.cppを利用して高速な推論をやろうとしてます。GPUはA6000x1を使用 from llama_cpp import Llama llm = Llama("./models/mistral-7b-instruct-v0.1.Q8_0.gguf",n_gpu_layers=35,n_ctx=4096) import datasets data=datasets.load_dataset("izumi-lab/wikipedia-ja-20230720") template="""<s>[INS]以下の説明