LogitsProcessorZoo で LLM の出力をコントロールする

LLMに質問した際に、期待した出力の形式とは異なる応答を得たり事実とは異なる情報を返されたりしたことはないでしょうか。この記事では、そんな時に使える便利なライブラリ logits-processor-zoo について紹介します。 忙しい人向けのまとめ logits-processor-zoo は NVIDIA が開発した LLMの出力を調整するための便利ライブラリ transformers や vLLM などで使える どんな出力の調整ができるか？ 文末テキストの強制 複数選択肢の回答を強制 入力文を引用するように誘導 出力テキストの長さを調整 ハルシネーションの抑制 特定の単語をトリガーにフレーズを挿入 指定した時間で生成を止める はじめに LLM にプロンプトを与えると、それらの入力プロンプトはモデルごとに定められた方法によってトークン列に変換されます(Tokenize)。入力されたトー