はじめに こんにちは、筑波大学大学院情報理工学位プログラム修士1年の齊藤啓太と申します。私は2023年夏にLINE株式会社(現LINEヤフー株式会社)の就業型インターンシップに参加し、MLのプライバシー等を扱っているMachine Learning Privacy & Trustチームにて大規模言語モデル(Large Language Model, LLM)の研究をしました。具体的には、LLMの自動評価時のバイアス、特に冗長バイアスについて調査をしていました。本記事ではその内容について書いていきたいと思います。 本研究は、NeurIPS 2023 併設のワークショップである Workshop on Instruction Tuning and Instruction Following に採択され発表予定です。すでに arXiv にてプレプリントを公開しておりますので、詳細についてご興味の