はじめにR&D チームの森元と田嶋です。本記事では R&D チームで取り組んでいる、大規模言語モデル (LLM) を用いたアプリケーションの品質保証について記載します。 LAPRAS では OpenAI 社の GPT モデルを用いて、IT エンジニアの技術記事を 5 点満点の複数の評価軸で採点して、さらに評価コメントを生成する「AI レビュー」を 2023 年の 6 月にリリースしました 1。 R&D チームはプロンプトなどの検証結果を元に作成した Python のライブラリを開発チームと共有しています。さらに、開発チームがこのライブラリをサーバー側にインストールして利用することでこの機能を実現しています。ライブラリは記事の情報を入力として受け取り、複数の評価軸の点数と、全体を総括する評価コメントを持った構造化データを出力します。 この記事では AI レビューで作成したライブラリの出力の品