こんにちは。NEO(x) の宮脇（@catshun_）です。 本記事はなつやすみ特集として、『LLMプロダクト開発のことはじめ』をテーマとした 5分で読める コラムを紹介します🌻 といいつつ今回は文量が多くなってしまいました...。 ゆるく書くつもりなので、役に立つかどうかは分かりません 🐈 本記事の内容は『プロダクトわいわいシェア会 #02』という社内LT会で話した内容を踏襲しています。 読むついでに Algomatic ではこういう社内イベントもやっているよ、という雰囲気が少しでも伝われば幸いです！ 📝 目次はこちら 特集の導入、問いをデザインする LLM から良い回答をえるための第一歩👈 プロンプトエンジニアリング LLMプロダクトの評価と検証 LLMから良い回答をえるための第一歩 先日の株式会社Lightblueさんが 独自調査 にて、生成AIに代替・効率化可能な業務割合に

はじめまして！Algomatic LLM STUDIO でインターンをしている なべ（@_h0jicha）です。普段は大学でマルチモーダル大規模言語モデルの応用に関する研究に取り組んでいます。 Algomatic のインターンでは、LLM の評価に関して網羅的な調査や各種ツールの導入に取り組んできました。 本記事では、この知見を皆さんに共有することで、日本語圏における LLM 評価の現状を俯瞰していただき、各ツールを適切に選択するための糸口を提供することを目的とします。 はじめに 大規模言語モデル（LLM）の開発プレイヤーが増加している昨今において、日本語を対象言語とした運用を得意とする LLM が次々と公開されています。 LLM を安全に使用する ために、対象タスクに適した LLM を選択すること、ならびに有害なコンテンツ生成を検知することなど、LLM の性能を多角的に評価する枠組みが重