大規模計算時代におけるパラメータ推定自動化の歴史

はじめに これはポエムに近い。ので、技術的にすぐ使える情報を求めている人には合わない。しかし、技術的な教養とか文化みたいなものを使って文章を楽しむ分には良い記事だと思う。 テーマはタイトルの通りであるが、特にLLMのコンテキスト適応方法がハンドチューニングからオートマチック方面へ本格的に変わりつつある状況を思い浮かべてつけたタイトルだ。本記事のキーワードとしてはMIPROv2やGEPAなどの最近のプロンプト最適化手法から、コンテキスト適応自体をAgenticに実施するACEなどが挙げられる。これらの出現と、伝統的な機械学習、はたまた統計推論にまで遡り、計算機を利用したパラメータ調整技術についてみてみたいと思う。 GEPAとACE これはそれなりに新しい手法だ。これらが実際に未来永劫残るかは分からないが、舵取りとしては確実に方向性を与えたと自分は考えている。重要な観点としては既に述べた通り、