LLMで行数の多い日本語CSVを扱うための前処理

見ると分かると思うのですが、 1つ厄介なのは、日付の書き方など、 プログラムを使った検索やフィルタリングのしにくい値が表に含まれている のが分かります。 そしてこれと合わせ技で厄介なのが、 行数がめちゃくちゃ多くてLLMのプロンプトにすべてのデータを入れることができない という場合です。 1万行とかあるようなExcelのデータをすべてプロンプトに含めるのは現実的ではありません。このような場合、大抵はLLMに必要となるデータにアクセスするためのコードをpandas等を用いて書いてもらって、それを実行することでデータをフィルタリングするという方法を取るかと思います。 しかし上記のような表で、例えば日付のカラムから「〇月×日以降のデータがほしい」というような日付検索を行うとなると、日本語の日付の順序を理解する必要があり、さらにカラム内で書き方が一様ではないケースも考えられ、いろんな書き方に対応で