【自然言語】近傍検索を使って、PDFの関連部分にマークをつける

やること chatGPTにしろperplexityにしろ、ハルシネーションのリスクは常に付きまとっており、間違った答えを返されるくらいなら、答えの生成まで不要というシーンも多々あります。 そこで、PDFの文書から探したい場所を見つけ出して、その部分にマーカーを引く機能を実装します。 今回はキリンのサスティナビリティレポートを題材にしてみます。 （なぜサスティナビリティレポートかというと、私の本職が某製造業のサスティナビリティ部門だからです。ちなみにキリンの社員ではありません） ※ 以前PDFの読み込みやFAISSを用いた近傍検索の記事を書きました。これらの更新版です。 環境設定 2024年10月7日にpython3.13.0が正式にリリースされました。少し遅れて本日、pyenvもpython3.13.0をインストールできるようになり、早速私も試してみました。 ですが、現時点ではFAISS、

[sh19910711]

2024 / "PDFの文書から探したい場所を見つけ出して、その部分にマーカーを引く / Unstructured: 有料になった + 月1000ページまでは無料 / コードに書いてあるとおり、ptとmmは25.4/72で換算でき"