LLMを活用するためのデータのテキストへの変換方法

LLMにいかにデータを入力するか 「LLM活用していますか？」 LLMは文章の翻訳、資料のチェック、ソフトの修正など様々な活用の可能性があります。 その際、問題になってくるのがLLMにいかにデータを入力するか、出力したデータを活用するかです。画像、PDF、Office資料などを丸ごと入力できる便利なサービスやも出てきていますが、様々な事情により使用できるサービスが限られていて、資料をそのまま入力できずに困っている人も多いと思います。また、サービスは使用できるけど、同じデータを違うLLMに入力して結果を比較したいというニーズもあるかと思います。 そんなときに重要になってくるのがデータ変換です。この記事では、上記のような困りごとを持っている方に、データをLLMに入力しやすい形に変換する方法について紹介します。なお、本記事はLLMのAPIなどを使ってバリバリ開発している人ではなく、ChatGPT

[misshiki]

“LLMに入力するデータのテキスト変換について書きました。 ちょっとしたテクニックですが、知っておくと結構活用の幅が広がる”

[aike]

「LLMで読めるようにテキスト変換するプログラムを書いてください」とLLMに頼むとスクレイピングやフォーマット変換のプログラム書いてくれる。

[stabucky]

プレーンテキストはともかく、PDF、Excel、Word、図、表などレイアウトがあるものは全て、画像にしてLLMで認識させるのが王道になる気がする。

[T-norf]

略すと、LLM入力用の、ファイルからテキスト変化は“MarkItDownというPythonツールが便利”。

[yarumato]

“データをLLMに入力しやすい形に変換する方法。例えばリポジトリ全体を読ませようとすると面倒ですね。以下記事参考にリポジトリの構成含めて全体をテキスト化する。パワポやPDFをテキスト化する方法です。”