LLMを悩ませる"Excel文書"をうまく扱う方法

はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 弊社では製造業向けのRAGを使ったチャットボットの開発を行っていますが、 RAGで読み取りづらいなと感じているドキュメントが"Excel文書"です。 LLMを悩ませる"Excel文書"とは ここで"Excel文書"と呼んでいるドキュメントは、 「構造化されたテーブルを保存しているExcelファイル」 ではなく、 「 セルに文書を書いたり、オブジェクトや画像を挿入することで、いわゆる一般的な文書を作成しているExcelファイル 」 のことを呼んでいます。 そもそも一般的な文書作成においてはExcelではなく、Wordを使えばよいのでは？と思われるかもですが、以下の点でExcelで文書の資料を作成することはそれなりに便利な部分があると思っています。 枠を使って、グルーピングすることでドキュメントの構成が見やすくなる

[shields-pikes]

弊社では、様々なフォーマットのExcelをLLMで正確に読ませたい、という依頼は断っている。こんなの構築したところで、特殊例によるエラーだらけだし、AIの方が劇的に進化するので、開発してもその価値は2年も持たない。

[turanukimaru]

Excel仕様書をLLMに食わせてプログラムを生成できないか？って上司に言われていやそれは無理と応えた（試した）んだけど納得して貰えてない。テキストで手順を食わせると生成できるんだからテキストで良いじゃん…

[skypenguins]

今までの「OA化」「IT化」「電子化」では紙の文書の「見た目だけ」をそのままディジタル化してて、セマンティックス無視してきた（非構造化で機械可読が不可能）から、こういう不毛な作業が必要になるんだよな

[urtz]

pdfとかsvgにして視覚情報を確定させて、食わせるしか。つか、LLMが食い易い新たなフォーマットがExcelには必要

[arrowKato]

PDFにして処理が割と現実解というのは闇が深い

[masadream]

PDF化して食わせる。結局やってることOCRと本質的に変わらんね…なんでもExcelでやってきて、見て見ぬふりしてきたツケをそろそろ払う時期が来てるのかも。

[rgfx]

Excel方眼紙をAIに食わせる時は方眼紙(PDF)として渡した方が良い、それはそう

[misshiki]

“RAGとLLMのシステムで扱いの難しい"Excel文書"をうまく扱うための手法をいくつか紹介さ”

[eroyama]

汎用方眼紙アプリケーション

[cl-gaku]

スクショでも食わせたほうがまだましそう

[yarumato]

“RAGで読み取りづらいExcel文書。openpyxlやpandasを使ってxlsxをそのままパース（文字列のみ抽出）か、PDFに変換（ページの区切りをちゃんとしないと）してPDFや画像として扱う。”

[stealthinu]

Excelの文書をRAGでうまく扱えない問題。すごくよくある。そして良い汎用的な解決策がなく、案件ごと、なんなら文書ごとの対応が必要になってしまう。

[takeda25]

まだ隣の席のLLM君に「ちょっとこのExcelのグラフをこれこれこういう感じに直してくれない？」と頼める感じじゃないのか。

[mmddkk]

Excel方眼紙みたいなクソエクセルファイルをたくさん学習させることによって、将来はAIが自動でいい感じに処理するようになるのかな。

[ytn]

Excel文書死すべし(絶賛量産中

[hurafula]

libreofficeをサーバにしてAPIを叩くのいいですね！最終的な手段として覚えておきます。ありがとうございます

[sgo2]

コピーでクリップボードに入るメタ形式画像は使えないのだろうか

[homaju]

openpyxl使って抽出する方法が色々使えそう まだ、オブジェクトには使えないのは残念