はてなブックマーク

はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 弊社では製造業向けのRAGを使ったチャットボットの開発を行っていますが、 RAGで読み取りづらいなと感じているドキュメントが"Excel文書"です。 LLMを悩ませる"Excel文書"とは ここで"Excel文書"と呼んでいるドキュメントは、 「構造化されたテーブルを保存しているExcelファイル」 ではなく、 「 セルに文書を書いたり、オブジェクトや画像を挿入することで、いわゆる一般的な文書を作成しているExcelファイル 」 のことを呼んでいます。 そもそも一般的な文書作成においてはExcelではなく、Wordを使えばよいのでは？と思われるかもですが、以下の点でExcelで文書の資料を作成することはそれなりに便利な部分があると思っています。 枠を使って、グルーピングすることでドキュメントの構成が見やすくなる

はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 弊社では製造業向けのRAGを使ったチャットボットの開発を行っていますが、RAGが普及してきた昨今においてまだまだ課題があるなと感じているのが、 マニュアルのような画像と文書の複合したドキュメントの読み取り です。 例えばPC操作の説明書などは良い例かなと思うのですが、画面スクショに矢印が入っていたり、それに対して説明が入っている文書は通常のRAGとの相性が悪いです。 以下は経産省が提供しているgBizINFOというサービスの操作説明資料を抜粋したものです。 元のPDF資料はこちら このように、図と文書が混在し、かつ矢印などでそれらが関連付けられているような形になります。 また 製造業ではセキュリティ的な懸念からこういった資料のアップロードやチャットの内容をクラウドに上げたくない企業も多いです。 こういったことから

はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 生成AIによる文章生成が発展してく中で、入力に関して文章だけでなく様々な入力を扱えるようになってきています。音声や画像だけでなく、 GoogleのGemini 1.5 Proでは最大で1時間程度の動画を入力として扱うことができます。 弊社では製造業向けの生成AIを活用したプロダクト・サービス展開を行っており、この動画入力の技術を用いて、 製造現場での作業動画から作業手順書 を作るということを今回試してみたいと思います。 以下の2つのモデルで作業手順書の作成を行います。 Google Gemini 1.5 Pro Exp 0806 LLaVa-NexXT 前者はGoogleが提供しているクラウド環境で動く生成AIモデルです。 後者はByteDanceなどの研究者たちによって作られた オープンなマルチモーダル生成AI

ロボットを工場に導入する際の仕様書を書いてもらうというお題です。 このお題の回答のポイントとしては以下のような点が挙げられます。 仕様書の構成がしっかりしているか(項目・章立てがちゃんとしていて見やすい、網羅性があるなど) 必要な装置やシステムが列挙されているか(ロボット、安全装置、ベルトコンベア、操作パネルなど) 予算やスケジュールに関する記述があるか(どういう順序で進めようと考えているか) 注意すべき法律や環境面への考慮(特に食品工場として) がされているか(ISOやIECの規格、衛生面、防水など) ローカルLLMの前にGPT-4oを使って回答させてみた結果が以下になります。 ## パレタイズロボット導入仕様書 ### 1. はじめに 本仕様書は、食品工場におけるパレタイズロボットの導入計画および必要な要件を明示するものである。目的は、効率的かつ高精度なパレタイズ作業を実現し、生産性の

はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 今回は完全ローカルでRAGも使えるAIチャットアプリ「Open webui」のセットアップを行っていきたいと思います。 弊社は製造業向けのChatGPTを用いた技術文書生成アプリ「SPESILL」を開発しているのですが、製造業の工場などはとてもセキュリティが厳しく、クラウド上への社内文書のアップロードやそもそもインターネットが禁止されているという状況も珍しくありません。 そういった環境でも生成AIを使うために、弊社ではローカルLLMの導入も行っており、その中でもRAGが使えるものをいろいろと探していたところ、今回紹介するOpen webuiを見つけました。 Open webuiとは Open webuiはセルフホストやローカルでの使用が可能で、文書を登録してRAGを使用したチャットができるチャットアプリです。 O

はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 先日、 OpenAIからGPT-4oがリリース されました。 いろいろGPT-4oに関して調べていると、スピードが速くなっていたり、音声も直接扱えてマルチモーダル化が進んでいたりするようなのですが、画像に関して GPT-4-turboに比べ、認識やOCRの精度が向上している ようです。 製造業という観点からすると、これは 設計図面などに活かせるようになるのでは？ と思いました。 機械部品などの設計図面は以下のように、特定の方向から部品を2次元上に落とし込んだ形で書かれるのですが、部品本体を描いている図以外に、寸法や名称といった文字も含まれた画像になっています。 このような 図と文字の複合データにおいて、GPT-4oの進化は有効なのではないか と考えました。 ※画像元URL: http://cad.wp.xdoma