Mistral AIは2025年3月6日（仏国時間）、OCR（Optical Character Recognition：光学的文字認識）API「Mistral OCR」を発表した。同社は以下のように紹介している。 Mistral OCRは、ドキュメント理解の新たな標準となる光学式文字認識APIだ。他のモデルとは異なり、Mistral OCRはドキュメントの各要素（メディア、テキスト、表、数式）をかつてない精度と認識力で理解する。Mistral OCRは画像やPDFを入力とし、テキストと画像を順序よくインターリーブしてコンテンツを抽出する。 Mistral OCRは、マルチモーダル文書（スライドや複雑なPDFなど）を入力とするRAG（検索拡張生成）システムと組み合わせて使用するのに理想的なモデルといえる。 当社では、対話型AIアシスタント「Le Chat」の数百万人のユーザーが文書を理解で

はじめに 日本語OCR, 有料の業務用ソフトには色々と高性能なものがあるんですが、無料の場合の選択肢は意外に限られてます。最近ではGeminiなどにOCRさせることも試みてますが、縦書きに弱いのが欠点。加えて、私がやっているような著作権が切れた戦前の本のデジタル化の場合、認識率の低い旧字体が多いのが悩みの種。 そこで最近知ったのが、国立国会図書館が公開しているOCRライブラリ、NDLOCRです。国会図書館のデジタル資料（国立国会図書館デジタルコレクション)から全文テキストデータを作成するために開発されたとのこと。 NDLOCRは、現在ver2.1がGithubに公開されています。古い本が多い国会図書館の資料向けに作られているだけあって、旧字体でも高い精度で認識してくれます。今回は、このライブラリを試してみました。基本、Githubサイトに書いてある通りなんですが、いくつか注意すべき点をメモ

AI開発企業のMistral AIが、画像に含まれるテキストを認識してテキストデータに変換できるAIモデル「Mistral OCR」を発表しました。Mistral OCRはLaTeXで書かれた複雑な数式も認識できるのに加え、文書に含まれる図や表の位置関係を崩さずマークダウン形式で出力できます。 Mistral OCR | Mistral AI https://mistral.ai/news/mistral-ocr Mistral AIはMistral OCRの能力を示す例を複数公開しています。まず、処理前のオリジナルデータが以下。テキストだけでなく図や表も含まれています。 Mistral OCRで処理した結果はこんな感じ。図とテキストの位置関係を崩さずに変換できました。また、表の内容も行や列の関係を崩さずに変換できています。OCR結果はマークダウン形式で出力され、出力結果をJSONなどの構

Mistral OCRIntroducing the world’s best document understanding API. Throughout history, advancements in information abstraction and retrieval have driven human progress. From hieroglyphs to papyri, the printing press to digitization, each leap has made human knowledge more accessible and actionable, fueling further innovation. Today, we’re at the precipice of the next big leap—to unlock the collec

仏AI企業のMistral AIは3月6日（現地時間）、PDFや画像から、マルチモーダルな要素を高精度で抽出し、構造化された形式で出力する新API「Mistral OCR」を発表した。有償で提供する他、AIチャットbot「Le Chat」で無料で試すこともできる。 生成AIの基盤となるLLMは、プレーンなテキストデータに特化しており、PDFに含まれる画像や複雑なレイアウトを十分に理解することができない。Mistral OCRがPDFのようなマルチモーダルドキュメントを抽出、出力することで、PDFを直接理解するのが困難なLLMでも、PDFに含まれる情報を効果的に活用できるようになる。 Mistral OCRは、PDFの内容を単にテキスト化するのではなく、Markdown（リンクやヘッダなどの書式設定要素を追加するための書式設定構文）でフォーマットする。 PDFからデータを抽出するサービスは既

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? OCR（Optical Character Recognition）というのは、手書きや印刷された文字を読み取り、デジタルデータに変換する技術です。スキャナーや、スマホアプリなどで使ってみた経験がある方も多いかと思います。 OCRはさまざまな場面で利用されていますが、たとえば既存の紙データのデジタル化であったり、ビジネス上やり取りされる帳票を使ったシステムの自動処理などで活用されています。 YomiTokuもそんなOCRソフトウェアの一つです。日本語に特化しており、複雑な表組みなども読み取れるのが特徴です。 今回は、YomiTokuの簡

プレゼンテーションや配布資料がPDFで共有されることがありますが、このPDFをテキストベースのデータに変換することは、大規模言語モデル(LLM)の出力を最適化するプロセスである検索拡張生成(RAG)にとって頭痛の種です。PDFをテキストベースのデータに変換してRAGで利用できるようにするためのソリューションにはさまざまなものが存在しますが、精度・拡張性・コスト効率を考慮すると微妙な選択肢が多い模様。しかし、Googleの「Gemini 2.0 Flash」を使えばこの作業が劇的に楽になると、Matrisk.aiのCTOを務めるデータサイエンティストのセルゲイ・フィリモノフ氏が解説しています。 Ingesting Millions of PDFs and why Gemini 2.0 Changes Everything - Sergey's Blog https://www.sergey.

例えば、こちらのブログですが、グラフィカルな解説部分が、画像になっています。 Claudeはマルチモーダルに対応しているので、画像を添付した状態で「文字を抽出して」というと文字を抽出してくれますが、日本語で要約して回答したり、元の文章を正確に抽出する のは、意外と難しいと感じていました。 以下は、Claude.aiを使って「添付画像から文字を抽出して」と依頼した際の結果です。 原文そのままを正確に抽出したいときってありますよね？それを解決する方法を編み出しました。 方法は、「 HTMLで再現させる 」です！ 本投稿の先頭の画像を添付して「添付画像をHTMLで再現して」と依頼した際の結果がこちらです。 感動！！！ （注：右側が画像をもとに生成したHTMLを、プレビューした状態です。Claude.aiのArtifactsという機能です） アイコンがちょっと違うとか省略されてるとかはありますが、

はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 弊社では製造業向けのRAGを使ったチャットボットの開発を行っていますが、 RAGで読み取りづらいなと感じているドキュメントが"Excel文書"です。 LLMを悩ませる"Excel文書"とは ここで"Excel文書"と呼んでいるドキュメントは、 「構造化されたテーブルを保存しているExcelファイル」 ではなく、 「 セルに文書を書いたり、オブジェクトや画像を挿入することで、いわゆる一般的な文書を作成しているExcelファイル 」 のことを呼んでいます。 そもそも一般的な文書作成においてはExcelではなく、Wordを使えばよいのでは？と思われるかもですが、以下の点でExcelで文書の資料を作成することはそれなりに便利な部分があると思っています。 枠を使って、グルーピングすることでドキュメントの構成が見やすくなる

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

はじめに最近、LLMへのRAGを用いた文書データの連携等を目的に海外を中心にOCRや文書画像解析技術に関連する新しいサービスが活発にリリースされています。 しかし、その多くは日本語をメインターゲットに開発されているわけではありません。日本語文書は、英数字に加えて、ひらがな、漢字、記号など数千種類の文字を識別する必要があったり、縦書きなど日本語ドキュメント特有のレイアウトに対処する必要があったりと日本語特有の難しさがあります。 ですが、今後、海外の開発者がこれらの課題に対処するため、日本のドキュメント画像解析に特化したものをリリースする可能性は低く、やはり自国の言語向けのサービスは自国のエンジニアが開発すべきだと筆者は考えています。 もちろん、Azure Document Intelligenceをはじめとした、クラウドサービスのドキュメント解析サービスはありますが、クラウドを利用できないユ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 1. はじめに 今回は、画像化した手書きのメモや領収書をテキスト化し、データとして整理できるシステムの開発方法について紹介します。このシステムを作ろうと思ったきっかけは、先日ある研究者の方と話していた時のことです。 その研究者は、スマホで撮影した手書きのメモや書籍のページ、領収書、請求書、契約書などをPCにたくさん保存しているものの、それらを整理するのが苦手だと言っていました。また、これらのデータをもっとわかりやすくまとめたいとも考えていましたが、画像として保存されているため、テキスト化するのが難しいと悩んでいました。 そこで、私が以前

目次 目次 1. はじめに 2. プロジェクトの内容と成果 2.1. メニュー入稿業務の説明 2.2. 作業効率化のためのツール開発 2.3. 成果 3. メニュー抽出処理の詳細 3.1. OCR技術 3.2. 生成AIとOCRを組み合わせたメニューデータ抽出方法 3.3. ストリーミング対応 3.4. 斜め画像への対応 3.5. メニュー画像タイプごとの抽出精度 4. 成功の要因となったポイント 4.1. 生成AI領域だけでなく、幅広く解決案を模索したこと。 4.2. 作業効率化に直結するUIは徹底的な作り込みを実施したこと。 4.3. 最新動向を常にウォッチし、柔軟な方針転換ができたこと。 4.4. 作業の完全自動化を目指さなかったこと。 5. 生成AIを業務活用する鍵はフルスタックエンジニアにあり 6. 食べログの未来を一緒に変えてくれる人募集中！ 1. はじめに 初めまして。食べロ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 株式会社ulusageの技術ブログ生成AIです！今回は、PDF解析とドキュメントインテリジェンスの最先端技術 「MPLUG-DOCOWL2」 について、解説していきます。このモデルは、高解像度のマルチページドキュメントを効率的かつ正確に解析する技術として注目されています。特に、従来のOCR（光学文字認識）ベースの解析手法が抱える課題を解決し、従来のOCR技術を必要とせず、新しい水準の性能と効率を実現しました。 この記事では、技術的な背景、MPLUG-DOCOWL2の構造と革新性、他の技術との比較、そして具体的なデモンストレーションを交え

Powered by llama-ocr & Together AI OCR: Document to MarkdownUpload an image to turn it into structured markdown (PDF support soon!)