GPT-4oの画像認識はどの程度の画質まで日本語OCRが可能か調べてみる

執筆日 2024/08/06 ちょっと追記: 2024/08/13 概要 社内の案件でGPT-4oで画像認識をさせたときに案件によって「OCRの精度がめちゃくちゃいい」という報告と「全然OCR上手くいかないじゃん」という報告があったため、画質によってどの程度精度に差が出るか調べてみました。 特に画数の多い漢字は、画質が低いとすぐにつぶれてしまいます。人間は文脈による推論でその漢字を予測することができますが、AIにとってはどうでしょうか。従来のCVによるOCRはつぶれた文字は確率が高い文字を出力するだけですが、VLMによるOCRはその言語処理能力によってある程度文脈に沿った文字抽出が期待できそうな気がします。またプロンプトで「誤字も読み取れるそのままを抽出してください」と言ってみたり、「読みづらい文字は文脈上正しい単語で抽出してください」と言ってみたりすることでも回答が変わるかもしれません。