GPT4oを使って、訓練無しで物体検出(BBox)ができるか試してみる

今日も今日とてopenAIの新発表が機械学習界隈を賑わせていますね。 今回は、2024/05/14に発表されたGPT4oについてです。 返答速度があがったり画像認識精度があがったり音声会話の性能が良くなったりと色々話題が尽きません。 具体的にどのあたりが凄くなったのかは僕以外にもまとめている人が多そうなのでこの記事では触れません。 個人的に特に気になっているのが画像認識の精度向上部分で、今回は画像認識精度がどの程度あがったのか？というのを画像系機械学習の主要なタスクであるBBoxによる物体認識というタスクで簡単にチェックしてみようと思います。 BBoxとは BBoxはBoundingBoxの略で、画像内の特定のオブジェクトを囲むために使用される長方形のボックスの事を指します。 BoundingBoxの定義は以下の通り このBBox検出は画像系機械学習モデルの基本的なタスクであり、自動運転の

[shunkeen]

再帰的に識別・生成させればGPT-4o自身でBBoxの座標を修正したりできるのかな？初期値はゼロショットでBBox座標を生成、赤枠付きの画像と座標をGPT-4oに渡して、修正された座標を生成させる。座標が安定するまで繰り返す。

[misshiki]

“完ぺきではないとはいえ、ゼロショットでここまでできる”信号機からしてズレてると思ったけど...。

[Imamura]

入力画像から検出した物体をChatGPTに明示させるには「bbox形式で」と指示すればいいんだね。ねじが散らばった写真から長さが違うものだけ検出してもらうときはこれを使おう