GPT-4oを使って2Dの図面から3DのCADモデルを作る

はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 先日、 OpenAIからGPT-4oがリリース されました。 いろいろGPT-4oに関して調べていると、スピードが速くなっていたり、音声も直接扱えてマルチモーダル化が進んでいたりするようなのですが、画像に関して GPT-4-turboに比べ、認識やOCRの精度が向上している ようです。 製造業という観点からすると、これは 設計図面などに活かせるようになるのでは？ と思いました。 機械部品などの設計図面は以下のように、特定の方向から部品を2次元上に落とし込んだ形で書かれるのですが、部品本体を描いている図以外に、寸法や名称といった文字も含まれた画像になっています。 このような 図と文字の複合データにおいて、GPT-4oの進化は有効なのではないか と考えました。 ※画像元URL: http://cad.wp.xdoma

[jojoagogo0]

やっぱこんなものよね。こんな単純な部品ですらこれだもん、建築設計図(フォーマットは作成者によりバラバラ)を3D化するのは夢のまた夢(かつて上司に生成AIならいけるやろくらいに雑に言われたの根に持ってる)

[lochtext]

もっとモデリングデータを学習させないと使えないだろうね

[tasukuchan]

“ ”

[clannad35]

メモ

[punkgame]

図面とぜんぜん違うやんけ…

[misshiki]

“画像に関して GPT-4-turboに比べ、認識やOCRの精度が向上している ようです。”3Dプリンターで何か作る時、モデリングが不慣れで苦手で、できれば誰かが作ったのをダウンロードするけど、ChatGPTが作ってくれるなら楽。

[ika2434]

学習データがまだ足りてないだけで全然夢ではない気がする。2年くらい前もイラストの精度低くて使い物にならないなんて言われてたのに、今じゃ人が描いてんのかAIが描いてんのかわかんないもん。

[remonoil]

"CADモデルの作り方としては、cadqueryというpythonを使ってCADモデルを作れるライブラリを使用" 非プログラミング領域をプログラマブルにするライブラリの活用法としてかなり良さそう

[timetrain]

さすがにその部門まで汎用状態で作るのはねえ

[pendamadura]

3面図から3D作るのって簡単そうなのになぁ

[maketexlsr]

ニーズの可視化って意味で同意する。GPTでやるのかはともかく、人間の頭で経験から抽出してるものなのでAIに向いてる対象では。ちゃんと学習させたら昔の青焼きを全部3D化できるようになりそう

[MIZ]

STLとかglbファイルが作れるって聞いたから試しに扉作って、という雑な指示とともに凝った文様の扉の画像を渡したら、長方形の板ポリを１枚渡された。無茶言うなよ、という心の声を聞いた気がした。

[kagerouttepaso]

画像生成の汽車化ケーキ化で笑ってた頃を思い出す。良し悪しの評価が出来るなら精度向上は見えてると思う。

[hexcap]

図面というものは人間にっての可読性をよくするためにあるべき線を消したり、本来はない線を付け加えて形状を理解しやすくするテクニックがある。読み取り精度を上げていく試みは早々に行き詰まりそう。

[TakamoriTarou]

4oになる前からOpenCasCadeに食わせて書かせるという事は行われているけど、特に改善してないっぽい感じ。