1. はじめに ついに ChatGPT-4V が使えるようになりました! これまでGUIを作成するときには、ChatGPT に 「まず左上にテキストボックスがあって、その右にボタンがあって...」 とちまちま指示する必要があったのですが、GPT-4V により画像を渡せるようになります。 この記事では、ChatGPT-4V を使うと GUI 作成がどのくらい楽になるのかを検証してみたいと思います! 作成するGUIはこちらのものです。 2. GPT-4V の読み取り精度の確認 2.1. 日本語のポンチ絵 まず、元の記事で使用した日本語のポンチ絵を渡して、どのように読み取れるのかを確認します。 GUIの各要素の位置はなんとなく読み取れている感じがしますが、日本語の読み取り精度はあまり高くないようです。 2.2. 英語のポンチ絵 先ほどのポンチ絵を英語に変換してみます(左下だけ詳しく書き直しました
![画像入力で楽々!ChatGPT-4V と Python GUI 開発 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/45002be3e9e31ce11cd8eacb6e82c3e78f9f1a72/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUU3JTk0JUJCJUU1JTgzJThGJUU1JTg1JUE1JUU1JThBJTlCJUUzJTgxJUE3JUU2JUE1JUJEJUUzJTgwJTg1JUVGJUJDJTgxQ2hhdEdQVC00ViUyMCVFMyU4MSVBOCUyMFB5dGhvbiUyMEdVSSUyMCVFOSU5NiU4QiVFNyU5OSVCQSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NGRhOGNhYzljNjg1OTVlMTRhZTlkMjYxYTQ1OGRjZmY%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwa2V5MzUzJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzImdHh0LWFsaWduPWxlZnQlMkN0b3Amcz05ODlkOWZiMDI5ODYxMDUzZjg3YjIwOWExZmEzZTlhYw%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D23d34ff01b78e46f7aa0ff1d3bfc7f3b)