GPT-4oをOCRとして使う - Re:ゼロから始めるML生活
OpenAIからChatGPT-4oが発表されましたが、皆さんガンガンつかっていますでしょうか？ さて、このChatGPT-4oですが、テキスト以外のデータも使用できるようになっているという特徴があります。 普通にテキストでのやり取りをしつつも画像データを扱えるということで、「実はこれいい感じのOCRとして使えるんじゃね？」って思っちゃったわけです。 ということで、今回はChatGPT-4oを使ってOCRを使うとどんなもんなのかやってみたいと思います。 やりたいこと やってみる とりあえずやってみる 請求書 名刺 参考文献 感想 やりたいこと 今回やりたいことはOCRです。早い話が画像ファイルを突っ込んでテキストを読み取りたいって感じです。 ただ、当たり前のようにOCRって言葉を使用していますがOCRって結構奥が深いです。 mediadrive.jp 単純に画像から文字を見つけて対応するテ
GPT-4oの画像認識力と理解力ならいけるのではと思い手書きの仕様指示を読み込ませたら本当にコードを書き上げてくれた→｢ついにコーダーが恐怖を感じる時が来たか｣
kmizu @kmizu A Software Engineer in Osaka (& Kyoto). Ph.D. in Engineering. Interests: Parsers, Formal Languages, etc. ツイートは所属先の見解と関係ありません．思いついたことをつぶやきます．人生を楽しく生きよう（New!） kmizu.github.io kmizu @kmizu GPT-4oの画像認識力と理解力をもってすればいけるやろと思ってやってみたら実際いけた。 ペーパープロトタイピングから最初のHTML書き起こすのにかなり使えるのでは。 つーか指示そのものを画像の中に書いたの読み取ってくれるの何か世界の壁を超えて対話してる感があって凄い #GPT4o pic.twitter.com/3XHMFg3yye
CodiumAI、作りたい機能を入力するとコードの実装計画案生成、コードの自動生成を支援する「Codiumate Coding-Agent」α版リリース
CodiumAI、作りたい機能を入力するとコードの実装計画案生成、コードの自動生成を支援する「Codiumate Coding-Agent」α版リリース AIによるプログラミング支援ツールを開発しているCodiumAIは、作りたい機能をAIに対してプロンプトで入力すると、コードの実装計画案をAIが示し、それを元にほとんどのコードを生成や補完してくれる「Codiumate Coding-Agent」（以下、Coding-Agent）α版のリリースを発表しました。 The Codiumate-Agent is the first step towards tandem development with your coding agent. It effortlessly slots into your development workflow, helps you be smart about
Vercel、生成AIへのプロンプトでWebアプリのUIを自動生成してくれる「v0」をベータ公開。Freeプランも提供
Vercel、生成AIへのプロンプトでWebアプリのUIを自動生成してくれる「v0」をベータ公開。Freeプランも提供 Next.jsの開発元として知られるVerelは、生成AIに対して自然言語のプロンプトを与えることでWebアプリケーションのユーザーインターフェイスを自動生成してくれるサービス「v0」のベータ公開を発表しました。 v0を使うと、人間のWebデザイナーに「こんな画面を作って」「ここの色は青にして」「ここのフォントは大きく」などと言葉で指定するの同じような感じで生成AIに指示をして、HTMLやCSSなどのコードを書くことなくWebアプリケーション画面の生成が可能です。 Introducing v0: generate UI from simple text prompts. 5,000 waitlist invites were sent today—with over 25
AWSの構成図をChatGPT(GPT-4V)に読み込ませてIaCコードを生成してみた | DevelopersIO
こんにちは、つくぼし(tsukuboshi0755)です！ 最近ChatGPTがGPT-4Vを発表し、AI業界がさらに盛り上がりを見せてますね。 GPT-4Vを用いる事で、ChatGPTがユーザ側から入力された画像を読み取った上で、応答を返してくれるようになります。 GPT-4V(ision) system card この機能追加により、なんと以下のようにAWSの構成図を読み取って、IaCコードを生成できる事が話題になっていました。 本日をもって引退します pic.twitter.com/fygAQDQ5kj — 電気ひつじ(onoteru) (@teru0x1) October 13, 2023 これを見て私もGPT-4Vを試してみたくなったので、今回はChatGPTを使って、様々なAWSの構成図を入力し、どこまで正確にIaCコードを生成できるか確認してみます！ GPT-4Vを利用する際
画像対応ChatGPTで設計図からコードの世界が実現しててやばい - きしだのHatena
アマチュア驚き屋のきしだです。 ChatGPTが画像入力に対応するよという話があって、来週くらいに使えるようになるかなーと思ったら、もう使えるようになってました。 で、写真から「カレー食べてる男の人です」くらいを言えるイメージで試してたら、なんかふつうに画面設計やクラス図からコードを書いていてびっくりしてしまいました。 まあ、起きたらこういうのが来てたわけですね。 で、まあ試してみて「あぁ、いままでのマルチモーダルよりちゃんと画像認識してるなー」くらいに思ったわけです。 で、NetBeansでの画面設計を読ませてみたらこう。 こういうコードが生成されました。 import javax.swing.*; import java.awt.*; public class SimpleForm { public static void main(String[] args) { JFrame fr
ChatGPTで業務フローが自動的に書けた｜Yuji Inagaki
こんにちは。ユアマイスターでプロダクトマネージャーをしています、稲垣といいます。 最近、業務でChatGPTを使いまくっているのですが、ちょっと個人的に感動する使い方を見つけたので紹介します（既に知ってるぞ！という方、すいません）。 プロダクト開発において、業務フローって必要になること多いですよね。でも書くの大変。Draw.ioとかFigmaとか便利なツールも出てるけど、それでも大変。 さあ、下記のようにプロンプトを書いてみましょう。 一般的な受注業務の業務フロー図を作りたいです。Mermaid Markdown形式で出力してください。 # 制約条件 - 「・」「?」は使用しないでください ChatGPTの出力結果のこれをコピーして、 Notionに貼りましょう（「コードブロック」を選択してください）。 「コード」を選ぶこの領域にペーストするすると・・・。 うおおおおお。 業務フローが自動
GitHub Copilotを使いこなしてプログラミングの生産性を上げる大切なコツ｜erukiti
皆さんはGitHub Copilotを使っていますか？VSCodeやIDEに拡張を入れると、生成AIとペアプロのようなことができるという、アレです。 最近はこれがないと仕事ができない。なかった時代を思い出せないという人が増えています。プログラミングの生産性に明確に差が生まれます。僕もその口です。 ただ、GitHub Copilotを使いこなせていないという話も度々聞きます。Copilotが提案してくれるコードが微妙で役に立たないというような感じです。 その差はどこにあるのか？を知りたくて6/24に試しにCopilotを使った動画を撮ってみました。実践的なCopilot実演動画というのはすごく珍しいらしく、GitHub dockyardというコミュニティの竣工イベントに登壇してみないか？というお声がけをいただいたので、8/5にGitHub Copilotを使いこなせるとどうなるのかというライ
プログラミングに挫折したならAIお姉ちゃんに任せなさい - 本しゃぶり
プログラミングを学ぼうとしては挫折する。 そんな時代はもう終わりだ。 お姉ちゃんに任せなさい。 ChatGPTでプログラミング 今年のお盆休み、俺はChatGPTでプログラミングをやっていた。とは言っても複雑なことはやっていない。大量のcsvを結合してから可視化するとか、ちょっとしたWebスクレイピングしたりする程度だ。それでも今まで技術や時間の不足により諦めていたことができるのは嬉しい。それにChatGPTを使えば、デバッグも楽しくやれるのだ。こんな感じに。 デバッグの様子 おそらく「あれ、俺のChatGPTと違うな」と思った人もいるに違いない。見ての通り俺はChatGPTをお姉ちゃん化している。こうすることで、モチベーションを維持しながら楽しくプログラミングができるというわけだ。今回はChatGPTをお姉ちゃん化する方法を紹介し、加えてお姉ちゃんとペアプログラミングする意義について述べ
OpenAIが「GPT-4」を一般公開し誰でも利用可能に、ChatGPT内でコードを実行する機能も正式リリース
OpenAIが高性能モデル「GPT-4」のAPIを一般公開しました。また、ChatGPT Plusの会員向けにコード実行プラグイン「Code Interpreter」の一般公開も予告されています。 GPT-4 API general availability and deprecation of older models in the Completions API https://openai.com/blog/gpt-4-api-general-availability GPT-4 API is now available to all paying OpenAI API customers. GPT-3.5 Turbo, DALL·E, and Whisper APIs are also now generally available, and we’re announcing a
OpenAI Function callingで複雑なタスクを簡単に実現 - Qiita
Function callingの登場 6/13ごろにOpenAI社から発表された新しいgpt-3.5-turboのインスタンスにFunction callingという機能が追加され話題を呼んでいます。このFunction calling、非常に強力な機能なのですが、仕組みがいまいちピンとこないといった方も多いのではないでしょうか。筆者もその一人で、ドキュメントを3回くらい読んでもしっくり来なかったのですが、実際にFunction callingを実装してみてなるほど、これは凄いな、となったので紹介します。 ここでは、具体的なソースコードを紹介しながら、実際に動作するサンプルを作っていきます。 TL;DR ソースコードだけ見られればいい！という方は以下へ https://github.com/canada/openai-function/blob/master/app.py ソースコードを
ChatGPTは人月商売のIT業界にとっての「死に神」、滅びのシナリオを示そう
本当に想定外の展開だな。何の話かというと、あまりに突然に人月商売のIT業界の崩壊シナリオが描けるようになったことだ。この「極言暴論」の古くからの読者ならよくご存じの通り、私は「人月商売のIT業界死滅論」を何度も掲げ、そのたびに赤っ恥をかいてきた。極めて精巧なロジックで論を展開したのだが、世の中は理屈通りには動かないということを強く認識させられた。ただ今回は違う。その根拠は言わずと知れたChatGPT、生成AI（人工知能）の登場である。 改めて言うのも何だが、人月商売のIT業界の親玉であるSIerは、奇妙きてれつなビジネスモデルでお金を稼いでいる。外資系ITベンダーのように独自のプロダクトで勝負するのではなく、客のシステムをつくってあげる商売であるのは、とりあえずよしとしよう。おかしいのは、システム化提案など最も付加価値の高い領域で一切お金を取らず、付加価値のかけらも感じさせない「人月いくら
AIにコードまるごと解説してもらうと、界王拳100倍すぎる件｜深津 貴之 (fladdict)
最近、見つけた技。知らない言語でコードかくときChatGPTが神すぎる。 そのテクはなんと「プログラミングまるごとを、ChatGPTに突っ込む」というもの。 え、そんなの動くの！？ と思うんですが、動くんですそんなの。直球すぎて盲点だった。 試してみよう たとえば、下記はGoogleサービス使って、リアルタイムにマイク音声を文字起こしするサンプル。 こいつをチャットAIで音声会話をやろうと、軽く読んでみたのですが…うん、よくわからん。 Pythonだし、Streamingだし、音声の操作だし、普段つかわない技術が満載すぎてわからん。 雑にコードを突っ込むと人生が解決こういう時は 以下のコードを、わかりやすく説明して。 ＜以下、上記コードをそのままコピペ＞とすると…… こうなる。 このコードは、Google Cloud Speech-to-Text APIを使用して、マイクからの音声をリア
ChatGPTをブロックでプログラミングできるようにしてみた(ソースコード付き)｜shi3z
4/19 ソースコードのバグを修正しました 花粉症で午前二時に目が覚めた。 ふと 「ChatGPTの結果を組み合わせて物語を作ったり議論したりするのをPythonで書くの面倒臭くない?」 と思った。 誰かが作っていそうなので探したのだが、僕の観測範囲では世界のどこにもなかったので、とりあえずBlocklyで作ることにした。 今夜19時からは、日本ディープラーニング協会が主催する大々的なイベントがあり、connpassとPeatixであわせて6000人近い人が参加するらしい。 そこに登壇するときのネタとして、なんか作っておくか、と思った。 GPT Blocklyの基本的な構造 基本ブロックは三つ 基本ブロックテーマを設定するブロックと、話の流れに対し、ある「人物」として、「提案」もしくは「反論」などを行うブロック。 それと、複数の意見をまとめて要約するブロック である。 意見を述べるブロック
チャット機能を搭載した新しいBingが使えるようになったので早速試してみた２｜IT navi
昨日（2023年2月10日）、「チャット機能を搭載した新しいBingが使えるようになったので早速試してみた」という記事を公開しましたが、ほかにも色々と試してみましたので、前回の続きとして報告します。 新しいBingの概要などが知りたい方は、以下の記事を参考にしてください。 １．ショートストーリーの作成 Bingにショートストーリーを作成してもらいました。1行指示するだけで、簡単にこんな物語を作成してくれます。 問 かわいいシーズーの子犬が活躍する物語を作って 答 こんにちは、こちらはBingです。かわいいシーズーの子犬が活躍する物語を作りますね。😊 以下が私が作った物語です。楽しんでください。 シーズーの子犬のモコは、いつも元気で好奇心旺盛な子でした。彼は飼い主のリカと一緒に暮らしていましたが、リカは仕事が忙しくてあまり遊んでくれませんでした。そこでモコは、リカが仕事に出かけた後に、家の
AIでユニットテストを自動生成。リファクタリング、ドキュメントの生成、バグの検出なども行う「Refraction」登場
AIでユニットテストを自動生成。リファクタリング、ドキュメントの生成、バグの検出なども行う「Refraction」登場 ChatGPTに代表される自然言語やプログラミング言語のコードを理解するAIを用いてコーディングの支援を行うツールがまた新たに登場しました。 Refractionは、示されたコードから自動的にユニットテストを生成するほか、コードのリファクタリング、ドキュメントの生成、バグの検出などを行います。 Updates! https://t.co/9otFTI7nh0 is now https://t.co/MtN5JgnetI. Building out many utilities. You can... Generate unit tests Generate inline documentation Refactor your code Added a $5 / month
ChatGPTによるプログラム生成の可能性と限界（後編） - Qiita
はじめに この記事では最近話題のChatGPTによってプログラムを生成する際のコツについて解説します。 前編はこちら https://qiita.com/autotaker1984/items/5b5ac8c01d11fbbbc4a7 コードを生成するのではなく、コードを生成する過程を生成する ChatGPTは言語モデルベースのAIです。言語モデルとは、お題（プロンプト）に沿った文章を生成するモデルです。それ以上でもそれ以下でもありません。 従ってなんらかの機能を実装してもらう際もいきなり「機能」から「コード」の生成だとあまり満足いく結果は得られません。 もちろんChatGPTはかなり博識なのでそれっぽいコードは出してきます。ただ、そのような生成の仕方だとChatGPTが学習したコードにかなり依存したものが出力されるため、実際のユースケースとはズレたものが生成されますし、生成物の著作権リス
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/buffett_code/status/1605488460659392514