OpenAIのBatch APIを使ってお得にプロンプトを一括処理してみる - Taste of Tech Topics

はじめに こんにちは。データサイエンスチームYAMALEXのSsk1029Takashiです。 最近はOpenAIに日本支社が出来て、日本語対応が加速するというニュースにわくわくしています。 今回はそんなOpenAIから発表されたBatch APIという機能が便利、かつお得な機能だったのでどのように使えるのか試してみます。 Introducing the Batch API: save costs and get higher rate limits on async tasks (such as summarization, translation, and image classification). Just upload a file of bulk requests, receive results within 24 hours, and get 50% off API pri

[toyoshi]

アンケートの集計作業とか手元でバッチ組んでたので助かる

[deejayroka]

“Batch APIという機能はその名の通りAPIから利用できる機能で、複数のプロンプトをファイルにしてアップロードすることで一括処理できるという機能”

[dowson]

バッチで利用したいユースケースあるかなと思ったけど、複数の文章をまとめて要約しておくみたいな時に使えるのか

[imash]

これはニーズ高そう

[stabucky]

この機能は良い。大量のドキュメントや議事録の要約なんて翌日読めれば充分だから。

[shoh8]

これはよい

[shields-pikes]

これで作りたいものが作れるようになった。公式が出す前に、バッチ処理に特化したサービスを作ろうかと思ってたけど、思い止まってよかった。

[door-s-dev]

おっ、これは知らなかった

[pmint]

GPTsではGPTカスタマイズ時にいろいろアップロードしても、ひとつひとつ開いて読んでもらわないといけなかったので、イメージと違った。あとは/v1/assistantsでもバッチ処理ができれば、みんなが思い描いていたAIを作れる。

[t_otoda]

“チャットのようにインタラクティブに結果を得られない代わりに、通常のAPIよりも50%も料金が安くなるというかなりうれしい機能になります。”