はじめに こんにちは、株式会社STAR AIでデータサイエンティスト兼人事をしている本田です。 LLM（大規模言語モデル）を活用したサービスやプロジェクトを考える上で、モデルの出力をどのように制御するかは非常に重要なポイントです。 何も指示を与えずに質問などを入力すると、LLMは自由記述の形式で回答を返してきます。これでは、情報の整理や再利用が難しく、ビジネスでの活用には不向きです。もちろん、プロンプトエンジニアリングによってある程度の出力制御は可能ですが、ノウハウが必要であったり、質問文などの入力が変動することで指示がうまく通らないこともあります。結果として、毎回同じ形式での出力を安定して得るのは難しいというのが現状です。 そこで今回は、OpenAIのAPIを活用して、LLMの出力を構造化データとして制御・取得する方法をご紹介します。 プロンプトの工夫だけに頼らず、より確実に出力フォーマ

OpenAI’s gpt-4o-audio-preview is a powerful multimodal model that enables audio input and output capabilities, allowing developers to create more natural and accessible AI interactions. This model supports both speech-to-text and text-to-speech functionalities in a single API call through the Chat Completions API, making it suitable for building voice-enabled applications where turn-based interact

「OpenAI Agents SDK」の概要についてまとめました。 ・OpenAI Agents SDK 1. Agents SDK「Agents SDK」は、Agentシステムを構築するための軽量パッケージです。これは、以前の実験プロジェクト「Swarm」の本番環境対応版となります。 「Agents SDK」は、以下な最小限のプリミティブで構成されています： ・Agent : 指示とToolを備えたLLM ・Handoff : 特定のタスクを他のAgentに委任できる機能 ・Guardrail : Agentへの入力を検証するしくみ これらのプリミティブを Python と組み合わせることで、ToolとAgentの間の複雑な関係を表現し、学習コストなしに実用的なアプリケーションを構築できます。 さらに、SDK には トレース機能（Agentの動作を可視化・デバッグできる機能）が組み込まれ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

このノートブックでは、OpenAI Agents SDKを使用してインテリジェントなAIアプリケーションを構築する方法を学びます。ツールの利用、エージェント間のハンドオフ、ガードレールの実装など、実践的な例を通して理解を深めていきましょう。 OpenAI のAgents SDKを色々と動かしてみた！ 構造化とかガードレールとかハンドオフとか普通に使える＋見やすい！！ これにMCPのマージリクエストも出てるぽいからマジでエグいフレームワークになる予感、、、やはりエージェントフレームワークの始祖（Swarm）をベースにしていることはある、、、… https://t.co/ZsxPvoB9oW pic.twitter.com/U2AGit0JR4 — Maki@Sunwood AI Labs. (@hAru_mAki_ch) March 12, 2025 環境設定 まずは必要なライブラリをインス

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

表の引用元：Available models and languages: openai/whisper -github.com Whisperを使ってみる Whisperは、MITライセンスのOSS版とAPI版の利用が可能です。それぞれを利用する方法を見ていきます。 以下は筆者の動作環境になります。 M2 MacBook macOS Sonoma 14.7 メモリ 16GB Python 3.11.5 [1] OSS版 OSS版のWhisperを利用するには、pipでインストールします。また、動画と音声を記録・変換・再生するためのコマンドラインツールFFmpegが別途必要です。FFmpegはほとんどのパッケージマネージャーから入手できますので、ご自身の環境にあった方法でインストールしてください。 Whisperでは音声データの読み取りにFFmpegを使用しているため、FFmpegが対応し

この記事は Magic Moment Advent Calendar 2024 5 日目の記事です。 Magic Moment でプロダクトデータを活用した機能の開発・検討をしている @nagomiso です。 気づけば前回の記事から 1 年が経過していました。時間の流れが早すぎて驚きを隠せません。 ここ 1 年での変化としては体重が大幅に増えました。原因は間違いなくラーメンの食べ過ぎです。節制せねば… 🍜 はじめに Google が Gemini 1.5 Pro / Flush を公開したり OpenAI が GPT-4o / 4o mini, OpenAI o1 / o1 mini を公開したりと 2024 年も LLM の進化には目を見張るものがありました。 こうした進化によって開発で使える高性能な LLM API サービスが増えるのは喜ばしいことですがサービス毎に API が異な

最近は、Realtime APIの実験が楽しくて止まらないasapです。 これまでも、pythonサンプルコードの作成と、ユーザ割り込み機能の実装に関しての記事を書かせていただきました。 Microsoftなどが、質の高いRealtime APIのフロント実装を公開しており、API KEYを入れるだけで、簡単に試すことができるものが、たくさん公開されています。 しかし、個人的には、やはり中身の実装を理解してこそ、だと思っています。 そのためには、一番簡単なサンプルコードの状態で、何が起きているのかを理解するのが手っ取り早いです。 そういう意味で、私の記事が皆様の参考になっているようで、すごく嬉しいです。（たくさんの「いいね」ありがとうございます） 本記事を書いた背景 さて、今回の記事を書いたきっかけは、下記のポストです。 こちら、拝見されている方多いと思いますが、Realtime APIを

（2024年12月22日　追記） 3点追記させてください。 (1) 12月に新しいモデルが出ているようです。 gpt-4o-realtime-preview-2024-12-17 こちらを利用すると、10月に出たモデルの60%OFFの料金で利用できるそうです。 本日、記事の中身のモデルを上記の最新のものに変更しました。 以前、本記事をご覧いただいた方は、モデル指定の箇所を変更いただけますと幸いです （残念ながら2024年12月22日現在では、Azure版では公開されていないようです。今後に期待です） WS_URL = "wss://api.openai.com/v1/realtime?model=gpt-4o-realtime-preview-2024-12-17" (2) websocketにおいて、新しいバージョンは引数の名前が変更されたようです。 これまでは、ヘッダー情報を与える際に

こんにちは、commmuneでデータサイエンティストをしているひぐです。 人間が苦手なマルチタスクをLLMに任せたら、効果的に処理してくれるのではないか?というモチベーションのもと、Pythonの非同期処理を使って並列かつストリーミングでChatGPTの回答を出力するアプリを作りました🤖 例えば下記は、ある課題を入力すると、深さ・広さ・構造・時間軸という異なる観点で解像度を上げてくれるアプリケーションです。 アプリに関する登壇資料↓ このアプリ作成にあたってPythonの非同期処理を勉強したところ、最初は多くの専門用語(コルーチン、イベントループ...)や独自の記法により、全体像をつかむのに苦戦しました。一方で、学んでみると予想以上にシンプルな記法で実装できること、そして応用範囲が広くて便利だと理解しました。 この記事では、そんな少し取っつきにくけど便利なPythonの非同期処理にフォー

OpenAIのChat Completion APIを使って、あらゆるジャンルのクイズを無限に作るクイズAPI1を作ってみました。利用するためには、OpenAIのAPIトークンが必要です。 PythonのStreamlitで作ったデモアプリの中で使っています。 クイズのデータ形式 ジャンルを指定すると、Chat Completion APIを使って、次のようなJSON形式の4択クイズデータを生成します。次の例はジャンルにPythonを指定した結果です。 { "questions": [ { "question": "Pythonの特徴でないものはどれ？", "options": ["動的な型付けを採用している", "クラスベースのオブジェクト指向プログラミング言語である", "セミコロンが必須である", "インデントによるブロック表現が特徴的"], "answerIndex": 2 },

The new Assistants API is a stateful evolution of our Chat Completions API meant to simplify the creation of assistant-like experiences, and enable developer access to powerful tools like Code Interpreter and File Search. Chat Completions API vs Assistants API The primitives of the Chat Completions API are Messages, on which you perform a Completion with a Model (gpt-4o, gpt-4o-mini, etc). It is l

はじめに OpenAIのDevDayで発表されたText2SpeechのAPIを使ってみたいと思います。Text2Speechとは簡単にいうとテキストの読み上げ機能です。 日本語を読ませる場合、まだ少し英語訛りですが、なかなか人間っぽい発音を行います。 今回はこのText2SpeechのAPIを使って遊んでみたいと思います。 なにを作るのか？ 先程記載したように、Text2Speechでは発話を行うことができます。 この特徴とGPTの会話ができる特性を組み合わせれば、会話っぽいことができるのではないかと思い実装してみました。 今回は試験的に実装を行うため、GPTには「動物博士」としてのロールを与えて動物の雑学を教えてもらいました。 完成形は以下のような動画になります。Text2Speechを利用しているため音声ONの状態での閲覧を推奨します。 発音が英語話者っぽくなっていることや漢字を稀に

こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回は前回の記事で書ききれなかった「Function callingの並列化」にフォーカスして試してみます。 機能の概要 Function callingが更新され、1つのメッセージで複数の関数を呼び出すように動作するようになりました。（正確には複数呼び出すようにレスポンス側に指示が来ます） Function calling / Parallel function calling - OpenAI API こちらはgpt-4-1106-previewとgpt-3.5-turbo-1106で使用可能です。 また、Function calling自体の精度も向上され、正しい関数パラメータを返す可能性が高くなっているようです。 上記の公式ガイドでは並列的なFunction callingの例として、例え

「OpenAI Python API Library」のインタフェースが一新されたので、かるくまとめ直しました。 ・OpenAI Python API library v1.1.1 1. OpenAI Python API LibraryPythonで「OpenAI API」にアクセスするには「OpenAI Python API Library」を使います。 2. セットアップColabでのセットアップ手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install openai(2) 環境変数の準備。 以下のコードの <OpenAI_APIキー> にはOpenAIのサイトで取得できるAPIキーを指定します。(有料) import os os.environ["OPENAI_API_KEY"] = "<OpenAI_APIキー>"(3)

「Google Colab」で「OpenAI API」の「Retrieval」を試したので、まとめました。 前回 1. Retrieval「Assistant API」は、さまざまなタスクを実行できる強力な「AIアシスタント」を作成するためのAPIです。 「Assistant API」は現在、次の3つのツールをサポートしています。 ・Code Interpreter : Pythonコードを作成して実行 ・Retrieval : モデル外部からの知識を取得 ・Function Calling : 関数のレスポンスを取得 今回は、「Retrieval」を使います。「Retrieval」は、製品情報やユーザーから提供されたドキュメントなど、モデル外部からの知識を取得して、アシスタントを強化します。ファイルをアップロードして「アシスタント」に渡すと、自動的にドキュメントをチャンク化し、埋め込みの

はじめに OpenAI DevDayで発表されたJSONモードをAWS Lambdaを利用して試してみました。 OpenAIの開発者向けカンファレンスのDevDayで様々なアップデートがありました。 弊社ブログでも発表内容がまとめられています。 アップデートのうち、JSON形式でレスポンスを返すことが保証されたJSONモードがサポートされましたので、今回は、新機能をAWS Lambdaを利用して試してみます。 JSONモードに関するドキュメントは、以下のみでコードの例がなかったため、コードも含めて紹介します。 利用するにあたり注意点 モデルのうちgpt-4-1106-previewとgpt-3.5-turbo-1106のみでJSONモードが利用可能です。 response_formatに{ type："json_object" }を設定することで、JSONモードが有効になります。 プロンプ

日本時間未明(午前三時)ものすごいスピードで語られたOpenAI初の開発者向けイベントDevDayで発表されたGPT-4-TurboとGPT-3.5-TurboによるJSONモード。 これはものすごく強力なんだけど、Python APIによる使い方がどこにも描いてないので試行錯誤の末見つけましたので共有いたします。 from openai import OpenAI import openai import os openai.api_key = "<APIキー>" client = OpenAI() def gpt(utterance): #response = openai.chat( response = client.chat.completions.create( #model="gpt-4-1106-preview", model="gpt-3.5-turbo-1106", r

はじめに この記事では、3日間でテック記事のAI要約・翻訳メディアをつくる個人開発で利用した OpenAI API LangChain の具体的な実装と利用コストについて触れていきます。 OpenAI APIとLangChainとは... OpenAI API OpenAI APIは、OpenAIという人工知能の研究・開発・普及を目的とした団体が提供するAPIです。このAPI は、自然言語とコードの理解または生成を必要とするタスクに利用することができます。 LangChain OpenAIが提供するGPT-3のような大規模言語モデル（Large Language Model: LLM）を利用してサービスの開発をしたいときに、「あるとうれしい機能」が集まったライブラリです。 この記事の目的 OpenAI API を使った記事の要約とFunction Callingの紹介 LangChain