はじめに 最近は、Realtime APIの実験が楽しくて止まらないasapです。 これまでも、pythonサンプルコードの作成と、ユーザ割り込み機能の実装に関しての記事を書かせていただきました。 Microsoftなどが、質の高いRealtime APIのフロント実装を公開しており、API KEYを入れるだけで、簡単に試すことができるものが、たくさん公開されています。 しかし、個人的には、やはり中身の実装を理解してこそ、だと思っています。 そのためには、一番簡単なサンプルコードの状態で、何が起きているのかを理解するのが手っ取り早いです。 そういう意味で、私の記事が皆様の参考になっているようで、すごく嬉しいです。（たくさんの「いいね」ありがとうございます） 本記事を書いた背景 さて、今回の記事を書いたきっかけは、下記のポストです。 こちら、拝見されている方多いと思いますが、Realtime

import asyncio import websockets import pyaudio import numpy as np import base64 import json import wave import io import os API_KEY = os.environ.get('OPENAI_API_KEY') #わからない人は、上の行をコメントアウトして、下記のように直接API KEYを書き下してもよい #API_KEY = "sk-xxxxx" # WebSocket URLとヘッダー情報 WS_URL = "wss://api.openai.com/v1/realtime?model=gpt-4o-realtime-preview-2024-10-01" HEADERS = { "Authorization": "Bearer "+ API_KEY, "Open

こんにちは、commmuneでデータサイエンティストをしているひぐです。 人間が苦手なマルチタスクをLLMに任せたら、効果的に処理してくれるのではないか?というモチベーションのもと、Pythonの非同期処理を使って並列かつストリーミングでChatGPTの回答を出力するアプリを作りました🤖 例えば下記は、ある課題を入力すると、深さ・広さ・構造・時間軸という異なる観点で解像度を上げてくれるアプリケーションです。 アプリに関する登壇資料↓ このアプリ作成にあたってPythonの非同期処理を勉強したところ、最初は多くの専門用語(コルーチン、イベントループ...)や独自の記法により、全体像をつかむのに苦戦しました。一方で、学んでみると予想以上にシンプルな記法で実装できること、そして応用範囲が広くて便利だと理解しました。 この記事では、そんな少し取っつきにくけど便利なPythonの非同期処理にフォー

OpenAI APIであらゆるジャンルのクイズを無限に作る（Function Calling、JSON Mode）PythonOpenAIChatGPT OpenAIのChat Completion APIを使って、あらゆるジャンルのクイズを無限に作るクイズAPI1を作ってみました。利用するためには、OpenAIのAPIトークンが必要です。 PythonのStreamlitで作ったデモアプリの中で使っています。 クイズのデータ形式 ジャンルを指定すると、Chat Completion APIを使って、次のようなJSON形式の4択クイズデータを生成します。次の例はジャンルにPythonを指定した結果です。 { "questions": [ { "question": "Pythonの特徴でないものはどれ？", "options": ["動的な型付けを採用している", "クラスベースのオブジェ

The new Assistants API is a stateful evolution of our Chat Completions API meant to simplify the creation of assistant-like experiences, and enable developer access to powerful tools like Code Interpreter and Retrieval. Chat Completions API vs Assistants API The primitives of the Chat Completions API are Messages, on which you perform a Completion with a Model (gpt-3.5-turbo, gpt-4, etc). It is li

はじめに OpenAIのDevDayで発表されたText2SpeechのAPIを使ってみたいと思います。Text2Speechとは簡単にいうとテキストの読み上げ機能です。 日本語を読ませる場合、まだ少し英語訛りですが、なかなか人間っぽい発音を行います。 今回はこのText2SpeechのAPIを使って遊んでみたいと思います。 なにを作るのか？ 先程記載したように、Text2Speechでは発話を行うことができます。 この特徴とGPTの会話ができる特性を組み合わせれば、会話っぽいことができるのではないかと思い実装してみました。 今回は試験的に実装を行うため、GPTには「動物博士」としてのロールを与えて動物の雑学を教えてもらいました。 完成形は以下のような動画になります。Text2Speechを利用しているため音声ONの状態での閲覧を推奨します。 発音が英語話者っぽくなっていることや漢字を稀に

より高速に効率的にFunction callingを実行できる！！OpenAI DevDayで発表されたFunction callingの並列実行について試してみた。 こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回は前回の記事で書ききれなかった「Function callingの並列化」にフォーカスして試してみます。 機能の概要 Function callingが更新され、1つのメッセージで複数の関数を呼び出すように動作するようになりました。（正確には複数呼び出すようにレスポンス側に指示が来ます） Function calling / Parallel function calling - OpenAI API こちらはgpt-4-1106-previewとgpt-3.5-turbo-1106で使用可能です。 また、Function ca

「OpenAI Python API Library」のインタフェースが一新されたので、かるくまとめ直しました。 ・OpenAI Python API library v1.1.1 1. OpenAI Python API LibraryPythonで「OpenAI API」にアクセスするには「OpenAI Python API Library」を使います。 2. セットアップColabでのセットアップ手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install openai(2) 環境変数の準備。 以下のコードの <OpenAI_APIキー> にはOpenAIのサイトで取得できるAPIキーを指定します。(有料) import os os.environ["OPENAI_API_KEY"] = "<OpenAI_APIキー>"(3)

「Google Colab」で「OpenAI API」の「Retrieval」を試したので、まとめました。 前回 1. Retrieval「Assistant API」は、さまざまなタスクを実行できる強力な「AIアシスタント」を作成するためのAPIです。 「Assistant API」は現在、次の3つのツールをサポートしています。 ・Code Interpreter : Pythonコードを作成して実行 ・Retrieval : モデル外部からの知識を取得 ・Function Calling : 関数のレスポンスを取得 今回は、「Retrieval」を使います。「Retrieval」は、製品情報やユーザーから提供されたドキュメントなど、モデル外部からの知識を取得して、アシスタントを強化します。ファイルをアップロードして「アシスタント」に渡すと、自動的にドキュメントをチャンク化し、埋め込みの

OpenAI DevDayで発表されたJSON形式で返すことが保証される「JSONモード」を、AWS Lambdaを利用して試してみた はじめに OpenAI DevDayで発表されたJSONモードをAWS Lambdaを利用して試してみました。 OpenAIの開発者向けカンファレンスのDevDayで様々なアップデートがありました。 弊社ブログでも発表内容がまとめられています。 アップデートのうち、JSON形式でレスポンスを返すことが保証されたJSONモードがサポートされましたので、今回は、新機能をAWS Lambdaを利用して試してみます。 JSONモードに関するドキュメントは、以下のみでコードの例がなかったため、コードも含めて紹介します。 利用するにあたり注意点 モデルのうちgpt-4-1106-previewとgpt-3.5-turbo-1106のみでJSONモードが利用可能です。

日本時間未明(午前三時)ものすごいスピードで語られたOpenAI初の開発者向けイベントDevDayで発表されたGPT-4-TurboとGPT-3.5-TurboによるJSONモード。 これはものすごく強力なんだけど、Python APIによる使い方がどこにも描いてないので試行錯誤の末見つけましたので共有いたします。 from openai import OpenAI import openai import os openai.api_key = "<APIキー>" client = OpenAI() def gpt(utterance): #response = openai.chat( response = client.chat.completions.create( #model="gpt-4-1106-preview", model="gpt-3.5-turbo-1106", r

はじめに この記事では、3日間でテック記事のAI要約・翻訳メディアをつくる個人開発で利用した OpenAI API LangChain の具体的な実装と利用コストについて触れていきます。 OpenAI APIとLangChainとは... OpenAI API OpenAI APIは、OpenAIという人工知能の研究・開発・普及を目的とした団体が提供するAPIです。このAPI は、自然言語とコードの理解または生成を必要とするタスクに利用することができます。 LangChain OpenAIが提供するGPT-3のような大規模言語モデル（Large Language Model: LLM）を利用してサービスの開発をしたいときに、「あるとうれしい機能」が集まったライブラリです。 この記事の目的 OpenAI API を使った記事の要約とFunction Callingの紹介 LangChain

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Processing and narrating a video with GPT's visual capabilities and the TTS API

はじめに 今回はChatGPTを利用した開発におけるアシスタントのやり方とLangChainを活用した実装方法を具体的なアプリ開発を例に解説していきます。 LangChainの実装方法について、Python未経験の自分でもサクッと実装できたので、初心者でも理解できるように解説をしていきます。 この記事で学べること ChatGPTを使って要件定義、設計、開発などをアシストする活用例が分かる アプリ開発においてLangChainの活用方法を学べる 前半でビジネスサイド(いわゆる要件定義、設計)などの解説をし、後半で具体的な開発例を解説する構成になっています。 LangChainにおける開発では具体的に下記の機能を実装します。 【URLを入力】 【URL先のコンテンツを解析】 【解析をしたデータを元に文章を生成】 前提 あくまで活用例を紹介する記事なので、技術的な細かい内容は公式サイトを添付して

はじめまして、ますみです！ 株式会社Galirage（ガリレージ）という「生成AIに特化して、システム開発・アドバイザリー支援・研修支援をしているIT企業」で、代表をしております^^ この記事では、「LangChain」というライブラリを使って、「ウェブサイト検索が可能なChatGPTの作り方」を解説します。 この記事を読むことで、検索APIを使わずに、ウェブ上の最新情報を取り入れたChatbotの作成が可能になります。 ChatGPTやLangChainについてまだ詳しくない方は、こちらを先にご覧ください◎

まえがき 今回は入門ということで、以下の2つのことをまとめています。 Prompt flowの作成～実行 簡易的なタスクをPrompt flowで実装 Prompt flowの便利機能には今回触れていません。次回以降まとめていきます。 以下のような便利機能を試していく予定です。 マネージドオンラインエンドポイントの作成 Variant Bulktest ベクトルDBやSerp APIとの連携 リソース構築 事前作成が必要なもの Azure OpenAI gpt-35-turbo Machine Learning Studioのワークスペース Azure OpenAIを作成し、上記モデルをデプロイします。エンドポイントとキーをコピーしておきます。 また、下記URLからワークスペースを作成しておきます。 Prompt flowとAzure OpenAIの接続 Connenctionsタブへ移動

昨年から育てていたバジルがもはや木になりつつある菅野です。 今注目を集めつつある文章生成AIである「ChatGPT」に関して、提供元のOpenAI社は2023/07/07に、「GPT-4」のAPIを有料ユーザー向けに一般公開したことを発表しました。 今回は、その「Chat Completions API」について紹介します。 例えば、自作のWebアプリでChatGPTライクなやりとりを実現したい、 それで入力された文章を加工したプロンプトでChatの応答を得たい、 といったときに、このAPIを使います。 この図のような動きですね。 openai.com Chat Completions API とは？ 「Chat Completions API」は、チャット補完に特化した言語モデルと、それを利用する専用のAPIです。 ChatGPTでも同じ言語モデルを利用しているため、このAPIを利用する

ChatGPT公式プラグイン「Code interpreter」がついに日本でも使えるようになったので、自ら検証したTipsをまとめます。 他にも追加できそうなTipsがあればコメントもらえると嬉しいです Code interpreterとは 「Code interpreter（コードインタープリター）」とは、ChatGPTが提供する公式プラグインの1つで、このプラグインを利用することで、ChatGPT上でPythonを使ったコードの実行や、ファイルのアップロード・ダウンロードができるようになります。 ファイルのアップロード機能を使うことで、チャット上にデータをアップロードし、そのデータに対してコードを実行することができるようになります。 また、作業の結果をcsvなどでダウンロードすることが可能です。 つまり、Code interpreterのプラグインを使うことで、ChatGPT上でPy

最近自室のポトスの成長が著しく、ジャングルになりつつある菅野です。 先日、OpenAIから、公式のプラグインとして「Code Interpreter」が発表されました。 「Code Interpreter」では、Pythonコードの生成・実行が可能ですが、本記事では、「Code Interpreter」が生成したコードを実行する場合、外部APIにアクセスは可能なのか、確認してみます。 openai.com 検証で用いるAPI 今回の検証では以下のREST-APIを認証なしで実行できるデモ用サイトを利用します。 JSONPlaceholder - Free Fake REST API 上記サイトの https://jsonplaceholder.typicode.com/todos/1 へリクエストを送信すると、以下のようなレスポンスが得られます。 { "userId": 1, "id":