Hono で Server-Sent Events によるストリーミングを実装する
Hono で Server-Sent Events によるストリーミングを実装する 2024.02.01 Server-Sent events（SSE）は、サーバーからクライアントに向けてイベントをストリーミングするための仕組みです。WebSocket と比較すると、サーバーからの単方向の通信、HTTP で通信するという特徴があります。この記事では Hono を使って OpenAI API を使ったテキスト生成をストリーミングする方法を紹介します。 Server-Sent Events（SSE） は、サーバーからクライアントに向けてイベントをストリーミングするための仕組みです。WebSocket と比較すると、サーバーからの単方向の通信になるという特徴があります。また HTTP で通信するため、WebSocket のように独自のプロトコルではないため、運用の負担が少ないというメリットがあり
日本初の挑戦〜食べログによるChatGPTプラグイン開発の舞台裏 - Tabelog Tech Blog
はじめに 食べログのメディア領域でサービス開発のエンジニアリングマネージャーをしている関戸です。 2023年5月8日のプレスリリースの通り、食べログの新たな取り組みとして2023年5月6日にChatGPTプラグインの提供を開始しました。さまざまなメディアで日本初の試みとして取り上げられています。 ChatGPTプラグイン提供の前提として、プラグイン開発をするためには、（当時は）ウェイトリストに登録し、開発者として招待される必要がありました。招待が届いたアカウントでは、プラグインの動作確認や開発ができるようになります。ウェイトリストに登録後、いつ招待が届くか分からない状況でした。 食べログではアカウントに招待が届いた当日に動作確認して、公開申請を提出しました。 OpenAI社によるChatGPTプラグインの発表後、どこよりもいち早くプラグインを提供することを目指して、必要な調整を事前に進めて
GPT-3を使って根拠付きで正確に質問応答してくれるシステムを作ってみる - Taste of Tech Topics
こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はChatGPTが出て注目を浴びたり、BingにもChatGPTのように質問応答してくれるAIが搭載されるなど、OpenAIのGPTモデルが世の中を騒がせています。 私もChatGPT使ってみましたが、受け答え自体は人が書いていた文章と遜色なく、文章の自動生成もここまで来たか。。という感じでした。 そんなChatGPTの特徴の一つとして、回答には時々嘘が含まれるというものがあります。 ChatGPT自体は知識を持っているわけではないので、学習データにないことなどはそれっぽいけどでたらめな回答を返してしまいます。 ただし、最近追加されたBingのGPTでは、ChatGPTよりもはるかに正確な回答が返ってくるように感じます。 画面を見ると回答の根拠となっている詳細情報が出ています。 ここから推測する
GPT Index で専門知識を必要とする質問応答チャットボットを簡単作成｜npaka｜note
「GPT Index」を試したので、まとめました。 1. GPT Index「GPT Index」は、専門知識を必要とする質問応答チャットボットを簡単に作成できるライブラリです。 同様のチャットボットは「LangChain」でも作成できますが、「GPT Index」は、コード数行で完成してお手軽なのが特徴になります。 2. ドキュメントの準備はじめに、チャットボットに教える専門知識を記述したドキュメントを用意します。 今回は、マンガペディアの「ぼっち・ざ・ろっく！」のあらすじのドキュメントを用意しました。 ・bocchi.txt 【注意】ドキュメントが大きいと、OpenAI APIの呼び出しも多くなるので、コストを注意する必要があります。 3. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !p
OpenAI API の モデレーションエンドポイント による問題発言の検出｜npaka
「OpenAI API」の「モデレーションエンドポイント」による問題発言の検出を試したのでまとめました。 前回 1. モデレーションエンドポイント「モデレーションエンドポイント」は、ユーザー入力やLLMの出力に、暴力や自傷やヘイトやセクシャルなどの問題発言が含まれていないかどうか (OpenAIのコンテンツポリシーに準拠するかどうか) を判定するAPIです。OpenAI APIの入出力に対して、無料で利用できます。 2. モデレーションエンドポイントのカテゴリモデレーションエンドポイントのカテゴリは、次の7つに分類されます。 ・hate : 人種、性別、民族性、宗教、国籍、性的指向、障害の状態、カーストに基づく憎悪を表現、扇動、または助長するコンテンツ。 ・hate/threatening : 対象グループに対する暴力や深刻な危害を含むヘイトコンテンツ。 ・self-harm : 自殺、切
OpenAI API で提供されている モデル まとめ｜npaka
1. GPT-3モデル「OpenAI API」は、用途に応じて様々なGPT-3モデルを提供しています。 ・GPT-3 : 自然言語を理解し生成するモデル ・Codex : 自然言語からコードへの変換 および コードを理解し生成するモデル ・Content filter : センシティブ および 安全でないテキストを検出するモデル ・Embeddings : 埋め込み (ベクトル表現) を生成するモデル 2. GPT-3「GPT-3」は、自然言語を理解し生成することができるモデルです。 性能の異なる4つの主要モデルを提供しています。Davinciは最も高性能、Adaは最も高速なモデルになります。 2-1. text-davinci-003「GPT-3」の中で最も高性能なモデルです。他のモデルで可能なあらゆるタスクが可能で、多くの場合、より高い品質、より長い出力、より良い命令追従性が得られます
GPT-3 の分類のファインチューニングを試す｜npaka
「GPT-3」の分類のファインチューニングを試したのでまとめました。 1. OpenAI API「OpenAI API」は、OpenAIの最新の深層学習モデルにアクセスすることができるクラウドサービスです。「GPT-3」を利用するには「OpenAI API」経由でアクセスする必要があります。 2. 利用料金「GPT-3」にはモデルが複数あり、性能と価格が異なります。Ada は最速のモデルで、Davinci は最も精度が高いモデルになります。価格は 1,000トークン単位です。 「ファインチューニング」には、TRAININGとUSAGEという2つの価格設定があります。TRAININGのトークン数は、データセット内のトークン数と、エポック数(デフォルト4)によって決まります。 TRAININGのトークン数 = データセット内のトークン数 x エポック数 USAGEのトークン数 = プロンプトの
つくよみちゃんの会話テキストデータセットでGPT-3のファインチューニングを試す｜npaka
「つくよみちゃん」の「会話テキストデータセット」でGPT-3のファインチューニングを試したので、まとめました。 【最新版の情報は以下で紹介】 1. つくよみちゃん会話AI育成計画（会話テキストデータセット配布）今回は、「つくよみちゃん」の「会話テキストデータセット」を使わせてもらいました。「話しかけ」と、つくよみちゃんらしい「お返事」のペアのデータが300個ほど含まれています。 以下のサイトで、利用規約を確認してから、Excel形式のデータをダウンロードします。 2. データセットの準備「つくよみちゃん」の「会話テキストデータセット」をGPT-3の学習で利用するJSONLファイルに変換します。 (1) Colabで新規ノートブックを作成 (2) Excel版の「会話テキストデータセット」を「tsukuyomi.csv」という名前のCSVで出力し、Colabのアップロードボタンからアップロー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Building a Custom GPT-3 Q&A Bot Using Embeddings