はてなブックマーク

ChatGPTの登場でAIアシスタントやデジタルヒューマンといった分野が盛り上がりを見せています。これは主観ですが、私は肌でそう感じています。スマホアプリやAR、専用デバイスのみならず、バーチャルSNS上でもインテリジェントなNPCとして今後活用が見込めるのではないでしょうか。 この記事では特にVRChatにChatGPTベースの音声対話AIアバターを設置する方法についてご紹介したいと思います。なおここで作るAIアバターはclusterなど別のプラットフォームでも動作します。 出来上がりのイメージはこんなかんじです。 VRChatのAIアバター、ChatGPTのFunction Callingに対応してみたよ〜✌️天気予報教えてくれるようになった！ pic.twitter.com/PHO53oHvmJ — うえぞう@うな技研代表 (@uezochan) June 23, 2023 ちなみに

先日、タイトルの件についてRTAをしました。 その結果、だいたい2時間くらいで以下のようなChatGPT＋3Dモデル対話エージェントが完成しました。 RTAではユーザーの話しかけに対する反応速度が遅くなっていたり（長文の読み上げ音声の生成＆ダウンロードに時間がかかっている）、そもそも2時間って結構大変だなーみたいなのがあるので、基本的に"Out-of-the-Box"で動くサンプルを公開しました。 この記事ではChatGPTとおしゃべりするまでの手順と、その次に進みたい（自らもっとカスタマイズしたい）方向けのTipsを説明したいと思います。 音声認識・音声合成・ChatGPTのAPIKeyの取得 まずはAPI Keyの類を準備します。音声認識・音声合成としてGoogle / Azure / Watsonのいずれかを準備してください。 Google Azure Watson サービスにより設

こんにちは。最近、ChatGPT×VRM 3Dモデル×VOICEVOXで性格・見た目・声をカスタマイズできるAIアシスタントアプリを開発・運営しているうえぞうと申します。 今回、このアプリの3大要素の一つである声を担うVOICEVOXのAPIサーバーの運用が結構大変だったので、その知見を還元することで少しでもコミュニティーに貢献したいと思いこの記事を書きました。 諸々の工夫についてはまた別途記事化するとして、本記事では企画段階で知っておくべきスループットの特徴についてシェアしたいと思います。 検証内容 まずは手元のPC（MacBook Pro 2020 / Core i7 論理8コア / 32GB RAM）で多重度の検証、その後一般的なAWSのサーバーでその処理時間を計測してみます。みなさんがVOICEVOXを利用したサービスを展開される際、一つの目安にしていただけるかと思います。 環境準

ChatGPTがおしゃべりだけではなく調べ物などあらゆるタスクにおいてパワフルなアシスタントとして活躍してくれることについては、ここではもう説明するまでもないでしょう。 そんなChatGPTをブラウザだけではなくExcel VBAから直接使えるようにするというのがこの記事の内容です。この技術を応用すると、こんなことができるようになります。 製品カテゴリー（この動画では、商用データベースソフト）を入力するだけで競合製品の一覧と製品評価軸を自動設定、そして評価コメントまで自動で入力してくれました。あとは人間が添削すれば良いのでとても楽ちんです。 それでは、作り方をみていきましょう。 ChatGPTのAPIキーを取得 はじめに、ブラウザからではなくネットワーク経由でプログラムに組み込むためのAPIを利用できるようにします。 利用申し込みは以下のOpenAI社のサイトから行っていただき、最終的にA

🌟2023.3.2にChatGPTのAPIが公開されたため、タイトルと本文の一部を修正しました！やったね！ 話題のChatGPTは超すごいし楽しいのですが、API経由で使えないため私たち開発者からするとちょっともの足りません（まもなくAPIが公開されるという話も） されました！（2023.3.2）。 とはいえ、キャラ設定や会話の前提を会話の都度入力するのは面倒だったりしますのと、ChatGPTと同じOpenAIから提供されているGPT-3モデル「text-davinci-003」はそもそも1問1答で、同じ話題を複数ターンに渡って継続することができません。 そこで、OpenAIの外側で工夫してキャラ設定や前提、文脈を維持した会話を実現しようというのがこちらの記事になります。 要約 会話の履歴を含めてリクエストすることで文脈を意識させることができるようになる（ChatGPTでは履歴ごと受け付

こんにちは。ExcelVBAからIEを制御する本の著者であり、妹にExcelVBAからIEを制御する方法を教えてもらうゲームの作者であるうえぞうと申します。 Internet Explorerは使われる機会が減ってきたものの、ExcelからスクレイピングをするにはCOM経由で直接操作できるのでとても便利でありました。今はExcelからだとSeleniumBasicを使ってChromiumを操作するのが主流だと思いますが、会社のパソコンだと自由にインストールできなかったりするので困っている人もそれなりに多くいらっしゃるかと思います。 そこで今回はVBAからSeleniumBasicをインストールすることなく、VBAから直接ChromeやEdge（のWebDriver）を操作する方法をシェアしたいと思います。 Seleniumの仕組み 誤解を恐れずに超ざっくり説明すると、ブラウザーを動かすのは

チャットボットは自身で開発したプログラム単独で完結できる場合は少なく、何らかのAPIを呼び出すことが多いと思います。（自然言語解析関連、ストレージ関連、翻訳や天気など各種サービス関連・・・） したがって必然的にI/O待ち時間が発生しがちで、非同期処理との相性が良いはずなのですが、LINEBOTに関しては非同期処理のサンプルを全然見かけないので記事にしてみました。 APIクライアントの非同期対応状況について まずもってですが、根っことしてLINE Messaging APIの公式Python SDKが非同期処理に対応していないという状況があります。古いPythonバージョンがまだサポート対象であることが理由のようで、EOLは間近としてもまだしばらくかかりそうです。（2021年1月27日時点） [Feature Request] Asynchronous/Asyncio support ところ

FastAPIには（Starletteには）レスポンスを先に返しておいて重たい処理はバックグラウンドで実行するための機能BackgroundTaskが標準で備わっています。今回、このバックグラウンドタスクの多重度がどれくらいまでいけるのか、同期・非同期で違いはあるのか？について検証してみました。 同期・非同期での呼び出し方の違い そもそもバックグラウンドタスクとしたものはどのように処理されるのか調べてみました。Starletteの中身を斜め読みするに、非同期処理を登録した場合はメインスレッドにてノンブロッキングで、同期の場合はプールされたスレッドにて処理されるように見えます。雰囲気的に。 class BackgroundTask: def __init__( self, func: typing.Callable, *args: typing.Any, **kwargs: typing.A

Flask並みに簡単なのにモダンな開発スタイルも可能なフレームワークFastAPIを、本番を意識した構成で動かす方法を調べたので共有したいと思います。 構成に関する要件と討ち手 「本番を意識した構成」と大きく出てみたものの、やりたいことは以下2点です。 マルチプロセス構成の管理をしたい 👉 gunicornでマルチプロセス管理 SSLをオフロード＆証明書を一元管理したい 👉 Nginxでリバースプロキシ 前者によりパフォーマンスや耐障害性を確保し、後者により運用しやすさやセキュリティを確保するようなイメージです。 Uvicornで起動（基本形） ASGIサーバーとしてUvicornを使用してFastAPIをシングルプロセスで起動するまでの手順です。はじめにライブラリのインストール。

Dockerとか仮想マシンとかでポータビリティを確保するのが主流かと思いますが、私含めて「インストールすることなく適当な場所に配置すれば動く」というのはまだまだ根強い人気があるかと思い、この記事にまとめました。 ※開発環境をサクッと作るための割り切った手順です。セキュリティ的にも本番利用は厳禁です。 本記事の環境 Mac OSX 10.12.6 (Sierra) Java 8 Tomcat 8 PostgreSQL 9.6 PostgreSQL JDBC 4.2 Driver, 42.2.0 ホームディレクトリ /Users/username 事前準備 はじめに、リソース一式を配置するディレクトリを作ります。ここではユーザーのホームディレクトリ直下にmyserverというディレクトリを作成して、その中に全てのリソースを配置します。 Javaのインストール 本記事の手順の中で一番ややこしいの

軽いアプリをサクッと作りたい時、データモデル含めて走りながら決めていく時、「このテキストを、数値を、dictを、そのまま保存・読込したいのに！」と思うことも割と多いのではないかと思います。 そこで、リレーショナルデータベースをバックエンドDBとして使いつつ、コードからはKey-Value Storeのように気軽に使えるようにするライブラリ「Pycoki（Python Compatible Key-value-store Interface for databases：パイコキ）」を作りました。 Github https://github.com/uezo/pycoki よろしければStarいただけると幸いです！ この記事では、Pycokiの特長と使い方をご紹介します。 特長 シンプルで簡単: キー・値を取得・設定することのみに特化することで、手続きとか設定とかを極限まで省きました 互換性:

class RichMenu: def __init__(self, name, chat_bar_text, size_full=True, selected=False): self.size = {"width": 2500, "height": 1686} if not size_full: self.size["height"] = 843 self.selected = selected self.name = name self.chat_bar_text = chat_bar_text self.areas = [] def add_area(self, x, y, width, height, action_type, payload): bounds = {"x": x, "y": y, "width": width, "height": height} action

日本でBOTといえばやはりLINE BOTでしょう。ここではBOTアプリケーションフレームワークのMinette for Pythonを使った作り方をご紹介します。 事前に準備するもの LINE Messaging APIのChannel SecretとChannel Access Token docomo 雑談APIのAPIキー（省略可能。その場合はおうむ返しBOTになります） 依存ライブラリのインストール Minetteの動作に必要なpytzとrequests、LINEエンドポイントを起動するために必要なWebアプリケーションフレームワークのflaskとLINE SDKをインストールします。導入済みの場合はこの手順はスキップしてもOKです。

Python向けのチャットボットフレームワークでデファクトスタンダード的なものが見当たらなかったので、作ってみました。 Minette for Python https://github.com/uezo/minette-python 5つの特長 1. すぐ動く pipコマンドでインストールして、データベースやアプリケーションサーバの設定などすることなく、わずか数行のコードを記述すればおうむ返しボットが動作します。 2. あらゆるチャネルを統一されたアーキテクチャで LINEとClova用のアダプターを同梱。初期化コードを追加するだけですぐにLINE BOTやClovaスキルを開発することができます。また、ユーザー実装部分はチャネルの違いに影響を受けないため、どちらも同じ手順で開発を進めることができます。 3. コンテキスト・ユーザー管理、タスクスケジューラを標準装備 文脈を意識した対話シ