2023/10/05 Offersさんのイベントでの資料です。 https://offers.connpass.com/event/295782/ イベント後の満足度アンケート（5点満点）の結果は以下になります。 5点: 49% 4点: 39% 3点: 8% 2点: 4% こちらのスライドの内容は以下の本の抜粋になります。デモの内容、このスライドでは触れていないことについてご興味ある場合は以下の本をご参照ください。 https://authya.booth.pm/items/1296585 https://authya.booth.pm/items/1550861 本発表で扱っていないセキュリティに関しては以下の本がおすすめです。 https://authya.booth.pm/items/1877818 本の評判 https://togetter.com/li/1477483
SPAのアプリケーションで、外部のIdPを使ってOpenID Connect によるログイン機能を開発しようと考えています。IDトークンの保存先として、ブラウザのCookieかサーバーのDBに保存するかの2つの案があると思っています。調べた限り、サーバーサイドで持つべきという意見が多いように見えますが、以下のような背景がある中で開発しても、ブラウザのCookieでは持つべきなのではないのでしょうか？ - IDトークン自体にも、個人の属性（氏名等）情報は無いことを確認している - サーバーサイドでIDトークンの署名検証をして、IDトークンの改ざんが無いか確認する - Http Only属性：JSによるCookieへのアクセスを防ぐため - Secure属性：流出防止のため - SameSite=strict：CSRF対策のため 結論から言えば、「どちらでもよい」となります。しかし、恐らく話は
[電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出 | DevelopersIO
[電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出 はじめに Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(電話番号,日時,名前,人数)を正しく抽出できるか検証しました。 コールセンターでは、有人対応から無人対応に変更したいニーズが増えているように思います。 電話予約の無人対応を想定し、1回の発話で、下記の５つの予約情報を抽出できるか確認します。 お名前 電話番号 予約日 予約時間 人数 発話で予約情報を抽出する方法として、GPT-4 Turbo のJSONモードを利用します。 JSONモードの詳細は、下記を参照ください。 例えば、「名前はクラスメソッドで、電話番号は09011111111。来週の火曜日の19時に4名で予約できます
![[電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e41bad5b85c8a6e53a308ad1ab6864682d595877/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Fhirai_reservation_1200x630.png)
AIチャットボットで問い合わせに対応し、回答が難しい内容に限り担当者にエスカレーション[Amazon Connect + Lex + Bedrock] | DevelopersIO
AIチャットボットで問い合わせに対応し、回答が難しい内容に限り担当者にエスカレーション[Amazon Connect + Lex + Bedrock] はじめに Amazon Connect + LexでAIチャットボットを構築し、問い合わせに対して無人対応し、対応が難しい内容に限り、オペレーター（以降、担当者）にエスカレーションする仕組みを作成しました。 コールセンターの負担軽減や人手不足の解消を目指して、AIチャットボットを活用して有人対応から自動応答に切り替えたいというニーズは増えているように思います。 本記事では、お問い合わせをAIチャットボットがヒアリングして、生成AIのAmazon BedrockのClaudeを用いて種別判定を行い、回答できるものはチャットボットが回答し、それ以外の内容については、担当者にエスカレーションする方法をまとめました。 今回検証するお問い合わせの種別
![AIチャットボットで問い合わせに対応し、回答が難しい内容に限り担当者にエスカレーション[Amazon Connect + Lex + Bedrock] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c0ea6f98c9330dae2f07b2fcfbc2104cd7bf1a5d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2F4c8649ac9b394fdafed5de6d2942047a.png)
GitLabで1クリックアカウント乗っ取りが可能だった脆弱性から学ぶ、OpenID Connect実装の注意点 - Flatt Security Blog
はじめに こんにちは。株式会社Flatt Securityセキュリティエンジニアの森(@ei01241)です。 最近は認証や認可に際してOpenID Connectを使うWebサービスが増えていると思います。「Googleアカウント/Twitter/Facebookでログイン」などのUIはあらゆるサービスで見かけると思います。しかし、OpenID Connectの仕様をよく理解せずに不適切な実装を行うと脆弱性を埋め込むことがあります。 そこで、突然ですがクイズです。以下のTweetをご覧ください。 ⚡️突然ですがクイズです！⚡️ 以下の画面はOAuth 2.0 Best Practice上は推奨されないような実装になっており、潜在的リスクがあります。https://t.co/bXGWktj5fx どのようなリスクが潜んでいるか、ぜひ考えてみてください。このリスクを用いた攻撃についての解説記
Amazon Connect + Whisper + GPT-4 Turboで、発話から個人情報（名前、住所、生年月日）を正しく認識できるか試してみた | DevelopersIO
構成 構成としては、下記の通りです。 Connectのフローの詳細は下記の通りです。 例として、発話で住所を認識させる処理の流れは以下のとおりです。 コンタクトフロー内で「メディアストリーミングの開始」ブロックを使って、Kinesis Video Stream（KVS）への音声のストリーミングを開始します。 顧客は、住所を含めた発話をします。 「顧客の入力を保存する」ブロックで、顧客が特定の番号を押すと、ストリーミングを終了します。 「AWS Lambda関数を呼び出す」ブロックを使い、LambdaでKVSからデータを取得します。取得したデータをWAV形式に変換し、Whisper APIで文字起こしします。文字起こし内容から、GPT-4 Turboで住所のみを抽出します。 プロンプト再生で、住所のみを音声出力します。 以下の図は、電話での対話の流れを示しています。 前提 2023年11月時
フルスクラッチして理解するOpenID Connect (1) 認可エンドポイント編 - エムスリーテックブログ
こんにちは。デジカルチームの末永(asmsuechan)です。 この記事では、OpenID Connect の ID Provider を標準ライブラリ縛りでフルスクラッチすることで OpenID Connect の仕様を理解することを目指します。実装言語は TypeScript です。 記事のボリュームを減らすため、OpenID Connect の全ての仕様を網羅した実装はせず、よく使われる一部の仕様のみをピックアップして実装します。この記事は全4回中の第1回となります。 なお、ここで実装する ID Provider は弊社内で使われているものではなく、筆者が趣味として作ったものです。ですので本番環境で使用されることを想定したものではありません。なんなら私は ID Provider を運用する仕事もしておりません。 1 OAuth 2.0 と OpenID Connect 1.1 用語の
踏み台サーバー、SSMセッションマネージャー、EC2 Instance Connect Endpoint サービスを使用したEC2インスタンスへの接続方法と特徴を比較してみた - NRIネットコムBlog
はじめに 踏み台サーバー経由で接続する方法 ①セキュリティグループを作成する ②パブリックサブネットに踏み台サーバを作成する ③プライベートサブネットにEC2インスタンスを作成する ④踏み台サーバーにプライベートサブネットに配置されたEC2インスタンスのキーペアをコピーする ⑤踏み台サーバーにアクセスする ⑥踏み台サーバーからプライベートサブネットにあるEC2インスタンスにアクセスする SSMセッションマネージャー経由で接続する方法 VPCエンドポイントを使用した方法 ①セキュリティグループとIAMロールを作成する ②プライベートサブネットにEC2インスタンスを作成する ③VPCエンドポイントを作成する ④SSMセッションマネージャー経由でEC2インスタンスに接続する NATゲートウェイを使用した方法 ①IAMロールを作成する ②プライベートサブネットにEC2インスタンスを作成する ③NA
こちらはエムスリー Advent Calendar 2023の22日目の記事です。 こんにちは、エムスリーエンジニアリンググループ、デジスマ診療チームの山本 (id:shunyy) です。 医療機関向けSaaSであるデジスマ診療は、開発開始からちょうど3年が経ち、現在では予約・問診等、多様な機能を提供していますがリリース当初は決済機能のみを提供していました。そんなデジスマのコア機能である決済機能はStripe Connectを利用しており、今回は3年間運用した学びを共有したいと思います。 デジスマ診療のプロダクトの内容は以下のスライドを御覧ください。 speakerdeck.com そもそもStripe Connectとは何なのか Stripe Connectのアカウントタイプ・支払いタイプについて デジスマ診療の全体構成 追加開発事例 Amazon AppFlowを利用したBigQuer
[電話予約の無人化]Amazon Connect + GPT-4 Turboで、発話の「時刻と日付」の言い回しをどの程度認識してくれるか調査 – Amazon Connect アドベントカレンダー 2023 | DevelopersIO
Amazon Connect アドベントカレンダー 2023、4日目の記事です！ クラスメソッドとギークフィードさん、スカイアーチHRソリューションズ さんの有志が募ってチャレンジしている企画になります。 (アドベントカレンダーのカレンダー一覧はこちら↓) はじめに Amazon Connect + GPT-4 Turbo JSONモード + Whisper の構成で、発話での「時刻と日付」の言い回しをどこまで正しく認識してくれるか調査しました。 以前、電話予約の無人化をAmazon Connect + GPT-4 JSONモード + Whisperで構築し、1回の発話で予約情報を正しく認識してくれるか、という記事を執筆しました。 上記の記事では、下記の５つの予約情報を発話し、正しく抽出されました。 お名前 電話番号 予約日 予約時間 人数 処理の流れは、顧客がConnectの電話番号から
![[電話予約の無人化]Amazon Connect + GPT-4 Turboで、発話の「時刻と日付」の言い回しをどの程度認識してくれるか調査 – Amazon Connect アドベントカレンダー 2023 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5c1e7d69a330d74b919a52ae9d3a24612acf3ace/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F04%2Feyecatch_openai_1200x630.png)
ZOZOTOWNのネットワークをDirect Connect 10Gから100Gに移行した話 - ZOZO TECH BLOG
はじめに こんにちは、技術本部SRE部フロントSREブロックの柳田です。オンプレミスとクラウドの構築・運用に携わっています。 ZOZOTOWNでは、既存システムのリプレイスプロジェクトを進行中です。リプレイス過渡期の現在、オンプレミスのネットワークとAWSのデータセンターを直接専用線で接続し、安定した高速通信を実現するDirect Connect（以降、DX）を利用しています。各サービスのマイクロサービス化に伴い、オンプレミスとクラウド間の通信量が増えた為、DX10Gの回線が逼迫する問題に直面しました。 本記事では、この回線逼迫の課題をどのように解決したかについて紹介します。 目次 はじめに 目次 回線逼迫の課題 ZOZOTOWNへのアクセスが困難 今後のリプレイスプロジェクトが遅延する可能性 DX10GからDX100Gへの移行 ステップ1：DX100Gの利用申請（クラウド） ステップ2：
こんにちは。デジカルチームの末永(asmsuechan)です。この記事は「フルスクラッチして理解するOpenID Connect」の全4記事中の3記事目です。前回はこちら。 www.m3tech.blog 9 JWT の実装 9.1 JWT概説 9.2 OpenID Connect の JWT 9.3 ヘッダーとペイロードの実装 9.4 署名の実装 公開鍵と秘密鍵を生成する 署名処理を作る 10 JWKS URI の実装 (GET /openid-connect/jwks) 11 RelyingParty で ID トークンの検証をする 12 OpenID Connect Discovery エンドポイントの実装 (GET /openid-connect/.well-known/openid-configuration) まとめ We're hiring 今回は全4回中の第3回目です。 (
Amazon Connectでお問い合わせ内容をWhisper APIで文字起こしし、ChatGPTで要約して音声出力してみた（一次対応の無人化） | DevelopersIO
Amazon Connectでお問い合わせ内容をWhisper APIで文字起こしし、ChatGPTで要約して音声出力してみた（一次対応の無人化） はじめに Amazon Connectを使用して、お問い合わせ内容をOpenAIのWhisper APIで文字起こしとChatGPTで要約し、通話中に音声出力する方法をまとめました。 Connectで無人対応の場合、顧客からの発話を聞き取る方法としては、チャットボットサービスであるAmazon Lexもしくは、Kinesis Video Stream(KVS)で音声のストリーミングなどがあります。 Amazon Lexを利用する場合は、１度に15秒以上は聞き取ることができない点や文字起こしにはAmazon Transcribeを利用する制約があります。 今回は、文字起こしにWhisper APIを利用し、ChatGPTで要約した内容をConne
Amazon Connect + GPT-4 Turboで、予約内容を復唱後、顧客の色々な返答を正しくヒアリングできるか検証 – Amazon Connect アドベントカレンダー 2023 | DevelopersIO
Amazon Connect アドベントカレンダー 2023、1日目の記事です！ クラスメソッドとギークフィードさん、スカイアーチHRソリューションズ さんの有志が募ってチャレンジしている企画になります。 (アドベントカレンダーのカレンダー一覧はこちら↓) はじめに Amazon Connect + GPT-4 Turbo JSONモードで、予約内容を復唱して確認後、顧客の色々な返答を正しくヒアリングできるか検証しました。 前回、Amazon Connect + GPT-4 Turbo JSONモードで、1回の発話から下記の５つの予約情報をヒアリングするチャットボットを構築しました。 名前 電話番号 予約日 予約時間 人数 予約情報をヒアリング後、Connect側で予約内容を復唱するところまでを前回行いました。 今回、予約内容を復唱後、顧客の返答をヒアリングするチャットボットを構築しました
GitHub Actions から AWS へのアクセスに利用している OpenID Connect ID Provider の thumbprint について調査した - ROUTE06 Tech Blog
ROUTE06 でエンジニアリングマネージャ兼ソフトウェアエンジニアとして働いております海老沢 (@satococoa) と申します。 先日発生した GitHub Actions と AWS の OpenID Connect 連携におけるトラブルに関して調査を行い、対応方針を策定した件を共有したいと思います。 [2023/07/10 追記] Thumbprint を明示的にユーザ側で設定しなくて良いように、AWS 側で対応されたそうです。 github.com 当面 Terraform のモジュール的には必須入力のままですが、任意の文字列で良いそうです。 （いずれ入力も不要になるのかと思います。） https://github.com/aws-actions/configure-aws-credentials/issues/357#issuecomment-1626357333 The A
コールセンターへの問い合わせをAIチャットボットで種別を判定し、最適な担当者に自動振り分け[Amazon Connect + Lex + Bedrock] | DevelopersIO
コールセンターへの問い合わせをAIチャットボットで種別を判定し、最適な担当者に自動振り分け[Amazon Connect + Lex + Bedrock] はじめに Amazon Connect + LexでAIチャットボットを構築し、顧客のお問い合わせから、種別を判定し、カテゴリに合った担当者に自動振り分けしてみました。 コールセンターの担当者の負担軽減や人手不足を解消するために、AIチャットボットを使って有人対応から無人対応に切り替えたいというニーズが増えております。 今回は、顧客からのお問い合わせをAIチャットボットがヒアリングし、生成AIのAmazon BedrockのClaude Instanceによってお問い合わせの種別判定を行い、適切な担当者に振り分けを行ってみました。 今回検証するお問い合わせの種別は、以下の9種類です。 在庫に関する問い合わせ 配送/送料に関する問い合わせ
![コールセンターへの問い合わせをAIチャットボットで種別を判定し、最適な担当者に自動振り分け[Amazon Connect + Lex + Bedrock] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3e02ba27c1f1d3434bfef23aa7fe0d1176f68e47/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F09%2Famazon-bedrock-1600x630-1.png)
【RAG】Amazon BedrockとConnect、Kendraを利用し、社内情報や社外の最新情報などの取り込んだデータをもとに回答するコールセンター向けAIチャットボットを構築してみた | DevelopersIO
はじめに Amazon BedrockとAmazon Connect、Amazon Kendraを利用し、電話での質問に対して、取り込んだ情報をもとに検索し、回答する（Retrieval Augmented Generation（以降、RAG））コールセンター向けAIチャットボットを構築してみました。 以前、Connectをインターフェースとして、BedrockのClaude V2に質問するチャットボットを構築しましたが、今回はKendraを採用したRAG版です。 最近、社内の業務効率化などの目的で、AIの言語モデル（以降、LLM）を用いて社内情報を活用するための手法として、RAGが話題になっています。 RAGとは、ユーザーからの問い合わせ（プロンプト）に基づいて外部データから関連するドキュメントを検索し、その結果をもとにLLMが質問への回答を生成するという手法です。 RAGの検索（Ret
Amazon BedrockのClaudeとAmazon Connectを利用し、電話で色々な質問に答えてくれるコールセンター向けAIチャットボットを構築してみた | DevelopersIO
Amazon BedrockのClaudeとAmazon Connectを利用し、電話で色々な質問に答えてくれるコールセンター向けAIチャットボットを構築してみた はじめに Amazon BedrockのClaudeとAmazon Connectを利用した、電話で様々な質問に対する応答が可能なコールセンター向けAIチャットボットを構築しました。 電話をかけて質問すると、BedrockのAPIを利用し、質問に答えてくれます。音声は、Amazon Connectが提供するものを活用しています。 以下は、電話をかけた際の対話の様子を示したイメージです： 実際に電話をかけたときのデモ動画です。Bedrockのモデルは、Claude Instant v1.2を使用しています。 構成図は、以下になります Connectのコンタクトフロー内で、Lexで質問内容を受け取り、音声から文字起こしされ(裏でAm
connect-go による複数サービスの開発とユニバーサルバイナリによる改善 - LayerX エンジニアブログ
こんにちは、LayerX の id:snamura です。7月はLayerXエンジニアブログを活発にしよう月間 ということなので、本日は複数サービスに分割されていく中で、開発環境を改善した話を書きます。 LayerX が提供するバクラクでは、 Decoupling a service from monolith with Protocol buffers and connect-go で紹介した通り、 buf.build の提供する connect を使ったサービス化が進められています。 connect の活用によって、既存のHTTPサーバーをサービスとしてインターフェイスを再定義したり、モノリスを無理に分割することなく、ドメインごとにインターフェイスを定義し、サービスの分割が可能になりました。 connectはgRPCのサービス定義を起点に動作するため、シンプルなインターフェイスと、 h
Linux Daily Topics Linux Foundation、OpenID Connectを拡張した暗号化プロトコル「OpenPubkey」をローンチ Linux Foundationは10月4日（米国時間）、BastionZeroおよびDockerとともに暗号化プロトコルのオープンソースプロジェクト「OpenPubkey」をローンチすることを発表した。 Linux Foundation, BastionZero and Docker Announce the Launch of the OpenPubkey Project -linuxfoundation.org The Linux Foundation, BastionZero and Docker are excited to announce the launch of OpenPubkey as a Linux
フルスクラッチして理解するOpenID Connect (2) トークンエンドポイント編 - エムスリーテックブログ
こんにちは。デジカルチームの末永(asmsuechan)です。この記事は「フルスクラッチして理解するOpenID Connect」の2記事目です。前回はこちら。 www.m3tech.blog 7. トークンエンドポイントの実装(POST /openid-connect/token) 7.1 アクセストークン 例 7.2 ID トークン 例 7.3 IDトークンを返す部分を作る 7.4 アクセストークンを返す 7.5 パラメーターの検証 7.6 認可コードの検証 7.7 クライアント認証 8 イントロスペクションエンドポイントを作る(POST /openid-connect/introspect) まとめ We're hiring 今回は全4回中の第2回目です。 (1) 認可エンドポイント編 (2) トークンエンドポイント編 (3) JWT編 (4) stateとnonce編 7. トーク
Excel 365からノーコードでSalesforceやkintone、Snowflakeなど150以上のデータソースに双方向接続可能、CData Connect Cloudが新機能
Excel 365からノーコードでSalesforceやkintone、Snowflakeなど150以上のデータソースに双方向接続可能、CData Connect Cloudが新機能 CData Software Japanは、同社が提供するクラウドサービスCData Connect Cloudの新機能として、Webブラウザで利用するExcel 365からノーコードでSalesforceやkintone、Snowflake、Amazon Redshift、MySQL、PostgreSQL、SAP HANAなど150以上のデータソースに双方向で接続可能にした「CData Connect Cloud for Excel 365」を発表しました。 単にExcel 365の機能を用いてさまざまなサービスからデータを取得して分析や加工ができるだけでなく、Excel 365で書き換えたり追加したりした
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます リモートアクセスは、Raspberry Piのポテンシャルを最大限に引き出す上で障害となる場合がある。多くの愛好家は「RealVNC」のようなツールを使うが、無料版にある制限は、特にアクセススポットが限られている場合、いら立ちの原因となる。 そこで「Raspberry Pi Connect」の出番となる。Raspberry Pi Connectは、Raspberry Piコミュニティーが心待ちにしていたリモートデスクトップツールだ。アクティブなインターネット接続があれば、Raspberry Piデバイスに対するシームレスなリモート管理をブラウザーから直接可能にする。 Raspberry Pi Connectを使用するには、ハードウェアが
[電話無人対応] Amazon Bedrock + Whisperで、名前のヒアリング精度を確認してみた[Amazon Connect] | DevelopersIO
[電話無人対応] Amazon Bedrock + Whisperで、名前のヒアリング精度を確認してみた[Amazon Connect] はじめに Amazon Connect + Amazon Bedrock + Whisper APIの組み合わせで、発話による名前（フルネーム）のヒアリング精度を確認してみました。 以前、Amazon ConnectとAmazon Lexを利用し、ヒアリング精度を確認しましたが、今回は、Amazon Bedrock + Whisper APIの組み合わせで確認してみます。 ヒアリング精度の確認方法は、発話によって名前を伝えた際、発話通り名前を認識するかAWS Lambdaのログから確認します。 構成 構成としては、下記の通りです。 名前のヒアリングに関して、Connectのフローは下記の通りです。 コンタクトフロー内で「メディアストリーミングの開始」ブロ
![[電話無人対応] Amazon Bedrock + Whisperで、名前のヒアリング精度を確認してみた[Amazon Connect] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4a0c72b2ac2c13db00bebc51dcd05dd91b9c254c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F04%2F2024-03-29-cm-hirai-1200x630-1-2.png)
Authored by Derek Perez Connect RPC, Buf’s family of fully protocol-conformant and battle-tested alternatives to Google’s gRPC project, has joined the Cloud Native Computing Foundation. We joined the CNCF to demonstrate our deep commitment to sustainably and responsibly growing Connect as a well-governed and community-led open source project. Today, Connect integrates seamlessly with gRPC systems
フルスクラッチして理解するOpenID Connect (4) stateとnonce編 - エムスリーテックブログ
こんにちは。デジカルチームの末永(asmsuechan)です。この記事は「フルスクラッチして理解するOpenID Connect」の4記事目です。前回はこちら。 www.m3tech.blog 13 state の実装 14 nonce の実装 15 まとめ 16 参考 Wre're hiring! 今回は全4回中の第4回目です。 (1) 認可エンドポイント編 (2) トークンエンドポイント編 (3) JWT編 (4) stateとnonce編 13 state の実装 https://openid-foundation-japan.github.io/rfc6819.ja.html#anchor15 https://openid-foundation-japan.github.io/rfc6749.ja.html#CSRF state は OAuth 由来の仕様です。つまりアクセストーク
[電話無人対応] Amazon Connectで通話中に発話した内容を、Amazon Transcribeで文字起こしし復唱してみた | DevelopersIO
はじめに Amazon Connectでの発話内容をAmazon Transcribeで文字起こしし、音声出力するフローを構築しましたので、手順をまとめました。コンタクトセンターの無人対応を想定しています。 文字起こし内容を音声出力するまでの流れは次の通りです。 コンタクトフロー内で「メディアストリーミングの開始」ブロックを使って、Amazon Kinesis Video Streams（以降、KVS）への音声のストリーミングを開始します。 発話します。 発話後、「顧客の入力を保存する」ブロックで、顧客が特定の番号を押すと、ストリーミングが終了します。 「AWS Lambda関数を呼び出す」ブロックを使い、以下の処理を行います。 LambdaでKVSからメディアデータを取得します。 メディアデータから音声データを抽出し、WAV形式に変換し、S3バケットに音声ファイルを保存します。 Amaz
![[電話無人対応] Amazon Connectで通話中に発話した内容を、Amazon Transcribeで文字起こしし復唱してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/7d9513cdfe28fb7a746a548b7f81ff7ebb44ba22/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-transcribe.png)
Amazon ConnectとKinesis Video Streamsを利用した音声データの録音と保存（「留守番電話」や「AIチャットボット」で利用） | DevelopersIO
Amazon ConnectとKinesis Video Streamsを利用した音声データの録音と保存（「留守番電話」や「AIチャットボット」で利用） はじめに Amazon Connectでエージェントが介在しない「留守番電話」や「AIチャットボット」で録音したい場合、Kinesis Video Streams（以降、KVS）経由でAWS Lambdaを使い音声データの録音と保存する方法をまとめました。 Amazon Connectでは、下記のコンタクフローのブロックで録音できますが、録音条件は、顧客とエージェントが繋がってからのみ録音されます。 エージェントが介在しない、「留守番電話」やAmazon Lexと組み合わせた「AIチャットボット」の場合、録音機能は利用できません。 解決策として、コンタクフロー内で「メディアストリーミングの開始」というブロックを利用し、KVSにメディアデー
[アップデート]Amazon Connect Contact Lens で、チャットのリアルタイム会話分析ができるようになりました #AWSreInvent – Amazon Connect アドベントカレンダー 2023 | DevelopersIO
[アップデート]Amazon Connect Contact Lens で、チャットのリアルタイム会話分析ができるようになりました #AWSreInvent – Amazon Connect アドベントカレンダー 2023 Amazon Connect アドベントカレンダー 2023、2日目の記事です！ クラスメソッドとギークフィードさん、スカイアーチHRソリューションズ さんの有志が募ってチャレンジしている企画になります。 (アドベントカレンダーのカレンダー一覧はこちら↓) はじめに Amazon Connect Contact Lens(以降、Contact Lens) で、チャットのリアルタイム会話分析ができるようになりました。 従来、リアルタイム会話分析は通話のみでしたが、今回のアップデートでチャットも対応しました。 リアルタイム会話分析の機能によって、通話内容の特定のキーワードや
![[アップデート]Amazon Connect Contact Lens で、チャットのリアルタイム会話分析ができるようになりました #AWSreInvent – Amazon Connect アドベントカレンダー 2023 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f099104aaa09df58f234f4f90b04b2f5cefbb675/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-newservice-update.png)
Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた | DevelopersIO
Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた はじめに Amazon Connectのフローで離脱箇所や放棄呼をAmazon Kinesis Data Streams（以降、KDS）とAWS Step Functions、AWS Lambdaを用いて取得し、Amazon DynamoDBに保存する方法をまとめました。 本記事の内容は以下のような用途に役立ちます。 IVRでの途中離脱箇所を知りたい オペレーターにつながる前に切られる放棄呼の有無を知りたい Connectは、各通話ごとに問い合わせレコード（Contact Trace Record, CTR）として通話記録を保存します。 Connectでは、KDSに問い合わせレコードを出力できます。通常は問い合わせレコードは、どのフローで切断され
Interop Tokyo 2023 〜 L5G x IoT Connect Gateway の取り組み紹介 〜 - NTT Communications Engineers' Blog
目次 目次 はじめに L5GとICGWの相互接続構成 デモ内容 温湿度、Co2濃度の可視化 カメラ画像 各社L5Gのスループット計測値 設定・運用面の工夫 ゼロタッチプロビジョニング デバイスの遠隔保守 おわりに はじめに こんにちは、5G&IoTサービス部、IoTサービス部門の岩辻です。 NTTコミュニケーションズ株式会社 (以下、NTT Com) は、世界最大級のネットワーク展示会である 「Interop Tokyo 2023 (会場 : 幕張メッセ、会期 : 2023年6月14日〜16日、以下Interop) 」 において会場内に構築されたローカル5G (以下、L5G) とIoT Connect Gateway (以下、ICGW) の相互接続を実現しました。 また、L5G、ICGWを通じて収集したIoTデバイスのセンサデータ、L5Gネットワークのスループット計測などの可視化も実施しま
どこからでもラズパイのデスクトップが見られる——Raspberry Pi財団、ブラウザーを使うリモートアクセスサービス「Raspberry Pi Connect」ベータ版をリリース｜fabcross
Raspberry Pi Connectは、ウェブブラウザーを使って、Raspberry Piのデスクトップにセキュアなリモートアクセスを可能にするサービスだ。 利用に際しては、同財団の公式サイトで、「Raspberry Pi ID」を作成する必要がある。その後、Raspberry Pi Connectをインストールし、Raspberry Pi IDでログイン、登録した端末を選択してセッションが開始されると、当該デスクトップが表示される。画面右上にある「Copy from remote」「Paste to remote」ボタンは、ホストとリモート間でのコピーペーストに利用できる。 サポートするRaspberry Piだが、OSはWayland window serverを使うbookwormの 64bit版となる。モデルとしては具体的にはRaspberry Pi 5、Raspberry P
Amazon ConnectとLexでのコールセンター向けAIチャットボットで、Function Callingを利用し、発話内容から必要な情報を補正しつつJSON形式で抽出してみた | DevelopersIO
Amazon ConnectとLexでのコールセンター向けAIチャットボットで、Function Callingを利用し、発話内容から必要な情報を補正しつつJSON形式で抽出してみた はじめに Amazon ConnectとAmazon Lexを組み合わせて、コールセンター向けのAIチャットボットを作成しました。その中でFunction Callingを利用し、発話内容から必要な情報をJSON形式で抽出する方法について記事にまとめました。 Function CallingはAI（GPT-4などのモデル）が事前に定義された特定の関数を実行し、その結果を返す機能のことを指します。例えば、ユーザーから受け取った入力から、必要な情報を抽出しJSON形式で出力することが可能です。 ユーザーの発話からFunction Callingで必要な情報のみを抽出してJSON形式に変換後は、要件に応じて抽出内容
Amazon ConnectとKinesis Video Streamで通話を録音時、発話終了のタイミングで録音を自動停止（無人対応） | DevelopersIO
Amazon ConnectとKinesis Video Streamで通話を録音時、発話終了のタイミングで録音を自動停止（無人対応） はじめに Amazon Connectの無人対応で、Kinesis Video Stream（KVS）で通話を録音時、プッシュボタンでなく発話終了のタイミングで録音を停止させる方法をまとめました。 Amazon Connectの無人対応において、通話をKVSで録音する場合、ユーザーが話した後、プッシュボタンを押すことで録音を終了する方法があります。 この方法のコンタクトフローは、以下の通りです。 ユーザーが発話する ユーザーが発話を終了した後、プッシュボタンを押して録音を終了する 以下の記事では、この方法を使用して、顧客の一次対応を無人で行っています。 ただし、ユーザーがプッシュボタンを押すのはユーザーにとって負担がかかります。今回は、ユーザーが発話を終了
Amazon ConnectとLexでのコールセンター向けAIチャットボットの構築において、「音声入力の最大時間」「発話の最大待機時間」「発話終了判定の最大時間」の仕様を確認してみた | DevelopersIO
はじめに 最近、下記の記事にある、クラウド型コンタクトセンターサービスであるAmazon Connectと、高度な自然言語モデルを備えたフルマネージド型チャットボットであるAmazon Lexを組み合わせて、コールセンター向けAIチャットボットを構築する機会がありました。 【RAG】Amazon BedrockとConnect、Kendraを利用し、社内情報や社外の最新情報などの取り込んだデータをもとに回答するコールセンター向けAIチャットボットを構築してみた Amazon BedrockのClaudeとAmazon Connectを利用し、電話で色々な質問に答えてくれるコールセンター向けAIチャットボットを構築してみた Connectと組み合わせてLexを採用する際、ユーザーからの音声入力について、以下の３つの仕様が理解できていなかったため、ドキュメントや実際に試しながら確認しましたので
Amazon Connectの[AWS Lambda 関数の呼び出し]ブロックがエラーになったり正常と判定される原因と解決方法 | DevelopersIO
Amazon Connectの[AWS Lambda 関数の呼び出し]ブロックがエラーになったり正常と判定される原因と解決方法 困っていた内容 Amazon Connectフローの[AWS Lambda 関数の呼び出し]ブロックで、エラーになったり正常と判定されたりすることがあります。この問題をどのように解決すればよいでしょうか。 状況は以下の通りです。 問題のあったフローはこちらです。 [AWS Lambda 関数の呼び出し] ブロックのタイムアウトは3秒に設定しています。 VPC内のLambda関数として起動しています。 Lambda関数の処理内容は、SSM Change Calendarを使用して休業日判定を行っています。 Amazon Connect 問い合わせフローで休業日判定（Lambda + SSM Change Calendar） Lambda関数のタイムアウトは3秒に設定
Amazon Connectのフローでの離脱箇所と放棄呼をKinesis Data Streamsを用いて取得し、DynamoDBに保存してみた | DevelopersIO
Amazon Connectのフローでの離脱箇所と放棄呼をKinesis Data Streamsを用いて取得し、DynamoDBに保存してみた はじめに Amazon Connectのフローで離脱箇所や放棄呼をAmazon Kinesis Data Streams（以降、KDS）を用いて取得し、DynamoDBに保存する方法をまとめました。 利用用途は以下が挙げられます。 IVRでの途中離脱箇所を知りたい オペレーターにつながる前に切られる放棄呼の有無を知りたい Connectは、各通話ごとに問い合わせレコード（CTR）として通話記録を保存します。 Connectでは、KDSに問い合わせレコードを出力することができます。通常は問い合わせレコードは、どのフローで切断されたか情報はありませんが、フロー内で工夫すると取得ができます。工夫内容は後述します。 以下の構成図をもとに処理の流れを説明し
Amazon Connectでコールセンター向けAIチャットボットを構築する際、Amazon Lexを利用すべきケースとそうでないケース | DevelopersIO
Amazon Connectでコールセンター向けAIチャットボットを構築する際、Amazon Lexを利用すべきケースとそうでないケース はじめに Amazon Connectでコールセンター向けAIチャットボットを構築する際、Amazon Lexの利用すべきケースと利用すべきでないケースを考えてみました。 私はこれまでに、以下のようなConnectを利用したコールセンター向けAIチャットボットの構築経験があります。 [電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出 【RAG】Amazon BedrockとConnect、Kendraを利用し、社内情報や社外の最新情報などの取り込んだデータをもとに回答するコールセンター向けAIチャットボットを構築してみた AIチャットボットで問い合わせに対
Ivanti Connect Secure、Ivanti Policy Secureの脆弱性 CVE-2023-46805およびCVE-2024-21887 等についてまとめてみた - piyolog
2024年1月10日、Ivantiは同社のリモートアクセスVPN製品「Ivanti Connect Secure」とネットアクセス制御製品「Ivanti Policy Secure」において、2件の脆弱性（CVE-2023-46805およびCVE-2024-21887）が確認され、これらを組み合わせた攻撃が既に発生しているとしてセキュリティ情報を公開しました。セキュリティ会社のVolexityは、2024年1月15日に世界規模での悪用が確認されているとして、回避策の適用だけでなく、侵害兆候の確認も併せて行うよう利用者への対応を推奨しています。またその後も別の脆弱性情報が公開されており、Ivantiは影響を受ける製品を最新版へ更新するよう呼び掛けています。ここでは関連する情報をまとめます。 １．脆弱性概要 2024年1月に入って以降、脆弱性修正が適宜行われており、2月8日までに修正された脆弱
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
仕様が読めるようになるOAuth2.0、OpenID Connect 入門
SPAのアプリケーションで、外部のIdPを使ってOpenID Connect によるログイン機能を開発しようと考えています。IDトークンの保存先として、ブラウザのCookieかサーバーのDBに保存するかの2つの案があると思っています。調べた限り、サーバーサイドで持つべきという意見が多いように見えますが、以下のような背景がある中で開発しても、ブラウザのCookieでは持つべきなのではないのでしょうか？ - IDトークン自体にも、個人の属性（氏名等）情報は無いことを確認している - サーバーサイドでIDトーク
3年間Stripe Connectを運用した経験を共有します - エムスリーテックブログ
フルスクラッチして理解するOpenID Connect (3) JWT編 - エムスリーテックブログ
Linux Foundation、OpenID Connectを拡張した暗号化プロトコル「OpenPubkey」をローンチ | gihyo.jp
「Raspberry Pi」にブラウザー経由でリモートアクセス--「Raspberry Pi Connect」
Connect RPC joins CNCF: gRPC you can bet your business on
Raspberry Pi Connectがでた（どこからでもラズパイにリモートデスクトップ！）