お近づきになりたい人向けシリーズです。 いろいろなトピックを詰め込みましたが、「これら全部を知らないといけない」のようなつもりではなく、いろいろなことを知るきっかけになったらいいなという気持ちなので、あまり身構えずにちょっとずつ読んでもらえたらうれしい気がします。 まえがき 予備知識 規格 用語 精度という語について 記法 表現について 有限値の表現について エンコードについて 丸めについて よくある誤差や勘違いの例 0.1 = 1 / 10? 0.1 + 0.2 = 0.3? 整数の誤差 Rump’s Example 基本的な誤差評価 用語に関して 実数の丸め 有理数の丸め 基本演算の丸め 差について 複数回の演算 補題たち 桁落ちについて Re: Rump’s example 融合積和 数学関数に関する式の計算 誤差の削減に関して 総和計算 数学関数の精度について 比較演算について 雑
[電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出 | DevelopersIO
[電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出 はじめに Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(電話番号,日時,名前,人数)を正しく抽出できるか検証しました。 コールセンターでは、有人対応から無人対応に変更したいニーズが増えているように思います。 電話予約の無人対応を想定し、1回の発話で、下記の５つの予約情報を抽出できるか確認します。 お名前 電話番号 予約日 予約時間 人数 発話で予約情報を抽出する方法として、GPT-4 Turbo のJSONモードを利用します。 JSONモードの詳細は、下記を参照ください。 例えば、「名前はクラスメソッドで、電話番号は09011111111。来週の火曜日の19時に4名で予約できます
![[電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e41bad5b85c8a6e53a308ad1ab6864682d595877/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Fhirai_reservation_1200x630.png)
Amazon Connect + Whisper + GPT-4 Turboで、発話から個人情報（名前、住所、生年月日）を正しく認識できるか試してみた | DevelopersIO
構成 構成としては、下記の通りです。 Connectのフローの詳細は下記の通りです。 例として、発話で住所を認識させる処理の流れは以下のとおりです。 コンタクトフロー内で「メディアストリーミングの開始」ブロックを使って、Kinesis Video Stream（KVS）への音声のストリーミングを開始します。 顧客は、住所を含めた発話をします。 「顧客の入力を保存する」ブロックで、顧客が特定の番号を押すと、ストリーミングを終了します。 「AWS Lambda関数を呼び出す」ブロックを使い、LambdaでKVSからデータを取得します。取得したデータをWAV形式に変換し、Whisper APIで文字起こしします。文字起こし内容から、GPT-4 Turboで住所のみを抽出します。 プロンプト再生で、住所のみを音声出力します。 以下の図は、電話での対話の流れを示しています。 前提 2023年11月時
Merpay Advent Calendar 2020 の3日目です。 メルペイでバックエンドエンジニアをしている iwata です。 メルペイスマート払いの開発をしている Credit Design というチームに所属しています。 私は2019年の入社以来、「メルペイスマート払い（定額払い）」（以下、定額払い）の開発を担当しており、今年の７月にようやくリリースすることができました。 この定額払いの手数料計算のために、「1万分の1を1とする単位」であるベーシスポイントを扱うGo言語のパッケージ go.mercari.io/go-bps を作成しました。 ちょうど1年前に、 mercari.go #12 で「料率計算における小数の扱いについて」として発表しましたが、当時はオープンソースとして公開していませんでした。 今回オープンソースとして公開しましたので、改めてパッケージを紹介します。 料
Amazon Connectでお問い合わせ内容をWhisper APIで文字起こしし、ChatGPTで要約して音声出力してみた（一次対応の無人化） | DevelopersIO
Amazon Connectでお問い合わせ内容をWhisper APIで文字起こしし、ChatGPTで要約して音声出力してみた（一次対応の無人化） はじめに Amazon Connectを使用して、お問い合わせ内容をOpenAIのWhisper APIで文字起こしとChatGPTで要約し、通話中に音声出力する方法をまとめました。 Connectで無人対応の場合、顧客からの発話を聞き取る方法としては、チャットボットサービスであるAmazon Lexもしくは、Kinesis Video Stream(KVS)で音声のストリーミングなどがあります。 Amazon Lexを利用する場合は、１度に15秒以上は聞き取ることができない点や文字起こしにはAmazon Transcribeを利用する制約があります。 今回は、文字起こしにWhisper APIを利用し、ChatGPTで要約した内容をConne
Amazon Connect + GPT-4 Turboで、予約内容を復唱後、顧客の色々な返答を正しくヒアリングできるか検証 – Amazon Connect アドベントカレンダー 2023 | DevelopersIO
Amazon Connect アドベントカレンダー 2023、1日目の記事です！ クラスメソッドとギークフィードさん、スカイアーチHRソリューションズ さんの有志が募ってチャレンジしている企画になります。 (アドベントカレンダーのカレンダー一覧はこちら↓) はじめに Amazon Connect + GPT-4 Turbo JSONモードで、予約内容を復唱して確認後、顧客の色々な返答を正しくヒアリングできるか検証しました。 前回、Amazon Connect + GPT-4 Turbo JSONモードで、1回の発話から下記の５つの予約情報をヒアリングするチャットボットを構築しました。 名前 電話番号 予約日 予約時間 人数 予約情報をヒアリング後、Connect側で予約内容を復唱するところまでを前回行いました。 今回、予約内容を復唱後、顧客の返答をヒアリングするチャットボットを構築しました
最近認証や認可の話題が度々でていますね。 ふとAWSのMFAはどのような実装になっているか気になったので調べて実装してみました。 MFAについて MFAの設定は済んでますか。もしまだの方や、うろ覚えの方がいましたらこちらの記事を先に見て設定することをお勧めします。 IAMユーザーのMFA（多要素認証）は有効になっていますか？現状を確認→是正→適切な状態を維持するまでの流れを整理してみた MFAの設定が終わったところで、本題に入っていきましょう。 AWSの多要素認証のページを見るとこんなことが書いてあります。 オープン TOTP スタンダードをサポートするアプリケーションを実行するスマートフォンやタブレットをご使用ください。 https://aws.amazon.com/jp/iam/details/mfa/ オープン TOTP スタンダードは何かわからないですが、私たちは、MFAのためにA
プログラミング演習 Python 2021( Version 2021/10/08 (コラム編) )
プログラミング演習 Python 2021 コラム編 京都大学 国際高等教育院 喜多 一 京都大学 情報環境機構 森村吉貴 京都大学 高等教育研究開発推進センター 岡本雅子 Version 2021/10/08 目次 Next Chapter Table of Contents 2 目次 目次 2 0. コラム 0 始まり ........................................................................................................4 0.1 Python は 0 ではじまる .................................................................................. 4 0.2 1 始まりではいけないのか .......
初めまして。2019年6月にAstamuseにjoinした rinoguchi です。 ついに昨日、日本でも緊急事態宣言が出ましたね。小学校の休校も１ヶ月程度延長されましたし、会社もリモートワークにほぼ移行してますし、ここできっちりウイルスの拡散を防ぎたいところです。 ちなみに、妻がドイツに単身赴任中なのですが、ドイツでは感染者は多くて外出自粛モードになっているものの、現地の人たちはせっかくだからと日曜大工したり、庭を改造したりとそれなりに楽しんでいるみたいです。私たちも制限された環境の中ですが、せっかくなので楽しみたいですね！ 屋根瓦. なんとなく並列処理を連想しませんか？ はじめに それはそうと、私は当社で、特許データなどの名寄せ（同一人物に対してユニークなIDをふる作業）を担当しております。 特許の名寄せには、人物名・組織名・出願日・共同出願人など様々な特徴を利用するのですが、中国人
こんにちは。 今回は「タッパーの自己言及式 (Tupper's self-referential formula)」を取りあげようと思います。 (記事タイトルを AI が生成してくれるようになったので、さっそく使ってみました。) 例のごとく、少し前にこんなツイートを見かけました。 Tupper's self-referential formula is a formula that visually represents itself when graphed at a specific location in the (x, y) plane. pic.twitter.com/QVxB3fozpe— Fermat's Library (@fermatslibrary) 2022年10月14日 (Fermat's Library は理系的な雑学のツイートが多く、知見が広がるのでよく見ていま
演算の優先順位を明示する場合はかっこ(、)で括ってください。 C:\> 1 + (2 * 3) / 4 2.5 2. 暗黙の型 PowerShellで扱う数値は内部で型を持っており、型を明示しない場合は整数はint型 (System.Int32)またはlong型(System.Int64)(intの範囲を超える場合)、小数はdouble型 (System.Double)となります。 # 整数は int型(int32) C:\> 123 | gm TypeName: System.Int32 ・・・ 省略 ・・・ # intの範囲を超える整数は long型(int64) C:\> 2147483648 | gm # [int]::MaxValue+1 TypeName: System.Int64 ・・・ 省略 ・・・ # 小数は double型 C:\> 123.45 | gm TypeNa
プログラミング演習 Python 2019 コラム編 京都大学 国際高等教育院 喜多 一 Version 2020/02/13 0 目次 次の章へ 目次へ 2 目次 0. コラム 0 始まり ............................................................................ 4 0.1 Python は 0 ではじまる............................................................ 4 0.2 1 始まりではいけないのか ........................................................ 4 0.3 結局は .........................................................
Amazon ConnectとKinesis Video Streamsを利用した音声データの録音と保存（「留守番電話」や「AIチャットボット」で利用） | DevelopersIO
Amazon ConnectとKinesis Video Streamsを利用した音声データの録音と保存（「留守番電話」や「AIチャットボット」で利用） はじめに Amazon Connectでエージェントが介在しない「留守番電話」や「AIチャットボット」で録音したい場合、Kinesis Video Streams（以降、KVS）経由でAWS Lambdaを使い音声データの録音と保存する方法をまとめました。 Amazon Connectでは、下記のコンタクフローのブロックで録音できますが、録音条件は、顧客とエージェントが繋がってからのみ録音されます。 エージェントが介在しない、「留守番電話」やAmazon Lexと組み合わせた「AIチャットボット」の場合、録音機能は利用できません。 解決策として、コンタクフロー内で「メディアストリーミングの開始」というブロックを利用し、KVSにメディアデー
Amazon Connect + Lex + BedrockのAIチャットボットで、発話から個人情報（名前、住所、生年月日）を正しく認識できるか試してみた | DevelopersIO
Amazon Connect + Lex + BedrockのAIチャットボットで、発話から個人情報（名前、住所、生年月日）を正しく認識できるか試してみた はじめに Amazon Connect + Lex + Bedrockで、発話から個人情報（番号や名前、住所、誕生日）を正しく認識できるか試してみました。 ConnectとLexによるAIチャットボットで、有人対応から無人対応に変更したいニーズが増えているように思います。 事前に登録したお客様情報に対して、AIチャットボットがお客様の認証を対応できるか気になったため、まず数字や英字、住所などをAIチャットボットが発話どおりに認識してくれるか検証しました。 今回の記事では、以下の５つの項目を発話し、AIチャットボットで正しく認識できるか確認します。 住所 名前 英字 数字 生年月日 特に、数字に関しては、AIチャットボットで電話番号や会員
Amazon ConnectからKinesis Video Streamに送信する音声データは、GetMediaForFragmentList APIで取得すべき理由 | DevelopersIO
Amazon ConnectからKinesis Video Streamに送信する音声データは、GetMediaForFragmentList APIで取得すべき理由 はじめに 以前、Amazon Connectでエージェントが介在しない「留守番電話」や「AIチャットボット」で録音したい場合、Kinesis Video Streams（以降、KVS）経由でAWS Lambdaを使い音声データの録音と保存する方法をまとめました。 ただし、ConnectからKVS経由で音声ファイルS3バケットに保存すると、録音した音声と異なる音声が時折含まれていました。 調査した結果、以下の記事でも同じ現象に言及しておりました。その記事では、KVSからメディアデータを取得する際にGetMediaAPIではなくGetMediaForFragmentListAPIを利用することで、この問題が解消されたと書かれてい
Amazon ConnectとKinesis Data Streamsを使用し、エージェントの介在がないIVRの場合でも電話中のユーザーの発話を録音する方法 | DevelopersIO
Amazon ConnectとKinesis Data Streamsを使用し、エージェントの介在がないIVRの場合でも電話中のユーザーの発話を録音する方法 はじめに この記事では、Amazon ConnectとKinesis Data Streams（以下、KDS）を用いて、エージェントが介在しなくても、ユーザーの発話を録音する方法を紹介します。 Connectでは、下記のコンタクフローのブロックで録音できますが、録音条件は、顧客とエージェントが繋がってからのみ録音されます。 例えば「留守番電話」やAmazon Lexと組み合わせた「AIチャットボット」のように、エージェントが介在しない場合、通常の録音機能は利用できません。 解決策として、コンタクフロー内で「メディアストリーミングの開始」というブロックを利用し、Kinesis Video Streams（以降、KVS）にメディアデータを
プログラミング必須英単語600+
1 A accept【動詞】受諾する access【動詞／名詞】アクセスする ／アクセス account【名詞】アカウント、口座 algorithm【名詞】アルゴリズム allow【動詞】可能にする、許可する alternative【形容詞】代替の application【名詞】アプリケーショ ン apply【動詞】適用する argument【名詞】引数 array【名詞】配列 attribute【名詞】属性 audio【名詞】オーディオ、音声 author【名詞】作成者 available【形容詞】利用可能な、入 手可能な avoid【動詞】回避する B backup【名詞】バックアップ base【形容詞／動詞】ベースの、基 底の／〜に基づく（based on で） bit【名詞】ビット blank【形容詞】空白の block【名詞／動詞】ブロック／ブ ロックする boolean【形容詞
2019/11/25 内容を更新 この記事を読み終わったら → ”LaravelDB.com” の使用方法の記事も書きました https://qiita.com/daisu_yamazaki/items/1cb5987cc6d1008def82 『LaravelDB.com』 『Laravelを使う人を幸せにしたいという思いから作った』 【 URL 】 https://laraveldb.com ER図を作成し、Migrationファイルを生成したり、 逆にMigrationファイル → ER図を生成したり出来ます。 新規作成、設計の見直しからの再作成、を目的にした仕様なので「カラム・型」変更のMigrationには対応していません。DB作り直すイメージで使用するとベストですね。 主機能 ER図作成 （対応している”型”はページ下部に表記） ER図作成 → Migrationファイルを生成
入門 Python 3 第2版
データサイエンスやウェブ開発、セキュリティなど、さまざまな分野で人気を獲得してきているPython。本書は、ベストセラー『入門 Python 3』の6年ぶりの改訂版で、プログラミング初級者を対象としたPythonの入門書です。プログラミングおよびPythonの基礎から、ウェブ、データベース、ネットワーク、並行処理といった応用まで、実践を見据えたPythonプログラミングをわかりやすく丁寧に説明します。Python 3.9に対応し、f文字列などの新機能も追加され大幅にボリュームアップしました。Pythonの機能をひと通り網羅し、リファレンスとしても便利です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ペ
C#のアドベントカレンダー24日目に参加させていただきます。 この記事は、別のアドベントカレンダー「ひとりアドベントカレンダー C#による投資検証ライブラリMagicalNuts」に書き溜めた23日分の記事をまとめたものです。 qiita.com もの凄い長いので、ご興味の沸いたところだけでも読んでいただければと思います。GitHubやNuGetでも公開済みです。 github.com www.nuget.org MagicalNutsとは？ MagicalNutsはC#による投資検証ライブラリです。使い方次第で、次のようなアプリケーションを実装できます。 株主優待イベント検証アプリケーション 独自指標を追加したチャートアプリケーション バックテストアプリケーション C#の取り回しのしやすさを活かし、痒い所に手が届く投資環境を作りたい方の１つの選択肢になれればと思います。MagicalNu
AWS LambdaとPyArrow3.0.0を使ってサクッとParquetファイルに変換する | DevelopersIO
id price total price_profit total_profit discount visible name created updated 1 20000 300000000 4.56 67.89 789012.34 True QuietComfort 35 2019-06-14 2019-06-14 23:59:59 PyArrow3.0.0用のLambda Layerを作成する Lambda動作環境の選定 今回は、TSVファイルに軽量・高速に変換するためAWS Lambdaを用います。Lambdaは、パッケージフォーマットとして、従来どおりLambda関数を用いる方法に加えて、コンテナイメージがサポートされました。複数のLambdaアプリケーションや関数から再利用されることを考慮して、デプロイパッケージは、Layerを用います。 Lambdaの制約事項 デプロイパッケ
C#での非同期メソッドの分析。 - ねののお庭。
Dissecting the async methods in C# Async method internals 非同期メソッドを手動で分解する Async machinery The original method The state machine 1. “Hot path” optimization 2.Error handling How different pieces are glued together? Execution Context Conclusion References この記事は以下の記事を私が翻訳したものです。 https://devblogs.microsoft.com/premier-developer/dissecting-the-async-methods-in-c/ Dissecting the async methods in C# C#は開発
RFC 8259: JSON(JavaScript Object Notation)データ交換フォーマット
図書館員のコンピュータ基礎講座 TOP インターネット 【注意】 このドキュメントは、RFC 8259「The JavaScript Object Notation (JSON) Data Interchange Format」の和訳です。このドキュメントの正式版は英語版であり、このドキュメントには翻訳に起因する誤りがありえます。誤訳、誤植などのご指摘は、訳者までお願い致します。 First Update: 2019年9月26日 Internet Engineering Task Force (IETF) T. Bray, Ed. Request for Comments: 8259 Textuality Obsoletes: 7159 December 2017 Category: Standards Track ISSN: 2070-1721 要約 JSON(JavaScript Ob
jq で IP アドレスを sort_by しようと思ったがうまくいかなかったので大人しく sort -V を使った | DevelopersIO
コンバンハ、千葉（幸）です。 AWS サービスの IP レンジの確認にip-ranges.jsonを jq でフィルタリングすることがしばしばあります。 そのまま実行すると IP プレフィックスは整列されていない状態で出力されるため、ソートしたいと考えました。 jq の機能に sort が含まれているため、そちらでなんとかできないかと思い試してみました。 まとめ jq の sort_byを使用すると文字列としてソートされるため期待した並びにならない jq でソートするのは諦めてパイプしてsortを使用しよう sortを使用する場合は-Vオプションを使用しよう （追記）jq だけでも split() や map() を使用すれば実現できる……! ip-ranges.json に jq を使用する AWS サービスが使用する IP アドレス範囲は、ip-ranges.jsonとして公開されてい
はじめに 基礎技術研究部リサーチエンジニアの末吉です。 HTTP リクエストスマグリング(HTTP Request Smuggling: HRS)の CVE 登録数を見ると、最初に発表された 2005 年に大量に登録されて以降は下火傾向で、2018 年までは毎年数件ずつ登録される程度でした*1。 ところが 2019 年から再燃し、今年に至るまで再び大量に登録されだしています。 上記は CVE の登録数だけを見た傾向ですが、実際 HTTP リクエストスマグリングは 2019 年を境に急激に発展し、今年に至るまで毎年様々な新手法が発表され、注目を浴びています。 ただ、その割には日本語で HTTP リクエストスマグリングを扱った記事は少なく、この名前を聞いたこともないという方もそこそこ多いと思います。 そこで、この記事では HTTP リクエストスマグリングの基礎から Black Hat USA
DeequはAWSがリリースしているデータテストを行うためのライブラリです（Deequの説明ではUnit Testと表現されています）。 ここで言うデータテストは、ETL処理やデータマート作成処理などの意図通り動いているどうか、取り込んだデータが昔と変化していないかを確認するための検証処理のことを指しています。 ETL処理などを最初に作成したタイミングでは、その処理が意図したものになっているか確認すると思います。一方で、日次のバッチ処理や、動き続けているストリーム処理について、本当に意図したようにデータが加工されているかどうかは、通常の方法では処理自体が成功したかどうかくらいしか確認するすべがありません。 しかし、日々のデータ処理は簡単に意図しないデータを生み出してしまう可能性があります。気づいたらデータの中身が変わっていて、変換処理が意図しない動作をしてしまっていたり、そもそもソースデー
ここ1週間くらいで、C# 9.0 で入るであろう機能がちゃんとした仕様ドキュメントに起こされ始めました。 Add draft spec for C# pattern-matching changes. #3361 Add proposal for target-typed conditional expression. #3363 C# Language Design for April 13, 2020 (Roadmap for records) Init only proposal document #3367 パターン マッチング v3 パターン マッチングも3世代目になります。 最初 C# 7.0 に入ったころは単に「is がちょっと便利になった」、 「switch で型分岐ができるようになった」程度の機能でしたが、 3世代目ともなるとずいぶんいろいろなものが増えています。 詳細は
よく出る思考パターン・覚えておきたいアイディアをメモしておきます． 問題の分類にもなっています．参考になるコードのリンクをメモしている問題もあります． 【2022.01追記】最近は，このページではなく，タグで分類するようにしています． 入力 出力 改行して出力 bool False, True 比較演算子 all, any 切り捨て・切り上げ（床関数・天井関数） 四捨五入 ソート 反転（逆順） スライス 後ろから指定 文字列操作 置換 リストの結合 deque - 先頭・末尾への追加・削除 アルファベット⇔数字 文字列の位置（左端，右端） 正規表現 リスト操作 注意 2要素の入れ替え set 生成 集合演算 setの中にlistはダメ！ 組み合わせ 出現回数 - collections.Counter 同じ値になる組み合わせ 二項係数 二項係数（mod 10**9+7） mod mod 1
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
浮動小数点型の算術とお近づきになりたい人向けの記事 - えびちゃんの日記
料率計算における小数点数の扱いについて | メルカリエンジニアリング
AWSのMFAの仕組みを実装して読み解いてみた | DevelopersIO
PythonからDataprocを操作してシームレスに並列処理を実現する - astamuse Lab
タッパーの自己言及式の謎を解く - プログラミングの備忘録
PowerShellを電卓として使う際のTips集 | DevelopersIO
京都大学プログラミング演習Python2019コラム編.pdf
【 Laravel 】「Laravel DB.com」で設計から実装まで「ER図←→Migration」相互変換！！vol2 - Qiita
C#による投資検証ライブラリMagicalNuts - 自家製クオンツ
HTTP リクエストスマグリング入門から最新研究まで - FFRIエンジニアブログ
データテストライブラリー「Deequ」を触ってみた - 終末 A.I.
ピックアップRoslyn 4/19: C# 9.0 機能の仕様ドキュメントいくつか
AtCoder - 解法パターンの整理 - 競プロはじめました