こんにちは。エンジニアの中野です。前回は、私たちが開発している FractalDB: LINEヤフーのオンプレミス・マルチテナンシー型データベースシステムの紹介という記事を公開しました。 今回は続いて、開発に至った背景とそれからどのようなサービス設計を行ったのか、少し具体的な話をさせていただきます。 課題(FractalDB開発の背景) 社内クラウドDBが欲しい 比較的昔から「パブリッククラウドの"クラウドDB"、例えばAWS DynamoDB(以下DynamoDB)やGCP Cloud Spanner、Microsoft Azure CosmosDBのようなデータベースが社内にも欲しいよね」という漠然とした話はありました。 例えば、DynamoDBを使ったアプリケーション作成は、通常のRDBMSを使ったアプリケーション開発と以下のような違いがあります。 普通のRDBMSを使ったアプリDy
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 現地時間 2024/7/10 に開催されている AWS Summit New York 2024 で多くの生成 AI 関連のアップデートが発表されました。 以下の公式ブログに随時発表が更新されていくようですが、本記事では基調講演などでの発表も踏まえて日本語で概要をまとめています。 Amazon Bedrock 関連 Claude 3 Haiku のファインチューニングが可能に (Preview) これまで Bedrock でファインチューニング可能なモデルは Titan や Cohere Command、Llama 2 のみだ
SaaS 向けリレーショナルデータベースのスケーリング (Part 1: 一般的なスケーリングパターン) | Amazon Web Services
Amazon Web Services ブログ SaaS 向けリレーショナルデータベースのスケーリング (Part 1: 一般的なスケーリングパターン) ビジネスが成長するにつれて、SaaS (Software as a Service) プロバイダーが直面する課題の 1 つは、テナントのエクスペリエンスをどのように維持するかです。これには、テナントベースが拡大するにつれて、許容できるパフォーマンスとレスポンスタイムを確保することが含まれます。Amazon Relational Database Service (Amazon RDS) や Amazon Aurora などのリレーショナルデータベースは、一般的に SaaS プロバイダーによって使用されています。ビジネスが成長するにつれて、データベースのスケーリング方法も決定する必要があります。 SaaS ビルダーとしての課題は、SaaS
プロダクトオーナー目線でふりかえる大規模DBリプレイス - kubell Creator's Note
みなさんこんにちは、株式会社kubell（旧Chatwork株式会社）で エンジニアリング・マネージャー（まだ見習い）兼プロダクトオーナー（これも半人前）をやっております、辻（@crossroad0201）です。 この記事は弊社 kubell の Advent Calendar 2024 、12月20日の記事です。 こちらのアドベントカレンダーではエンジニアのみならず、プロダクトマネージャーやデザイナー、弊社のさまざまな職種のメンバーが記事を寄せていますので、ぜひほかの記事も見てみていただければと思います。 この記事では、私の所属チームが今年取り組んだ仕事の中でも最も規模が大きかった「メッセージDBリプレイスプロジェクト」についてふりかえりたいと思います。 技術的なことは後日エンジニアが記事を書いてくれるはず（！）なので、私からはプロダクトオーナー目線、プロジェクト運営の観点から見てみます
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに AWS Step Functionsは、サーバレスでワークフローの構築を容易にするサービスです。 Step Functionsがリリースされた当初は、主に複数のAWS Lambdaの関数を順序通り実行するためのサービスとして広まっていきました。 そのため、現在はStep Functionsの標準アクションで実現できる処理が多くなったにも関わらず、今でもLambda関数を作ってデータを渡し、他のサービスの呼び出し(橋渡し)処理やデータの変換処理を実行するアプローチを取られるケースが多々見られます。 このうち、データの変換処理につ
こんにちは。kimihiro_nです。 今回はアプリケーションの動作を保証するために不可欠なテストコードの書き方についてです。 特に外部依存要素のテストに焦点を当ててみていきたいと思います。 外部に依存するテストコード 皆さんはアプリケーションのテストコードを書いていますか？ 内部的な状態を持たず、入力と出力が常に変化しない関数であれば、テストコードを書くのは比較的容易です。実際に関数を呼び出ししてその出力と期待値が一致しているかをみればテストすることができます。 しかし実際にアプリケーションを開発する場合、データベースへの接続だったり外部へのAPI呼び出しだったりといった外部の状態に依存した処理が含まれることが多いです。このような場合、素直にテストを書くのが難しいです。 多くの場合モックを利用して実際のデータベース呼び出しを置き換えたり、テスト用のリソースをdockerなどで構築してダミ
BlogTechnicalSQLite-on-the-Server Is Misunderstood: Better At Hyper-Scale Than Micro-Scale We're Rivet, a new open-source, self-hostable serverless platform. We've been in the weeds with SQLite-on-the-server recently and – boy – do we have a lot of thoughts to share. Give us a star on GitHub, we'll be sharing a lot more about SQLite soon! There's been a lot of discussion recently about the pros an
センサーデータを分析するデータ基盤候補として、Data Firehose + S3 Tables + Athenaを試してみた | DevelopersIO
はじめに この記事はクラスメソッド発 製造業 Advent Calendar 2024の6日目の記事です。 製造現場では、様々なセンサーから大量のデータが生成されます。これらのデータは、装置の稼働状況の監視、製品品質の向上、故障予測など、様々な用途に活用できます。しかし、これらのデータを効率的に収集・分析するためには、適切なデータ基盤が必要となります。今回は、そういったセンサーデータを分析するためのデータ基盤の候補として、Data Firehose + S3 Tables + Athenaの構成を試してみます。 S3 Tablesとは S3 Tablesは、re:Invent 2024で発表された新しいストレージソリューションで、次のような特徴を持ちます。 分析に特化したストレージ設計: 高いトランザクション性能とクエリスループット 汎用のS3バケットに比べて3倍のクエリパフォーマンスと1
順序性の担保とスループットはトレードオフだという話
この記事について AWS SQSからメッセージを受けとって処理するLambdaを書いているときに、 標準キューだから順序保証されてないな、じゃあ順序バラバラできても捌けるように処理を書かないと！ → ... → あれ？？？意外とこれ難しくない？？？ と思った経験、皆さんにもあるのではないでしょうか。 この記事では、筆者が上記のような壁にぶつかったときに「順序を保つってなんでそんなに難しいんだろう？」「保てないならどうやってそれに耐えうるようにすればいいんだろう？」と色々考察した結果を書いていきたいと思います。 使用する環境・バージョン 2024/6/22時点で提供されている機能に基づき考察 読者に要求する前提知識 AWSのSQS, SNS, Kinesis Data Streamがどういうサービスなのかは既知という前提のもとで書きました 順序セマンティクスとは 順序セマンティクスとは「イベ
tflocal を使って Terraform から LocalStack にデプロイしよう - kakakakakku blog
Terraform から LocalStack にデプロイする場合，以下のように provider.tf の provider 設定で LocalStack のエンドポイントを参照するように実装する必要がある💡 provider "aws" { region = "ap-northeast-1" access_key = "DUMMY" secret_key = "DUMMY" s3_use_path_style = true skip_requesting_account_id = true skip_credentials_validation = true skip_metadata_api_check = true endpoints { s3 = "http://localhost:4566" } } しかし LocalStack のために設定が必要なのは微妙だったりもして，そ
AWSリザーブドインスタンスの購入時にチームメンバーのレビューを通す - Hatena Developer Blog
システムプラットフォームチーム所属の id:k1s1eeeです。 この記事は、はてなのSREが毎月交代で書いているSRE連載の12月号、かつはてなエンジニア Advent Calendar 2024 の12月26日の記事です。 SRE連載 11月の記事は id:rskmm0chang さんの「GitHub ActionsのSelf Hosted Runner向けにImage Cache Proxyを導入しました」でした。 はてなエンジニア Advent Calendar 2024 12月25日は id:yujiorama さんの「Implementing Google BigQuery REST API (v2) jobs.query」でした。 AWS リザーブドインスタンス とは AWS リザーブドインスタンス（以下 RIと表記します）は、AWSの使用料金を節約するためのオプションで、A
LambdalithとSingle purpose Lambdaは1つのAPI Gatewayで共存できる | DevelopersIO
Lambdalithな構成でサーバーレスアプリケーションを実装する事例が増えてきていると思います。実際に Lambdalith と Single purpose Lambda が1つの API Gateway の中で共存できるのか、CDKを用いて実装し試してみました。 はじめに 最近、Monolith Lambda(以降 Lambdalith)な構成でサーバーレスアプリケーションを実装する事例が増えてきていると思います。 サーバーレスアプリケーションを作る際に、最初はLambdalithで構成し、必要になった場合に Single purpose Lambda と共存させれば良さそう、という意見が見られるようになりました。 今回は実際に Lambdalith と Single purpose Lambda が1つの API Gateway の中で共存できるのか、CDKを用いて実装し試してみま
AWS re:Invent 2024参加レポート 〜クラウドの未来を目撃した5日間〜 - ZOZO TECH BLOG
はじめに こんにちは。SRE部プラットフォームSREブロックの松石です。 12月2日〜12月6日にラスベガスで開催されたAWS re:Invent 2024に、弊社から13名のエンジニアが現地参加しました。この記事では熱気あふれる会場の様子と現地参加したメンバーのそれぞれが印象に残ったセッションについてご紹介します。 目次 AWS re:Inventとは 現地の様子 セッションレポート おわりに AWS re:Inventとは re:InventはAmazon Web Services（AWS）が主催するAWS最大のカンファレンスです。このイベントでは、AWSの様々なサービスのアップデートや新サービスが発表されます。今年は世界中から約60,000人、日本から約1,700人の参加者がラスベガスに集まりました。今年のre:Inventでは、昨年から盛り上がりを見せる生成AIブームの影響が新サー
AWS Certified Data Engineer - Associate(DEA)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS Certified Data Engineer - Associate」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA AIF CLF 「AWS Certified Data Engineer - Associate(DEA)」とは 「AWS Certified Data Engineer - Associate(DEA)」は、AWSクラウド環境下でデータパイプラインの設計、構築、運用、モ
こんにちは。ニコニコ共通バックエンド開発担当の小野塚です。 2024年8月8日から順次「フォロー新着」機能がリリースされましたので、技術的な側面についてこれまでの歴史やニコニコに特徴的な点を含めご紹介したいと思います。 フォロー新着とは フォロー新着とは、フォローしているユーザー、チャンネル（入会しているチャンネルを含む）、マイリストの更新情報をまとめて新着順にタイムラインとして見られる機能です。 2024年9月リリース予定で開発を進めていましたが、前身であるニコレポのシステムがサイバー攻撃によってダウンしたため、代替として急遽前倒しでリリースされました。[1] フォロー新着システムに至るまでの歴史 今回のフォロー新着のために開発したシステムは、ニコレポ時代から数えると3つ目のタイムラインシステムとなります。 以前のシステムについて公開されている情報も無いようですので、これを機に簡単に紹介
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに この記事は クラウドワークスグループ Advent Calendar 2024 シリーズ1 の 2日目の記事です。 あるときはTerraform職人、またあるときはお豆腐職人の @minamijoyo です。 2023年8月HashiCorpはこれまでMPL2のOSSライセンスで公開していた主要製品をBSL(Business Source License)に変更することを発表し、Terraformはv1.6.0からOSSではなくなりました。このライセンス変更を受けて、OSS版のTerraformを求める人たちで、MPL2時点の
IAM ユーザーのログイン失敗を検知して複数回失敗すると権限を剥奪する仕組みを作ってみた | DevelopersIO
こんにちは、AWS 事業本部の平木です！ AWS における PCIDSS v3.2.1を見た時に要件 8 を参照するとアカウントロックに関する要件があります。 現状、執筆時点では IAM ユーザーで連続してログイン失敗してしまったとしてもアカウントをロックできる仕様はありません。 ただ、AWS 公式のコンプライアンスガイドを見ると以下のように記述されていました。 PCI DSS 審査の適用範囲内であると判断された IAM ユーザーには、8.1.6 および 8.1.7 のアカウントロックに関する要件を満たす追加の仕組みが必要です。お客様がこれを達成するには、AWS CloudTrail、Amazon DynamoDB、AWS Lambda、Amazon CloudWatch を組み合わせて連続したログイン失敗を追跡して、ログイン失敗がしきい値である 6 回連続で発生した場合に制限を強めた I
HCL（Terraformの.tf）ファイルやCUEファイルのシンタックス内にある文字列に（prettierなどの）任意のフォーマッタを適用する - Copy/Cut/Paste/Hatena
おそらくTerraformの.tfファイルがイメージしやすいと思いますが、.tfファイルのHCLシンタックス内に別のシンタックス（多くはヒアドキュメントで表現される複数行の文字列）を埋め込むことがあります。 私が真っ先に思い出すのがAWSのPolicyです。 resource "aws_iam_policy" "allow_dynamodb_table_post" { name = "allow_post" policy = <<-EOT { "Version": "2012-10-17", "Statement": { "Effect": "Allow", "Action": "dynamodb:*", "Resource": "${aws_dynamodb_table.post.arn}" } } EOT } 今ではData sourceでaws_iam_policy_document
AWS re:Invent 2024で気になった発表10選
株式会社松尾研究所で働いている小原です。本記事は、松尾研究所 Advent Calendar 2024の記事です。 本記事では AWS re:Invent 2024 及びその前後で発表された内容のうち個人的に気になったものを紹介します。私は AI を活用したシステムを開発するチームにいるため、AI 関連に限らずシステム開発の観点でも幅広く紹介したいと思います。 Amazon Bedrock 関連 まずは多くのリリースがあったAmazon Bedrock関連について紹介します。 Amazon Bedrock は様々な基盤モデルを API を通じて利用できるサービスです。また基盤モデルを利用する際に伴う様々な機能も提供しています。 AWS re:Invent の少し前にはAmazon Bedrock Flowsが GA(General Availability)になりました。Amazon Be
ryuichi1208.hateblo.jp ちょっと前に退職エントリを出してそこにも書いてますが11月1日入社でやっています。ロールは引き続きSREとしてサービスの信頼性に向き合っていこうと思っています。入社の経緯とかやってることは会社の公式の入社エントリ(?)に書くのでここでは簡単にだけ書きます。 きっかけとか SRE NEXT 2024のジョブボードに書いてあってIVRという単語は知ってたのですがIVRのSREって何やるんだ？って気になったのがきっかけでした。話を聞いてみると想像以上にビジネスが面白くて一気に興味を持ちました。詳しい話はnoteの方に書きますので読んでもらえると(笑) 技術スタック ECSとPostgreSQLとPythonな環境でこれまでとは全く違う技術スタックですがそれぞれ奥が深くて楽しくやれています。ECS便利ですねぇ。PostgreSQLは触ったことはあるけど
はじめに こんにちは、ZOZOMO部SREブロックの蔭山です。普段はFulfillment by ZOZOやZOZOMOのSREを担当しています。 今回ZOZOMOで提供しているサービスの1つである「ブランド実店舗の在庫確認・在庫取り置き」のマイクロサービス（通称realshop-api）にてMySQLにアクセスできる運用ユーザーの権限管理の最適化を行いました。本記事でその取り組みについてご紹介いたします。 目次 はじめに 目次 なぜ権限管理を最適化したのか 権限管理が複雑化してきた 秘密情報を閲覧できるメンバーを制限する必要がでてきた どのように最適化したか ロール機能を使った権限の標準化 秘密情報の保護自動化 秘密情報カラムの管理 秘密情報カラムへの権限剥奪を自動化 秘密情報カラムを除いたVIEWの自動作成 実施した結果 まとめ なぜ権限管理を最適化したのか realshop-apiで
「現場で実践！RAG活用術 Lunch LT ― 運用して分かった"つらみ"とその対策」で登壇してきました＆質問の回答 #RAG_Findy - スタディサプリ Product Team Blog
こんにちは。@chaspyです。 先日こちらのイベントで登壇してきました。 findy.connpass.com 発表資料はこちらです。 概要については以下の @aoi1 さんの以下のブログも参照ください。 blog.studysapuri.jp 内容は資料を見ていただきたいですが、ポイントとしては以下になります。 基本的には検索システムと捉えている AI Search がクエリの生成と検索結果から回答生成を行っている そのため、E2E で評価しないと実際のアプリと同様の回答が得られない 若干高コストにはなるが、E2E で簡易的はリグレッションテストを行っている とにかく素早くフィードバックサイクルを回すことが重要（ソフトウェア開発と同じ） ユーザに使ってもらい、評価する、自分でテストを回して、修正する、を繰り返す 評価手法にこだわるよりは改善を繰り返す方が大事 また、アーキテクチャの補足
AWS Lambda turns 10: A rare look at the doc that started it
AWS Lambda turns 10: A rare look at the doc that started itNovember 14, 2024 • 5460 words One of our strengths at AWS has always been our ability to get primitives into the hands of our customers and observe what they do. In nearly every instance, someone uses these building blocks in interesting ways that we didn’t expect. Sometimes it’s domain-specific innovation, but other times it’s customers
AWS クラウドとオンプレミスとの違い 2017年2月 アマゾンウェブサービスジャパン株式会社 -TCOで考える- • AWSクラウドのサービスは、ご利用いただいた時間や量により費用が変動する従量課金です。そのため、事前に料金 確定見積を作成することはできない旨はご了承ください。 • 特に断りがない場合、本資料では2017年2月1日現在の東京リージョンの価格で説明しています。最新の価格は、 オフィシャルサイト(http://aws.amazon.com)でご確認ください。 • 価格は税抜表記となっています。日本居住者であるお客様が東京リージョンを使用する場合、別途消費税をご請 求させていただきます。 • 資料作成には十分注意しておりますが、資料内の価格とオフィシャルサイト記載の価格に相違があった場合、オフィ シャルサイト(http://aws.amazon.com)の価格を優先とさせていた
CSVデータをS3にアップロード時AWS Lambdaをトリガーし、自動的にDynamoDBへデータを書き込んでみた | DevelopersIO
CSVデータをS3にアップロード時AWS Lambdaをトリガーし、自動的にDynamoDBへデータを書き込んでみた はじめに Amazon S3バケットにアップロードしたCSVデータをAmazon DynamoDBテーブルに自動的に書き込むAWS Lambdaの作成方法を紹介します。 CSVデータをAmazon S3バケットにアップロード時、AWS LambdaをトリガーしAmazon DynamoDBテーブルにデータを書き込む方法について紹介します。 CSVデータをAmazon S3バケットにアップロード時、AWS LambdaをトリガーしDynamoDBにデータを書き込んでみた 構成は以下の通りです。 本構成では、AWSマネジメントコンソールからS3バケットにCSVファイルをアップロードすると、S3のPUTイベントをトリガーとしてLambda関数が起動します。Lambda関数は、CS
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWSがCloud9、CodeCommit、他いくつかのサービスで、新規利用受付を終了したと、チーフエヴァンジェリストのJeff BarrがX（旧Twitter）に投稿しました。これらのサービスをすでに利用開始しているAWSアカウントでは現時点で引き続き利用できますが、未利用のAWSアカウントでは新規利用開始ができないようです。 終了されるサービスの代替情報などを（私見ですが）まとめます。 終了すると言及されたサービスは？ 以下です（Jeff Barrの投稿での記載順）。 S3 Select CloudSearch Cloud9 Sim
新規プロダクト開発にサーバレスアーキテクチャを採用 Works Human IntelligenceはERP市場 人事・給与業務分野 シェアNo.1[1]を獲得しているエンタープライズ向け統合人事システム「COMPANY」の開発、販売、サポートを行っている企業である。Works Human Intelligenceによると、COMPANYは国内大手法人の3社に1社にあたる約1200社が導入しており、約510万人の人事データを管理している。同社ではこの膨大な人事データを活用し、より顧客にとって価値のある製品や機能の開発に取り組んでいる。その一つが齋藤氏の紹介する「COMPANY Human Capital Insight（HCI）」である。HCIはCOMPANYやその他外部のシステムと連携し、人事データなどのあらゆるデータを集約。そのデータを元に男女間賃金差異や女性管理職比率などの人的資本に
New – Amazon DynamoDB lowers pricing for on-demand throughput and global tables | Amazon Web Services
AWS Database Blog New – Amazon DynamoDB lowers pricing for on-demand throughput and global tables Over 1 million customers choose Amazon DynamoDB as their go-to NoSQL database for building high-performance, low-latency applications at any scale. The DynamoDB serverless architecture eliminates the overhead of operating and scaling databases, reducing costs and simplifying management, allowing you t
【セッションレポート】同期という思い込み 世界は非同期で構成されている（AWS-56）#AWSSummit | DevelopersIO
はじめに AWS Summit Japan 2024 に参加しました。 「同期という思い込み 世界は非同期で構成されている」のセッションレポートです。 セッション概要 サーバーレスサービスである API Gateway や Lambda を使って REST API を構築されている方は多いのではないでしょうか。サーバーレスで REST API をつくると、サーバーの確保作業や設定の手間から解放され、デフォルトの可用性が与えられるなどメリットは大きいです。そして、その効果を最大化させるのが非同期アーキテクチャです。サーバーの呪縛から解放されるサーバーレスの真価はここにあります。このセッションではさまざまなサーバーレスの非同期パターンを紹介するとともに、実際の顧客事例においてどのようなユースケースで非同期系サーバーレスが利用されているかをご紹介いたします。 セッションスピーカー：下川 賢介 所
[プレビュー] AWS App Studio がプレビューリリースされたのでセットアップしてアプリ作成とテスト環境への公開までしてみた | DevelopersIO
[プレビュー] AWS App Studio がプレビューリリースされたのでセットアップしてアプリ作成とテスト環境への公開までしてみた いわさです。 2024 年 7 月 10 日 にAWS Summit New York が開催されています。 今年はバンバンアップデートが紹介されていてすごいですね。 そんな中、AWS App Studio という新サービスがパブリックプレビューでリリースされました。 アナウンスはこちら。 ちょっと触ってみたのですが、ノーコード・ローコードの類のアプリケーション開発サービスです。 今回はセットアップから適当なアプリの作成までを行ってみたのでその様子をまずは紹介します。 実際に思い通りのアプリを作成したり、何が出来て何が出来ないのかを知るにはもう少しアプリを作ったり壊したりすべきですが、まずはサービスの使い方のイメージが紹介出来ればと思ってます。 AWS A
![[プレビュー] AWS App Studio がプレビューリリースされたのでセットアップしてアプリ作成とテスト環境への公開までしてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8753c8c30c6462c9c22efd84d152141fd189e38b/height=288;version=1;width=512/https%3A%2F%2Fimages.ctfassets.net%2Fct0aopd36mqt%2Fwp-thumbnail-cd6bca3e0ea12bce10d34b5c73117202%2Fe7dcb00f209227795370c8effc01051d%2Faws-eyecatch.png)
当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』の50日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。今回のテーマはワークフローを制御する『AWS Step Functions』です。 AWS Step Functionsの概要 AWS Step Functio
Amazon Bedrockで発話での注文から、商品名と数量を抽出し、商品マスタの商品名と突合してみた[AIチャットボット] | DevelopersIO
Amazon Bedrockで発話での注文から、商品名と数量を抽出し、商品マスタの商品名と突合してみた[AIチャットボット] はじめに Amazon Connect、Amazon Bedrock、Whisper APIを組み合わせて、電話で発話された注文内容（商品名と数量）を認識し、商品マスタと突合する方法とその精度を検証しました。 精度の確認方法は、発話された商品名と数量がAWS Lambdaのログで発話通りに認識されているかを確認しました。 利用シーンとしては、電話での注文を無人対応するケースです。注文をヒアリング後は、自動で発注、もしくはオペレーターにエスカレーションが考えられます。 電話での対話の流れは、以下のようなイメージです。 発話した商品名と商品マスタの商品名を、生成AIを利用して突合することができれば、自動で発注が実現できます。 注文内容を復唱後、ユーザーには発話やプッシュ
![Amazon Bedrockで発話での注文から、商品名と数量を抽出し、商品マスタの商品名と突合してみた[AIチャットボット] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5c43686d7e841202670b0e2bee68b067c662d6b0/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F04%2F2024-04-15-cm-hirai-1200x630-1.png)
バウンスマネジメント用のメールアドレス帳をAWS移行しました - LIVESENSE ENGINEER BLOG
概要 背景 移行 移行前の構成 (MySQL, PHPバッチ) 移行後の構成 (DynamoDB, Kinesis) 移行の段取り 詳細 ストリーミング処理 APIサーバー APIクライアント 移行を終えて 最後に 概要 技術部インフラグループの春日です。 2024年上期現在、弊社ではオンプレデータセンターで稼動しているサーバーのクラウド移行を進めており、 2024年1Qの時点で大半はAWSへの移行が完了しています。 本記事では社内で古くから運用し続けているメール配信サーバーのバウンスマネジメントに使用するアドレス帳データをクラウド移行した件について振り返ります。 メール配信サーバー自体のクラウド移行に関しては本記事では触れません。 以降の章ではメール配信サーバーを自前で運用している背景やクラウド移行前後での構成比較、および移行後のシステム詳細について触れていきます。 なお記事内ではEメー
Announcing Toasty, an async ORM for RustOctober 23, 2024 Toasty is an asynchronous ORM for the Rust programming language that prioritizes ease of use. Toasty supports SQL and NoSQL databases, including DynamoDB and Cassandra (soon). Toasty is currently in the early stages of development and should be considered a "preview" (not ready for real-world usage yet). It also isn't released on crates.io y
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事はAWS Jr.Champions Adventcalendar 2024の1日目の記事です。 はじめに NTTデータの西川です。 普段は公共部門の技術集約組織でクラウドの導入支援に従事しています。 2024年12月2日から6日にかけてラスベガスでre:Invent 2024が開催されます。私は現地参加できませんが、ちょうど1年前に行われたre:Invent 2023の公共部門に関連するセッション動画を改めて見ていました。 今回は振り返りがてら気になるトピックを抜粋してブログにまとめてみました。あわせて、セッション内で登場し、欧米
変数と JSONata を使った AWS Step Functions での開発者エクスペリエンスの簡素化 | Amazon Web Services
Amazon Web Services ブログ 変数と JSONata を使った AWS Step Functions での開発者エクスペリエンスの簡素化 本記事は、2024 年 11 月 22 日に公開された “Simplifying developer experience with variables and JSONata in AWS Ste…”を翻訳したものです。 この投稿は、Uma Ramadoss (サーバーレス担当 Principal Specialist SA) と Dhiraj Mahapatro (Amazon Bedrock 担当Principal Specialist SA) によって執筆されたものです。 AWS Step Functions において、変数と JSONata データ変換が導入されました。変数により、開発者は 1 つのステートでデータを割り当て、
Introducing an enhanced local IDE experience for AWS Step Functions | Amazon Web Services
AWS Compute Blog Introducing an enhanced local IDE experience for AWS Step Functions This post written by Ben Freiberg, Senior Solutions Architect. AWS Step Functions introduces an enhanced local IDE experience to simplify building state machines. Workflow Studio is now available within Visual Studio Code (VS Code) through the AWS Toolkit extension. With this integration, developers can author and
Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた | DevelopersIO
Amazon Connect フローでの離脱箇所と放棄呼をStep FunctionsとLambdaを組み合わせてDynamoDBに保存してみた はじめに Amazon Connectのフローで離脱箇所や放棄呼をAmazon Kinesis Data Streams（以降、KDS）とAWS Step Functions、AWS Lambdaを用いて取得し、Amazon DynamoDBに保存する方法をまとめました。 本記事の内容は以下のような用途に役立ちます。 IVRでの途中離脱箇所を知りたい オペレーターにつながる前に切られる放棄呼の有無を知りたい Connectは、各通話ごとに問い合わせレコード（Contact Trace Record, CTR）として通話記録を保存します。 Connectでは、KDSに問い合わせレコードを出力できます。通常は問い合わせレコードは、どのフローで切断され
目的 クラスメソッドタイランドの清水です。 本記事では Amazon Athena を使って、S3 と MySQL を JOIN するクエリを発行します。 大まかに以下のような構成になります。 前提条件・知識 AWS アカウントを作成済み IAM Role, Policy, Cloud9 の環境を作成できる権限がある 使いたいAWS アカウントのリージョンで cdk bootstrap コマンドを実行済み aws cli の使い方 手順 環境構築 Cloud9 を使って CDK をデプロイしたり、必要なコマンドを実行するための環境を構築します。 もし手元に環境があればこの工程はスキップしても問題ありません。 まずは Cloud9 の環境が使う EC2 インスタンスにアタッチするロールを作成します。 ロールには以下のポリシーを関連付けます。 ⚠️ 最小権限ではありません。実際のプロジェクトで
Terraform v1.10 からは S3 Backend の State Lock に DynamoDB が必要なくなる
terraform { backend "s3" { bucket = "tf-s3-state-lock-example-tfstate" key = "terraform.tfstate" + use_lockfile = true # これだけで State Lock が有効化される - dynamodb_table = "example-state-lock-table" # こっちは不要 } } この機能は v1.10 から実験的に導入されます。 そしてこの機能追加に伴い、従来の DynamoDB テーブルを使用した State Lock の機能は将来的に削除されます。 In a future minor version the DynamoDB locking mechanism will be removed. github.com/hashicorp/terraform/w
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
FractalDBを内製するに至った背景とサービス設計概要
AWS Summit New York 2024での生成AI関連の新発表まとめメモ - Qiita
AWS Step Functions で JSONata を使用するデータ変換方法と具体例の紹介 - Qiita
アプリケーションの動作を担保するテストをどう書くか - JX通信社エンジニアブログ
SQLite-on-the-Server Is Misunderstood: Better At Hyper-Scale Than Micro-Scale
フォロー新着: 多様なサービスに対応したタイムラインシステムの技術的変遷 - dwango on GitHub
Terraform職人のためのOpenTofu再入門2024 - Qiita
株式会社IVRyに入社しました - 地方エンジニアの学習日記
Aurora MySQLで実現する運用ユーザー権限の最適化と秘密情報保護 - ZOZO TECH BLOG
PowerPoint Presentation
AWSが2024年7月25日に新規利用終了したサービスと代替 - Qiita
AWS CDKでサーバレスのローカル開発環境を構築した理由とは？ デメリットの解消方法と実運用で直面した課題
AWS入門ブログリレー2024 〜AWS Step Functions編〜 | DevelopersIO
Announcing Toasty, an async ORM for Rust | Tokio - An asynchronous Rust runtime
公共部門の観点で振り返るAWS re:Invent 2023&ソブリンクラウド - Qiita
Athena で S3 と MySQL を JOIN する | DevelopersIO