よく似てるサービスと機能、いっぱいありますよね？例えば、API キーやパスワードを保存するには Parameter Store を使うべきか、Secrets Manager を使うべきか…ETL のオーケストレーションを Step Functions でやるべきか、あるいは… そんな選定の時に出る疑問を、徹底的な解説で解消します！ ユースケース別で解説するので、こういうときにそもそも有効なサービスはどれか、についても学べるかもしれない！ アマゾン ウェブ サービス ジャパン 合同会社 スタートアップ事業本部 ソリューションアーキテクト Torgayev Tamirlan 2018 年、株式会社サイバーエージェントに新卒入社し、2020 年からアマゾン ウェブ サービス ジャパンのソリューションアーキテクトとして国内のスタートアップ企業を支援。データ分析、Infrastructure as

https://aws-startup-community.connpass.com/event/241721/ 2022/05/10(火) 19:30 〜 21:30 「スタートアップ事例祭り 〜監視・モニタリング・セキュリティ編〜」

Amazon Web Services ブログ Amazon OpenSearch Service (Amazon Elasticsearch Service の後継サービス) でのインデックスステート管理の自動化 本記事は Amazon Web Services, Big Data and Analytics Consultant である Gene Alpert、DevOps Consultantである Satya Vajrapu によって投稿されたものです。 時系列データでは、過去のデータより直近 (過去4時間〜1日) データへアクセスするのが一般的です。多くの場合、さまざまなデータワークロードをサポートするために、複数のインデックスを管理する必要があります。これにより、インデックスのライフサイクルを管理するためのカスタムソリューションが必要となります。インデックスが多くなるにつれて、

Amazon Web Services ブログ Amazon CloudWatch を活用した Amazon Kinesis Data Firehose 配信ストリームの状態の把握 本記事は Amazon Web Services, Startup Solutions Architect Manager である Alon Gendler によって投稿されたものです。 世界中で生成されるデータの量の増加がますます加速しています。データは、IoT、広告、ゲーム、セキュリティ監視、機械学習 (ML) など、増え続けるユースケースをサポートするために生成されています。これらのユースケースの発展がストリーミングデータの量と速度の両方を駆動させた結果、企業はデータをニアリアルタイムで取得、処理、変換、分析、さまざまなデータストアに取り込む必要が出てきています。 Amazon Kinesis Data

データウェアハウスやログ分析、機械学習といった進化する分析環境に柔軟に対応する 「データレイク」は今やデータ活用に欠かせないものとなりました。 一方で、現場では以下のような疑問や課題も多く出てきているのではないでしょうか？ 「データレイク向けの関連サービスとか多くてなんかよくわからない」 「最初からデー…

スタートアップのお客様にAWS Elasticsearch ServiceやSIEM on AWSの概要をご理解いただき、ログ分析に活かしていただくためのセミナーです。 以下のようなお悩みを抱えている方が対象です: ・Amazon GuardDuty や Amazon Virtual Private Cloud(VPC) Flow Logs、AWS CloudTrail などでログ収集はしているが、活用できていないと感じる ・アプリケーションログのうまい活用方法が分からない ・パフォーマンス調査やトラブルシューティングをもっと楽にしたい

コンテナでログをどう取得すればいいの？そもそもどういうログがあるのか？ ログの取得パターンから活用方法まで、 @prog893 が選定のためのヒントとサンプルアーキテクチャで紹介します。

はじめにこんにちは、Finatext で保険事業のプロダクト開発をしている @toshipon です。今回は我々の一部の現場で取り組んでいる、ECS Fargate 上で利用する環境変数を、 S3 bucket を使って運用しているお話を紹介いたします。 概要ECS Fargate 上で、アプリケーションコードと同期的に環境変数の更新を行いたい。 そのために、mozilla/sops というファイル暗号化ツールを利用して暗号化した環境変数ファイルをアプリケーションコードのリポジトリで管理し、CI/CD ( Codepipeline ) によるデプロイのタイミングで、環境変数ファイルを復号してS3にアップロードし、ECS task上で S3 から環境変数を参照する仕組みを紹介いたします。 解決したい課題環境変数更新とアプリケーションコードデプロイのタイミングが非同期であることECS Farg

PDF版: https://share.getcloudapp.com/E0uqmebA (リンク踏みたい方向け) 本セッションでは、タップル誕生というサービスのオンプレ環境からAWS Fargateになるまでのストーリーと技術的なチャレンジについて紹介している。歴史的背景、移設前の構成を説明し、EC2、ECS/EC2、ECS/Fargateに継続的に、段階的にアーキテクチャを変えて行ったことについて解説する。 トークの後半では、Fargateのメリットデメリット、ECSの落とし所、スケーリング設計に役立つアドバイス、クラウド移設で気を付けるべきこと、ECSの最新機能の検証結果についても触れる。 Speaker Profile: 株式会社サイバーエージェント Torgayev Tamirlan 氏 株式会社サイバーエージェント 技術本部 サービスリライアビリティグループ所属 クラウド技術ア

お久しぶりです。令和初の投稿です。ブログ始めました宣言をして満足し、ここを放置していました、プログラミングヤクザです。仕事の話をしようにも、最近はブログにして面白いかつ外に発信しても怒られないネタがないので、趣味の話をさせてください。 この一年半年間の振り返りにお付き合いください。機材の選定方法や独学でカメラを学んでいる方法についても紹介しています。※機材の画像をクリックするとAmazonに飛びます。 EOS 80D レンズキット EF-S18-135mm F3.5-5.6 IS USM 中学校のころから、親戚、友達が撮った写真をいじるのが好きでした。Photoshop CS4から触っていて、経験年数だけでいうと本業より長いです。UIは親の顔よりも見た。他人の写真ばかり見ていくと、俺ならもっと良い写真が撮れるという、謎の自信が溢れ出てきます。そして一眼レフに手を出してしまいました。2017

EC2 Auto-ScalingでECS組んでますか？エラーレート高いですか？救ってあげてもいいですか？ サイバーエージェント技術本部インフラエンジニアの@prog893です。今回も「AWA」という音楽ストリーミングサービスのインフラの改善について紹介したいと思います。前回の記事では、データベースの復旧時間が12時間から55分まで短縮できた話を紹介しましたが、今回は楽曲ダウンロード及びストリーミングレイヤーでのエラー率を大幅に改善したことについて述べたいと思います。 楽曲ダウンロード及びストリーミングの構成 まず、楽曲ダウンロード及びストリーミングの構成概要について紹介します。 音楽ダウンロード及びストリーミングの構成概要 楽曲配信サーバ(以降Track Proxy)はコンテナとして実行しAWS Elastic Container Service（ECS）で運用しており、ECSのバックエン