Mocking Terraform AWS using Docker
Thoughts on my own. Posts not reflect the opinions of my past or current employers. More about me: diegopacheco.github.io Terraform is a good tool for infrastructure provisioning. However to test terraform it could be pretty difficult. So you will create some terraform scripts and upload to the cloud a run some slow Jenkins job? and if your syntax is wrong? Well, this process can be very painful.
Amazon RDS Performance Insights is now generally available | Amazon Web Services
AWS Database Blog Amazon RDS Performance Insights is now generally available Today we are pleased to announce general availability of Performance Insights. Already available since October 2017 as an open preview with Amazon Aurora with PostgreSQL compatibility, Performance Insights makes it easy to view the load on an Amazon RDS database. Using Performance Insights, you can more easily identify bo
Setting Up an Envoy Front Proxy on Amazon ECS | Amazon Web Services
AWS Compute Blog Setting Up an Envoy Front Proxy on Amazon ECS NOTICE: April 17, 2023 – This post no longer reflects the best guidance for configuring a service mesh with Amazon ECS and its examples no longer work as shown. Please refer to newer content on Amazon ECS Service Connect or AWS App Mesh instead. This post was contributed by Nare Hayrapetyan, Sr. Software Engineer Many customers are exc
AWSネットワーク構成図の手動更新が辛い？よろしい、ならばCloudMapperだ
株式会社ビズリーチで、SREエンジニアとして勤務しているmassです。2017年4月に入社してから、HRMOSというサービスのAWSのインフラを管理したり、アーキテクチャの設計・構築をしたりしています。 今回は、入社してから半年経ったらいつのまにかサービスのネットワーク管理者になっていて、そこで発生した問題と、それを解決するのに非常に役立ったCloudMapperというOSSを紹介したいと思います。 発生した問題 私がネットワーク管理者を引き継いだ段階では、ネットワーク構成図が作成されておらず、以下の問題が発生していました。 ロードバランサーを止められない 用途不明のロードバランサーが存在したため、停止を検討した。 しかし、どのリソースから利用されているか見えず、不用意に停止できなかった。 用途不明なEC2インスタンスの調査ができない AWSからメンテナンス通知が来た対象が用途不明なEC2
AWS BlackBelt AWS上でのDDoS対策
1. 【AWS Black Belt Online Seminar】 AWS 上での DDoS 対策 アマゾン ウェブ サービス ジャパン株式会社 セキュリティソリューションアーキテクト 桐山 隼人 2017.09.05 2. @hkiriyam1 氏名: 桐山隼人 役割: セキュリティソリューションアーキテクト 業務: 顧客提案、ソリューション開発、市場開拓 プロフィール: 外資系総合IT会社の開発研究所にて開発エンジニア、 セキュリティベンダーにて技術営業を経た後、現職。 MBA, PMP, CISSP, CISA, セキュリティ関連特許多数。 クラウドセキュリティに関するセミナー登壇・記事寄稿など。 自己紹介 RSA Conference 2017 APJ 「Cloud Security Strategy」 Session Speaker AWS Startup Security T
Testing Distributed Systems
Skip to the content. List of resources on testing distributed systems curated by Andrey Satarin (@asatarin). If you are interested in my other stuff, check out talks page. For any questions or suggestions you can reach out to me on Twitter (@asatarin), Mastodon (https://discuss.systems/@asatarin) or LinkedIn. Table of Contents Overview of Testing Approaches Research Papers Bugs Testing Fault Toler
S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介 - クックパッド開発者ブログ
インフラストラクチャー部セキュリティグループの水谷(@m_mizutani)です。 クックパッドでは現在セキュリティ監視の高度化に取り組んでおり、その一環としてセキュリティ関連のログ収集およびその分析に力を入れています。ログ収集の部分では可用性などの観点からAWSのオブジェクトストレージサービスであるS3に一部のサービスやサーバのログをまず保存し、後から保存されたファイルを読み込んで分析などに利用しています。分析のためにS3に保存したファイルを前処理する方法としてAWS Glueなどを用いたバッチ処理がありますが、到着したログをなるべくストリームデータのように扱いたい場合もあります。特にセキュリティ関連のログでは以下のようなユースケースで利用しています。 アラートの検出: ログを検査してその中から危険度の高いと考えられるログを探し出し、アラートとして発報します。アラートの具体的な例としては
Amazon ECS ScheduledTaskで実現するスマートなDockerベースのバッチ実行環境 - コネヒト開発者ブログ
こんにちは。インフラエンジニアの永井(shnagai)です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのScheduledTaskを使ってDocker駆動な環境で構築した話です。 他の方法との比較やどのように実現しているのかについて紹介したいと思います。 今回対象とするバッチの種類 今回対象とするバッチ処理は、俗に言うスケジュール系のバッチ処理で、毎日00時00分や10分毎にサイクル起動等、事前に定義した時間に正確に動くことが期待されているものです。 ※ジョブキュー形式のバッチだと、AWS BatchやEBのWorkerもしくは、SQS + Cron on EC2で処理するほうがスマートかと思います。 実行方式の選定 上記要件のバッチを実現する基
AWS で Kubernetes クラスタを構築して学ぶワークショップ「aws-workshop-for-kubernetes」 - kakakakakku blog
Kubernetes を学ぶため，AWS から公式に公開されているワークショップ資料「aws-workshop-for-kubernetes」を試した．Kubernetes を学ぶためのコンテンツが網羅的にあるため，今回はワークショップの紹介と，実際に試した一部のコンテンツをまとめたいと思う．既に Kubernetes を詳しく知っている人であれば早く進められるかもしれないけど，Kubernetes 初心者だと，理解しながら進めることになるので，全コンテンツを終えるのはかなりの時間が必要になる気がする．ワークショップ資料は全て GitHub に公開されていて，誤植などがあれば，プルリクエストを送ることもできる． github.com なお，ワークショップ資料は AWS Technical Evangelists の「グプタ先生」がメインで作成されていて，それだけでもうモチベーションが上がる
AWS Certificate Manager (ACM)のCT(Certificate Transparency)をオプトアウトする | DevelopersIO
現時点ではAWS Management Consoleではオプトアウトに対応していないため、設定はAWS CLIなどACMのAPIを呼ぶ仕組みで対応します。今回はAWS CLIで設定します。 既存の証明書でCTをオプトアウトする AWS CLIで証明書のオプションを変更するaws acm update-certificate-optionsコマンドの--optionsオプションで指定します。証明書をARNで選択するので事前に控えておきましょう。 $ aws acm update-certificate-options \ --certificate-arn arn:aws:acm:us-east-1:XXXXXXXXXXXX:certificate/XXXXXXXXXXXX \ --options CertificateTransparencyLoggingPreference=DISAB
クックパッドと分散トレーシング - クックパッド開発者ブログ
こんにちは、技術部の Taiki (@taiki45) です。 近年の Web サービスの開発ではマイクロサービスに代表されるように分散アーキテクチャが採用されるようになってきました。大規模でも素早いプロダクト開発をするために、クックパッドでもマイクロサービスを採用し分散アーキテクチャへの移行を進めています*1。今回は、そのような分散アーキテクチャを利用したシステム構築において必須のコンポーネントになりつつある分散トレーシングについて、クックパッドでの事例を紹介したいと思います。 分散トレーシングとは マイクロサービスのような分散アーキテクチャでは、個々のサービス同士の通信が複雑になるため、モノリシックアーキテクチャと比較して、システム全体としての振る舞いを把握することが難しくなります。これはプロダクト開発においては、障害発生時の原因究明が難しくなったり、あるいはシステム全体でのパフォーマ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Using AWS Batch to Generate Image Thumbnails for Voyager
NAIP on AWS
GitHub - duo-labs/cloudmapper: CloudMapper helps you analyze your Amazon Web Services (AWS) environments.
【SecurityJAWS】Kibana Canvasで魅せる！AWS環境における脅威分析ユースケース
How Esri Optimizes Massive Image Archives for Analytics in the Cloud - ABD402 - re:Invent 2017
GitHub - b04zdotcom/serverless-graphql-api: Serverless GraphQL API using Lambda and DynamoDB, bundled with webpack
GitHub - localstack/localstack: 💻 A fully functional local AWS cloud stack. Develop and test your cloud & Serverless apps offline
ざっくりAWS - AWSの料金を日本円でざっくり
Real-time Recommendations using Spark Comcast Labs
