ECSを使ってJob Observerパターンを実践した時の苦労話

re:Invent2018のカオスエンジニアリングについてのセッション、AWSのモダンアプリケーションに対するカオスエンジニアリングにて、Gremilinというサービスについての紹介とデモがありました。 サービスについて気になったので、本記事ではドキュメントをみながらGremlinについてまとめてみます。 Gremlinの概要 Gremlinはシステムの弱点を見つけるためにシステムに障害を注入するためのサービスです。 インフラもしくはアプリケーションレベルでの障害を注入することができます。 Gremlinは、システムの弾性を得るためのカオスエンジニアリングの実践を、安全、シンプル、セキュアに提供します。 Gremlinでどんな障害を起こせるのか？ 大きく以下の3つのカテゴリがあります。 Resource Gremlins Network Gremlins State Gremlins 各攻

20190828 AWS Black Belt Online Seminar Amazon Aurora with PostgreSQL Compatib...

ジョブキューイングシステムをどうするかでチームのリーダーとやりあって考えたことがあるのでまとめておく。 Rails で使うジョブキューイングシステムの技術選定で、リーダーは Amazon SQS 推し（レガシーシステムで SQS を使っている）、自分は Sidekiq 推しだった。前職時代に Sidekiq を使ってトラブルに遭遇したことはなかったし、とても簡単に使えるので Sidekiq で十分だと思っていた。 Sidekiq は GitHub でのスター数は 9000 オーバーで、 Rails の ActiveJob バックエンドとしては事実上のデファクトスタンダードだといえると思う。ググれば情報がいっぱい出てくるし、チームメンバーもリーダー以外は全員 Sidekiq の使用経験があった。 GitHub - sidekiq/sidekiq: Simple, efficient back

Developers Summit 2018 FUKUOKA 登壇資料

The document provides an overview of an AWS webinar on CloudFormation that will cover: 1) An introduction to CloudFormation and how to get started with it. 2) Development, testing, deployment, and operation methods for CloudFormation. 3) The webinar is intended for those new to CloudFormation or already using it to learn about useful CloudFormation features and efficient automation methods in 2020

CEDEC 2018 の講演資料です https://2018.cedec.cesa.or.jp/session/detail/s5abc66488c745

はじめに 皆さまがシステムを運用にするあたり、様々な不安を抱えていらっしゃると思います。 そういったよくある「不安」を書き出し、解消するための対策や参考ページなども記載しましたので、本記事をご覧いただいている皆さまには抱えている不安を淡々と潰していただければと思います。 【ケース1】大量のアクセスによる高負荷への不安 近日中に Web サイトの広告を出す予定だが、現状のままで増加するアクセスに対応できるのか不安がある 以下のような対策が考えられます ELB（Elastic Load Balancing）を使用し、Webサーバー（Amazon EC2）の複数台構成にする アクセス数や負荷に応じて自動で Webサーバー（Amazon EC2）の台数を増やす（スケールアウト）、減らす（スケールイン）ために AWS Auto Scaling を使用する ELB の暖機申請（予め AWS へ連絡して

gumi では監視ポイント1200以上に及ぶ大規模なインフラ環境を5名のインフラエンジニアが支えています. 2010 年から 8 年間, AWS 活用の最善手を模索し続け, 拡大する事業に合わせながら社内のインフラ提供チームを改善し続けてきた経験をもとに, AWS 活用の要がオペレーションのコード化であることや, それをなす技術や組織の在り方などを解説します.

こんにちは、坂巻です。 Tenable.ioを利用した脆弱性診断に関するエントリです。 AWSの適正利用規約では、許可のない脆弱性診断等は禁止されており、事前に申請が必要となります。AWSへ申請を行ってから、許可まで時間がかかりますので余裕をもった対応が必要となります。 時間をかけずに脆弱性診断を行いたいと思った事はありませんか？ AWS Marketplaceに公開されているNessusScannerを利用すれば、AWS事前承認済みのため、すぐに脆弱性診断を行うことができます！ 本エントリは15分位で試せると思いますのでTenable.ioに触ったことがない方はぜひやってみてください。 スキャン結果はTenable.ioにアップロードされ、そちらから確認することになりますので、Tenable.ioのアカウントが必要になります。アカウントがない場合はこちらよりトライアルアカウントを作成して

Trusted Advisor AWS Trusted Advisorは、コスト、パフォーマンス、セキュリティ、耐障害性、サービスの制限について、アドバイスしてくれるサービスです。 サポートプランによって、チェック項目が異なります。 セキュリティについては、セキュリティグループの無制限アクセス、S3バケット許可などをチェックしてくれます。 セキュリティについては、赤の指摘項目は0にしましょう。 insightwatch insightwatchは、弊社が提供するサービスです。 AWSアカウントが、ガイドラインに沿ったセキュリティのベストプラクティスで運用されているかチェックします。 複数アカウントをチェックしやすいため、たくさんのアカウントを運用されているかたに特にお勧めします。 どなたでも無料でご利用いただけます。 IAMの見直し、定義 IAM のベストプラクティスに基づいた見直しを行い

AWS が公開している「アーキテクチャに関するベストプラクティス」、Well-Architected (W-A) フレームワークには、運用（オペレーション）に関する記述も当然あります。 AWS Well-Architected – 安全で効率的なクラウド対応アプリケーション 「運用上の優秀性（Operational Excellence）」と銘打たれているそれは、フレームワークを支える5つの柱のうちのひとつであり、「ビジネス価値を提供するためのシステムの実行とモニタリング、および継続的にプロセスと手順を改善することに焦点を当て」たものと説明されています。AWS を利用している組織の運用担当者であれば、いちどは目を通しておきたいものです。 ・・・なのですが、 少々残念なことに、この「運用上の優秀性についてのホワイトペーパー」は、'18/06 時点で英語版しかありません。A4 25ページにわた

Sapporo.aws vol.2 https://sapporo-aws.connpass.com/event/85935/

サーバレスアーキテクチャで構築する際の認証認可、アクセス制限のパターンを何となく説明しています

Rails Developers Meetup #7 東京会場 https://techplay.jp/event/631428

忙しい人のための Use AWS WAF to Mitigate OWASP’s Top 10 Web Application Vulnerabilities メモAWSAWSWAFOWASP_Top_10 こんにちは、ひろかずです。 2017年7月に「Use AWS WAF to Mitigate OWASP’s Top 10 Web Application Vulnerabilities」が公開されました。 日本語翻訳されていないので、なかなか読めていない方もいると思います。 リリースから少し時間が経ってしまいましたが、読了したので一筆書きます。 どんなドキュメントか OWASP Top10 で上っている各項目についての解説と、各項目についてAWS WAFでどのような対応ができるかを記載したもの。 Conditionを作る上でのアドバイスも記載されている。 参照ドキュメント Use A

本スライドは「Google Cloud Community fes @ Google Cloud Next'17 Tokyo」の登壇資料です。 Kubernetesとは? オープンソースのコンテナオーケストレーションシステム 似た用途で使われることがあるもの: Docker Swarm, Amazon ECS(EC2 Container Service), Kontena, Mesos, Rancher, ... kube-awsとは? Production-Ready(本番運用を目的とした)KubernetesクラスタをAWS上に構築するためのオープンソースのツール Kubernetes Incubatorの１プロジェクト 似た用途で使われることがあるもの: ツール: kops, kargo, Tectonic マネージドサービス: GKE(Google Container Engine

たいした諸事情なわけでもないですが、だいぶ更新を空けてしまいましたので、ささやかなことからコツコツと書いていこうかと思います。 今回は、ALB(Application Load Balancer)の運用で得られた豆知識の記録です。 暖機運転の豆知識 申請の必要性 ALBはトラフィックが増加しても自動的に拡張して対応してくれますが、急激に増加すると拡張が間に合わずにキャパシティオーバーとなって、ALBがエラーを返してしまう可能性があります。そのため、事前にこのくらい跳ね上がりますので暖めて馴染ませておいてください。ってのが暖機運転（Pre-warming）です。 基本的には事前に申請して扱う仕組みですが、想定よりトラフィックが多くなり、エラーが多発し、数十分・数時間も解決しない場合もこの申請をすることがあります。この場合、ALBが自動拡張してくれない ＝ 何か他に問題がある 可能性が高いので