AWS、わざとクラウド障害を起こす新サービス「AWS Fault Injection Simulator」提供開始。カオスエンジニアリングをマネージドサービスで
AWS、わざとクラウド障害を起こす新サービス「AWS Fault Injection Simulator」提供開始。カオスエンジニアリングをマネージドサービスで Amazon Web Services（AWS）は、わざとクラウドの障害を起こすことでアプリケーションの耐障害性を検証できる新サービス「AWS Fault Injection Simulator」の提供を開始したと発表しました。 AWS Fault Injection Simulatorを用いることで、サーバの終了や遅延、データベース障害といった望みの障害を、あらかじめ定められたテンプレートを用いて迅速に設定し、管理しつつ実行できます。 これにより、クラウド上で稼働しているアプリケーションが、フェイルオーバーや自動ロールバック、自動停止といった障害発生時の処理を適切に行えるかどうかを試験できます。 アプリケーションの耐障害性などを
【コードでインフラ定義】CDKという異次元体験をさくっとやるのに便利なAWS公式Workshopの紹介 | DevelopersIO
CDKを最初に試して見るには非常に便利なCDK Workshopの紹介です。ぜひこれでCDKの奥深い新鮮な世界に入門いただければ。 「俺もそろそろ乗らなくては、この、ビッグウェーブに！！」 皆さん、CDK触っていますか？DevelopersIOにも、CDK ｜ 特集カテゴリー で、既に20以上のブログがあがっていたり、その人気はうなぎのぼりです。 CDKとは一口で言えば「コードでインフラを定義する」ものです。「いやぁ、これ楽。素晴らしい」という声を同僚からよく聞くので、自分も早速試してみようとしたところ、CDK Workshopなるものを発見し、手を動かして学ぶには凄くわかりやすく良い教材だったので、その内容を紹介します。 CDK実行するための環境定義 LambdaとAPI Gatewayを利用した簡単なサービスの公開 モジュールの作り方 クラス構造の解説 デバッグ方法 モジュールの利用方
Amazon Builder's Libraryを読んでみた - たけぞう瀕死ブログ
昨年のre:Invent 2019で発表されたAmazon Builder's Libraryを一通り読んでみました。通勤電車で読んでいたのですが、途中で冬休みに突入してしまい少し時間がかかってしまいました。途中で日本語にも対応していることに気付いたのですが、折角なので全て英語で読んでみました。 aws.amazon.com Amazonにおける大規模分散システムの開発で得られたノウハウが公開されているのですが、昨今マイクロサービスの普及もあり、Amazonのような規模でなくとも分散システムに関するノウハウが重要になりつつあります。もちろんAWSのインフラや規模感に依存する部分も多々見られるものの、大規模な分散システムを運用した上で得られる知見というのは得難いものですし、一般論として参考になる部分も多く、とても有用なコンテンツだと思います。 全体を通して共通して述べられていたのは以下のよう
運用の可視性を高めるために分散システムを装備する
大学卒業後に Amazon に入社したとき、最初のオンボーディングの練習の 1 つは、amazon.com ウェブサーバーを開発者のデスクトップで起動して実行することでした。最初の試行はうまくいきませんでした。何を間違えたのかすらわかりませんでした。親切な同僚が私に、ログを見て何が間違っているのかを確認するように提案しました。彼は、そのために「ログファイルを猫にする」べきだと言いました。 私は、彼らが何らかのいたずらをしているか、私には理解できない猫に関する冗談を言っているのだと確信しました。私は大学で Linux のみで、コンパイル、ソース管理、およびテキストエディタを使用しました。そのため、「cat」が実際に端末にファイルを出力するコマンドであり、別のプログラムにフィードしてパターンを探せるものだとは知りませんでした。 同僚に、cat、grep、sed、awk などのツールを教えてもら
AWS Service Health Dashboard - Amazon S3 Availability Event: July 20, 2008
Amazon S3 Availability Event: July 20, 2008 We wanted to provide some additional detail about the problem we experienced on Sunday, July 20th. At 8:40am PDT, error rates in all Amazon S3 datacenters began to quickly climb and our alarms went off. By 8:50am PDT, error rates were significantly elevated and very few requests were completing successfully. By 8:55am PDT, we had multiple engineers engag
AWSの失敗談 - しらなくてミスした話 - Qiita
お疲れ様です。 株式会社アカツキでサーバエンジニアとして働いている申です。 はじめに AWSを使用する上で失敗（ミス）した話と、それの原因及び対処方法などを共有し、みなさんは私と同じ過ちを起こさないようにすることが目的です。 Single-AZよりMulti-AZのほうが重い 概要 Single-AZとMulti-AZの両方性能テストする機会があり、Single-AZに比べてMulti-AZの方が性能が悪くていろいろ調べました。（特にコミット遅い） 原因 別AZ間でマスター・スレーブを配置するMulti-AZ構成では、AZ間で通信のレイテンシーが発生するためです。 Multi-AZのRDSにおいて、AZ間のデータレプリケーションは、非同期ではなく、 同期レプリケーション です。 よって、マスターDBに書き込み及びコミットが発生した場合、スレーブDBに書き込むための通信が発生し、それが完了す
Amazon Neptune が東京リージョンに対応しました。 | Amazon Web Services
Amazon Web Services ブログ Amazon Neptune が東京リージョンに対応しました。 みなさん、こんにちは。アマゾン ウェブ サービス、プロダクトマーケティング エバンジェリストの亀田です。 Amazon Neptune が東京リージョンに対応しましたのでご報告します。 Amazon Neptuneはフルマネージド型のグラフデータベースです。グラフデータは例えば以下の図のような、高密度に結合したリレーショナルデータのことを指します。 このようなデータを通常のリレーショナルデータベースに格納するためのテーブル設計はそれほど難しいものではありません。一方一度テーブルに格納された上記のデータをSQLを駆使しSelectを行い上記の図を復元することを考えた場合、そのSQL実行コストは大きいものになります。グラフデータベースである、Neptuneはあらかじめこれらのデータの
ECSでごっつ簡単に機密情報を環境変数に展開できるようになりました！ | DevelopersIO
従来アプリケーション側で必須だった機密情報の復号化が、マネージドな仕組みで実現できるようになりました。 これでついにあんな秘密やこんな秘密をコンテナに渡しやすくなりますね — ポジティブな Tori (@toricls) 2018年11月16日 先日のアップデートで、ECSコンテナ内への機密情報の受け渡しが非常に簡単になりました。 従来は機密情報の展開にアプリケーション側での処理が必要だったものが、マネージドな仕組みで実現可能となっているので、既存ECSユーザーには必見のアップデートとなっております。 参考：AWS Launches Secrets Support for Amazon Elastic Container Service あんなことやこんなこと！？ ( ﾟдﾟ) ｶﾞﾀｯ / ヾ ＿_L| /￣￣￣/＿ ＼/ / 従来の方法の面倒くささ（自前で機密情報を展開していた
AWS移行前のアセスメント〜既存データセンターとAWSのセキュリティレベルを比較する | iret.media
前回はAWSクラウドに移行する前段階として、オンプレミス環境からAWSクラウドへのマイグレーションが意味するところ、IT担当者が心しておかなければならないポイントについて、責任共有モデルを中心に解説を行った。当たり前ではあるが、AWSクラウドでシステムを運用するということは、データセンターでラックを1本借りるのとはまったく意味が異なる。そこで今回は、ITインフラとしてのAWSクラウドは既存のデータセンターと何が異なるのか、特にクラウドに移行する上でもっとも注目されるセキュリティについて、両者における違いを掘り下げてみたい。 アセスメントは最新情報をベースに クラウドに限った話ではないが、ある程度の規模のシステム移行を検討する場合、事前のアセスメントは欠かせない作業である。そのクラウドサービスが安全かどうか、もし自社内に評価する基準をもたないのであれば、IPA（独立行政法人 情報処理推進機構
AWSでJMeterを使った負荷テスト環境を構築する手順（WindowsありのMaster/Slave構成） | DevelopersIO
はじめに JMeterで負荷テストをする際に1台の端末から負荷をかけていても負荷が足りない場合があります。そのような場合はJMeterをMaster/Slave構成にし複数台用意する必要があります。今回はAWSでこのような負荷テスト環境を構築する手順をまとめたいと思います。 AWSを使う場合は以下のリンクのページのようにCloudFormationでやる方法が早いのですがAMIやインスタンスタイプ、Java、JMeterのバージョンが古くなるのと、上手く動かなくなった場合にCloudFormationに慣れてないと原因調査に時間をとられることもあるので今回は手作業でやってみたいと思います。 お手軽JMeterクラスター 〜 フルボッコ編｜アドカレ2013 : CFn #1 前提条件 今回は以下の前提で構築しています。 Master上でテストシナリオを作成したいのでMasterのOSはWin
AWSでJMeterのMaster/Slave環境を構築（CentOS 7） - Qiita
AWSでJMeter用のEC2インスタンスを作成 ステップ 1: Amazon マシンイメージ（AMI） EC2ダッシュボードでインスタンスメニューを開き、「インスタンスの作成」を押す。 AWS Marketplaceを選択し、「CentOS 7」で検索する。 「CentOS 7 (x86_64) with Updates HVM」を選択する。 ステップ 2: インスタンスタイプの選択 任意のインスタンスタイプを選択し、「次の手順: インスタンスの詳細の設定」を押す。 ※JMeterで数万リクエスト／秒を超えるような高負荷をかける場合には、それなりの性能や帯域が必要になるので、インスタンスタイプは「m4.xlarge」以上が適当と思われる。 ステップ 3: インスタンスの詳細の設定 設定画面で以下を選択し、「次の手順: ストレージの追加」を押す。 インスタンス数: 1 購入のオプション:
[レポート] LambdaとStepFunctionsを使った新しい負荷試験のカタチ #jawsdays #jd2018_g | DevelopersIO
3/10 に開催されました JAWS DAYS 2018 にて、こちらのセッションが開催されました。聴講してきましたのでレポートしたいと思います。 LambdaとStepFunctionsを使った新しい負荷試験のカタチ | JAWS DAYS 2018 Dynamic StepFunctions New style of Load TEST スピーカー 内海恵介さん 株式会社HAROiD リードエンジニア LambdaとStepFunctionsを利用したスケーラブルな新しい負荷試験実行環境について。 – Lambdaを利用した攻撃ツール – StepFunctionsのステートを動的に構築 – Fargateへの対応 スマホ×TV連動等での秒間数万reqにもなる負荷や、放送波による大規模同時接続を安全に、より安心して運用するための事例等も交えてお話させていただきます。 資料 ※後日公開が
![[レポート] LambdaとStepFunctionsを使った新しい負荷試験のカタチ #jawsdays #jd2018_g | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ce15b0c32ac83e928a616a877043420ddda47c32/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F11%2Fjawsug.png)
EC2で起動時やterminate時にシェルを実行する | DevelopersIO
特定のタイミングでシェルを動かしたい EC2インスタンスの起動や停止など、任意のタイミングで何か処理をしたいことがあるとおもいます。 例えば、次のようなケースです。 AutoScallingで起動されたインスタンスが、起動時にアプリケーションを起動したい terminate/stop予定のインスタンスが停止する前にデータのバックアップを行いたい Linux環境であれば、サービスとしてシェルスクリプトを登録することで、インスタンスの起動や停止時に処理を行うことができます。 使用した環境 EC2のOS : Amazon Linux やってみる 起動時/停止時実行されるシェルを作成 まずはインスタンス起動/停止時に実行されるシェルを作成します。 下記のような、起動/停止時にメッセージを特定のファイルに出力するだけの単純なシェルを作成します。 名前は、「mytest」とでもしておきましょう。 なお
SpotInstanceとJMeterを使って400万req/minの負荷試験を行う | DevelopersIO
Apache JMeterのMaster/Slave構成 シナリオを用いた負荷試験といえばJMeterということで、使ったことがある方も多いかと思います。しかし、ほとんどの方は自分のPCを使ってやっている程度ではないでしょうか。最近は、スマホ連動のシステムが多くなってきていますので、1台のPCから負荷を掛けたとしても大した負荷試験になりません。そこで、今回はJMeterをMaster/Slaveのクラスター構成にしてドカーンと同時アクセスを行いたいと思います。 クラスメソッドの負荷試験の歴史 創業時から業務系のシステム開発が多かったことから、レスポンスは3秒以内でOKとか、ピーク時の同時ユーザは100名といった、緩い条件をクリアすれば良かったことが懐かしく思います。今は、ユーザ数・データ量・トランザクション数・トラフィック等が爆発的に増える可能性のあるプロジェクトも多く、負荷試験は必須項目
AWS、何から勉強したらいい？に対する俺の答え - Qiita
このツイートがわりと好評だったので解説。 「AWS、何から勉強したらいい？」に対する俺が考えた回答がこれ。 pic.twitter.com/ouuP3P27Bu — 伊藤 祐策(パソコンの大先生) (@ito_yusaku) 2018年4月17日 これは誰向け？ メンテナー以上の領域を目指す人向け。 オペレータ ... システムの運用、監視、障害調査＆対応をする人 メンテナー ... システムの拡張、改善をする人 アーキテクト ... システムを１から設計、構築する人 解説 各科目の選定基準 必修科目 ... AWSを本番運用するにあたって絶対に避けては通れないサービス。 重要科目 ... 間違った設計をすると、あとから取り返しがつかないサービス。 選択科目 ... 学習量を削るために仕方なく必修から外したが、Webサービスを構築するにあたりほぼ必須となるサービス。 必修科目で押さえておく
【 AWS 新リージョン】 AWS 大阪ローカルリージョンが本日より利用可能になりました | Amazon Web Services
Amazon Web Services ブログ 【 AWS 新リージョン】 AWS 大阪ローカルリージョンが本日より利用可能になりました 本日 日本で2番目、ローカルリージョンとしては AWS 初となる、 Asia Pacific (Osaka) Local Region（以下、AWS 大阪ローカルリージョン）がご利用いただけるようになりました。 2017 年 5 月 31 日 AWS Summit Tokyo 2017 の基調講演にて、 2018 年より利用できるお知らせをしました。AWS 東京リージョンをお使いのお客さまにおいては、規制対応のため補完的なインフラストラクチャを準備し、アベイラビリティゾーン間を地理的に離す必要のある特定のアプリケーションの運用が可能になる点、多くの反響をいただきました。 AWS 東京リージョンが開設した 2011 年から、お客様は、同リージョンの 4 つ
Cognitoに心のなかで謝罪しながら認証を通す - Qiita
とある静的なWebサイトからCognitoを使って認証したいとき、ありますよね。 でもCognito君はとても親切なので、AWSコンソールからユーザをつくると （たぶん）内部的にはAdminCreateUserっちゅーAPIが叩かれます。 そうして作成されたユーザのステータスは FORCE_CHANGE_PASSWORD 表記になり、 一定期間経過すると利用できなくなってしまいます。 この仕様がネックになってCognito君の親切心に心のなかで謝罪しながら認証を通したい場合がでてくるかもしれません。僕はでてきました。 というわけでこんな感じでやりました。 export const getUserPool = () => { const poolData = { UserPoolId: "<EnterYourUserPoolID>", ClientId: "<EnterYourUserPoo
Amazon CognitoをJavaScriptから使ってみる - Qiita
Amazon Congnitoを用いてAWS認証情報を一時的に取得して、適切なアクセス制限をかけたいと思います。スマホやデバイスからAmazon S3やAmazon DynamoDBやAmazon Kinesisにデータをあげていく際に、クレデンシャルをクライアント側にあまり置きたくないので、Cognitoを使うことにします。 Amazon Cognitoとは CognitoはAWSを用いたスマホのアプリ開発をより簡単にするためのユーザの認証やデバイス感のデータの同期を簡単に実現するためのサービスです。Amazon、Facebook、Google といったパブリックログインプロバイダを使用して認証できますが、ここでは、パブリックログインプロバイダを使わずにCognitoのゲストアクセスの機能を用いて、アクセス制限のためのみに使います。つまり、アプリケーションに認証情報をハードコーディングす
Amazon Auroraの先進性を誰も解説してくれないから解説する - Qiita
TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。 その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。 ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。 詳細が気になる人はこの記事をチェキ！ Amazon AuroraはAWSの中で利用可能なマネージド(＝運用をAWSが面倒見てくれる)なデータベースサービス。 ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適用したりなどなどセールストー
シャーディングされたシステムをAuroraに集約してリソースの消費を削減 | Amazon Web Services
Amazon Web Services ブログ シャーディングされたシステムをAuroraに集約してリソースの消費を削減 リレーショナルデータベースを利用したワークロードで、スケーリングを考えないといけなくなった時に、一般的にスケールアップとスケールアウトと2つの手法が上げられます。一般的にスケールアップの方が簡単に行えます(単純にスペックのいいマシンを購入するなど)。一方スケールアウトは、それぞれ独立したホストで稼働している複数のサーバへ、データベースをシャーディングする必要があり作業が煩雑になります。 難しさにも関わらずスケールアウトとが最近のトレンドとなってきています。コモディティハードウェアとシステムリソースへの要求の増加に伴いワークロードを効率的にシャーディングする必要が出てきました。シャーディングされたシステムの1つの欠点として管理コストがあげられます。もし4つのシャードを持っ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
