Slack Case Study | AWS
In the age of the unicorn startups, Slack has drawn attention for its meteoric rise and potential for disrupting traditional business communications tools, particularly email. By June 2015—less than 18 months after its launch—the company already had more than 1.1 million daily users, 300,000 paid seats, and more than 30 million messages flowing through Slack each week via integrations with other s
SSRF対策としてAmazonから発表されたIMDSv2の効果と限界
サマリ Capital OneからのSSRF攻撃による大規模な情報漏えい等をうけて、Amazonはインスタンスメタデータに対する保護策としてInstance Metadata Service (IMDSv2) を発表した。本稿では、IMDSv2が生まれた背景、使い方、効果、限界を説明した上で、SSRF対策におけるIMDSv2の位置づけについて説明する。 SSRFとは SSRFは、下図のように「外部から直接アクセスできないエンドポイント」に対して、公開サーバーなどを踏み台としてアクセスする攻撃方法です。SSRF(Server Side Request Forgery)の詳細については過去記事「SSRF(Server Side Request Forgery)徹底入門」を参照ください。 最終的な攻撃目標は多様ですが、近年問題になっているのが、クラウドサービスのインスタンス・メタデータを取得する
試してわかった NLB の細かいお作法 | DevelopersIO
こんばんは、菅野です。 ネットワークロードバランサー（NLB） が発表され、Dev.IOでもいくつかのブログエントリーが公開されました。 今回はユーザーとして NLB の作成からアクセスまで色々試してみました。 サブネット NLB を作成する前に用意しておきましょう。 NLB の作成を開始した後にサブネットを作ってもリストに出てきませんし、更新ボタンもありません。（VPC が複数ある場合は VPC を選択し直すことでサブネットのリストが更新されます） このサブネットには NLB と EC2 インスタンスを配置することになります。 ルートテーブルにはインターネットゲートウェイ（IGW）へのルートを追加しておきましょう。 IGWへのルートが無いとこんなメッセージが表示されます。 Elastic IP（EIP） NLB を作成する前に用意しておきましょう。 NLB を配置するアベイラビリティゾー
新しいストレージ最適化インスタンス I3 でNVMeをベンチマークしてみました | DevelopersIO
大栗です。 先日新しいストレージ最適化インスタンスとして I3 ファミリーが利用可能になりました。旧世代の I2ではSATA接続のSSDでしたが、I3ではNVMeとなっています。SATAと比較したNVMeの違いとして並列アクセスに強いという部分があるので並列度を変えてベンチマークを取得してみました。 「i3」新しいストレージ最適化インスタンスが利用可能になりました ベンチマークの環境 EC2環境 リージョン: 東京（ap-northeast-1） OS: Amazon Linux AMI 2016.09.1.20170119 x86_64 HVM GP2 (ami-56d4ad31) インスタンスタイプ i3.xlarge i2.xlarge ファイルシステム: ext4 ベンチマークツール 使用ソフト: fio アーキテクチャ: x86_64 バージョン: 2.1.5-1.5.amzn1
[EBS] gp2のBurstBalanceが確認可能となったのでボリュームサイズ別に検証してみた | DevelopersIO
はじめに AWSチームのすずきです。 2016年11月10日のアップデートにより、 AWSのEC2用ブロックストレージ、EBS (Amazon Elastic Block Store) の CloudWatchメトリックとして、BurstBalance の利用が可能となりました。 New – Burst Balance Metric for EC2’s General Purpose SSD (gp2) Volumes 今回、1〜1000GiBまでのEBS(gp2)を用意し、最大IO発生時のバーストバランスと、性能変化を確認する機会がありましたので、 その内容を紹介させて頂きます。 環境情報 ec2 インスタンスタイプ : c4.xlarge (測定対象EBS毎に異なるインスタンスを用意) OS : Amazon Linunx (amzn-ami-hvm-2016.09.0.2016102
![[EBS] gp2のBurstBalanceが確認可能となったのでボリュームサイズ別に検証してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/75cf1196d052414c1b87ad0eb4239794d54f170d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_EBS.png)
[EBS] 新しいボリュームタイプ（sc1、st1）の性能を測定してみた ｜ Developers.IO
はじめに AWSチームのすずきです。 EC2インスンタンスの仮想ディスクとして利用できる Amazon Elastic Block Store (EBS)、 新しいボリュームタイプとして、スループットに特化した「st1」、アクセス頻度の低いアーカイブに適した「sc1」がリリースされました。 従来より提供されているEBSの「Standard」（マグネティック）、「gp2」（汎用SSD）との 性能比較を実施することができました。 早朝公開の第一版では、EC2（m4.large）の帯域がボトルネックとなり、 EBSの種類別の性能上限が正しく測定できていませんでしたが、 最大帯域の高いインスタンスでの確認結果を加えて紹介させて頂きます。 EC2設定 インスタンスタイプと最大帯域 m4.large （56.25MB/秒） m4.xlarge （93.75MB/秒） m4.2xlarge （1
New Amazon CloudWatch Action – Reboot EC2 Instance | Amazon Web Services
AWS News Blog New Amazon CloudWatch Action – Reboot EC2 Instance Amazon CloudWatch monitors your cloud resources and applications, including Amazon Elastic Compute Cloud (Amazon EC2) instances. You can track cloud, system, and application metrics, see them in graphical form, and arrange to be notified (via a CloudWatch alarm) if they cross a threshold value that you specify. You can also stop, ter
GitHub - HighOps/ec2-nat-failover
Script that enables high availability IP and NAT management in EC2. The problem: You need static IPs for incoming and outgoing traffic in your EC2 VPC, so you created NAT/reverse proxy instances in each availabiliy zone, associate elastic IPs with each instance, and use them to route all traffic in and out of your VPC. Now, if one of your NATs goes down all your instances in that availability zone
AWSスポットインスタンスの真髄
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019) Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ / Hadoop / Spark Conference Japan 2019 講演者： 関山 宜孝 （Amazon Web Services Japan） 昨今 Hadoop/Spark エコシステムで広く使われているクラウドストレージ。本講演では Amazon S3 を例に、Hadoop/Spark から見た S3 の動作や HDFS と S3 の使い分けをご説明します。また、AWS サポートに寄せられた多くのお問い合わせから得られた知見をもとに、Hadoop/Spark で S3 を最大限活用するベストプラクティス、パフォーマンスチューニング、よくあるハマりど
EC2インスタンスを消したのは誰？AWS CloudTrailを使って犯人を捜せ！ | DevelopersIO
はじめに 複数人で使っているAWSアカウントでいつの間にか自分で作成したEC2インスタンスが削除されていました。どのユーザが削除したか調査する必要があります。AWSにはManagement ConsoleやAWS CLI、AWS SDKからAPIを実行した場合に操作履歴を残すことができるCloudTrailという機能があります。これを使ってEC2インスタンスを削除したユーザを調査してみたいと思います。CloudTrailで残した履歴はManagement Consoleから見ることができますが以下のような制約があります。 7日間しか見れない。 リクエスト元IPアドレスなどJSONファイルには含まれているが表示されない項目がある。 複数フィルタをかけられない。 あいまいな条件で検索できない。 すべてのリージョンをまとめて参照できない。 日付の降順以外でソートできない。 Management
JAWS目黒 EC2チューニングTips #jawsmeguro #jawsug
2015/5/22 JAWS-UG 目黒で発表した資料です。 http://connpass.com/event/14016/
【新機能】AWS CLIがアップデート！新機能「EC2 Spot Fleet API」が超便利！ | DevelopersIO
こんにちは、せーのです。今日はアップデートした[AWS CLI 1.7.28]の中から新機能「EC2 Spot Fleet API」をご紹介します。 このAPIを使うと数千とあるEC2のスポットインスタンスの中から今使いたいEC2を見つけ出してくれます。 スポットインスタンスの隠れた苦労 みなさんはスポットインスタンスを使用する時にどのような操作を行うでしょうか。マネージメントコンソールからの操作は便利ですね。特に最近は画面が日本語化されましたので説明通りに上から埋めていけばほぼ躓くことなくスポットインスタンスが購入できるかと思います。 一方コードから使う場合にはどうでしょうか。スポットインスタンスは特に分散処理やバッチ処理などで沢山のEC2を立ちあげなければいけない時にコストをかけないように使用する場合が多いですが(このように分散処理で使う複数のEC2インスタンスの事を「フリート（艦隊）
さくらvpsとAWS EC2の違い
AWS EC2の無料期間終了がだんだん近づいてきたのでさくらvpsに移行させようと思う。 GMOクラウドにしようか迷ったけどさくらのほうがお得な気がしたので。 さて、申し込んでEC2と違うな、と思ったところを幾つかメモ。 OS EC2はデフォルトOSが無くてインスタンスの作成から入ります。 システム構成＋OS選択。 いっぽうさくらvpsは既に申込時のプランに沿ったCentOS 6がインストールされていて、起動すればすぐ使用可能です。 IPとパスワードは別途メールで送られてきます。 もちろん違うOS、UbuntuとかCentOS 7とかも入れなおすことできます。 アクセス EC2はインスタンスの生成をすると鍵ファイル(pemファイル)がダウンロードでき、それを使ってアクセス。 いっぽうさくらvpsはパスワード認証。鍵は使いません。 ユーザー EC2はデフォルトユーザーとしてec2-userっ
Multi-AZに対応した高可用Cronサーバを構築する | DevelopersIO
はじめに ジョブスケジューリングを簡易的な仕組みで構築する場合、まず候補に上がるのはEC2上のLinuxでcronを利用したものだと思います。特別なミドルウェアの追加インストールはいらないし、使い慣れているし、スクリプトと組み合わせればだいたい何でも出来ちゃいますし。しかし単体のEC2上でcronを動かすだけでは、可用性が確保出来ません。AWSにおいてAZ障害まで考慮するのであれば、Multi-AZに冗長化されたシステムを構成し、可用性を確保する必要があります。 で、単純に複数のAZに分散してEC2を構築し、crontabを共有するだけでは、ジョブが二重に実行されてしまいます。アクティブ/スタンバイに動作するような仕組みを考慮しなくてはいけません。 そこで今回は、クラスタ構成がサポートされている最新のcrond(cronie)を使って、Multi-AZに対応した高可用Cronサーバを構築し
Jenkinsを導入したEC2インスタンスに常に同じ名前でアクセスする | DevelopersIO
こんにちは、虎塚です。 先日このブログで公開された次の記事、読んでくださったでしょうか？ Jenkinsを導入したEC2インスタンスの運用方法について考えてみた。 ｜ Developers.IO 開発プロジェクトのCIサーバをEC2で運用し、CIサーバ起動時にそのPublic IPアドレスをプロジェクトのBacklogに書き込むという内容です。便利ですが、IPアドレスでなく名前でアクセスできると、もっと便利ですよね。 というわけで、今回はその方法をご紹介します。 概要 前回紹介された仕組みのおさらい 前回の記事で紹介された仕組みは、次のとおりです。 EC2に自動的にアサインされるPublic IPアドレスを、CIサーバ起動時にBacklog wikiへ書き込んでいました。 自動化された良い方法ですが、IPアドレスはたいていの人にとって覚えづらいのが難点です。BacklogでIPアドレスを確
スポットインスタンスのターミネート通知を試してみた | DevelopersIO
はじめに AWSチームのすずきです。 AWSが提供するEC2のスポットインスタンス。 需要と供給に応じ価格が変動するEC2インスタンスを入札して利用します。 スポットインスタンスの価格が入札価格を超えた場合、強制停止されるリスクを伴いますが、 オンデマンドインスタンスと比較し、大幅に安価な費用（平均86％の割引）でEC2環境を利用する事が可能です。 Amazon EC2 スポットインスタンス 先日のAWSのアップデートにより、スポットインスタンスが強制停止する2分前に検出する事が可能となりました。 【AWS発表】EC2スポットインスタンスのターミネート通知機能 今回、ターミネート通知がどの様に行われるか、起動したスポットインスタンスを入札金額不足により強制停止させ、下記情報の遷移について確認を実施しましたので、紹介させていただきます。 スポットインスタンスのメタ情報 スポットインスタンスの
1台のサーバですら Auto Scaling でケチる - HDE BLOG
こんにちは。小椋です。 「まあ15分ぐらいなら落ちてても実際そこまで困らないけど、基本的には24時間起動していてほしいんだよね……」 という緩めのサービスレベルで稼働しているSPOF気味なサーバー、ありますよね。社内向けのジョブスケジューラーとか、一日に数回なんか集めて分析する奴とか。あんまり表立って言わないだけで、御社にもありますよね？ サービスレベルが緩めだし、ミッションクリティカルでもないので、ただ起動しっぱなしにしてほっとけばいいや……と思いきや、やっぱり止まったら止まったで処置も必要だし、生死確認はちゃんとしないといけないし、そもそも起動しっぱなしなのでお金もかかるし、とか、意外とお金も労力もかかりますよね。 私HDEの社長ですが、サーバ代に関してはかなりケチです！ そういうケースに関しては、場合によってはEC2のAutoScaling Groupで管理すると節約ついでに横着でき
EC2 Discovery
To overcome the lack of multicast support and dynamic discovery there are a few work-arounds currently in use: Use a head node (or nodes) which all nodes for a cluster forward their metrics to for collection and aggregation. The drawbacks are that there are now a few servers which need specific, very complicated config that are also potential failure points. If you only have a few clusters with 10
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1000万DL突破！BrainWarsのアーキテクチャ
GitHub - EverythingMe/fabric-aws: fabric AWS integration
