【アップデート】Amazon CloudFront を経由しないアクセスのブロックが簡単になりました | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 先程のアップデートで CloudFront の IP アドレスが Managed Prefix List でサポートされました。これにより CloudFront を経由しない不正なアクセスを簡単に弾くことが可能になります。CMS など CloudFront を使う機会が多いサービスではぜひご利用ください。また CloudFront で AWS WAF を使ってセキュリティを向上している場合の迂回路を塞ぐことができます。 Amazon CloudFront now supports a managed prefix list CloudFront を経由しないアクセス 今まで AWS で CloudFront を経由したアクセスだけ強制させる場合は、CloudFront ではカスタムヘッダを付与して、その値を ALB や Web サーバで
AWSでアベイラビリティゾーンをまたいでのアクセスが想像以上に遅かった話 - Qiita
うーん…下手すると処理時間が倍くらい違う... いろいろ調べてみるとアベイラビリティ―ゾーン(AZ)が問題らしい EC2インスタンスは両方共 m4.large のため、マシンスペックは同じです。 また、監視グラフを見てみても特定のインスタンスに負荷がかかっている。 いろいろ調べてみると、どうにも 「アベイラビリティゾーン(AZ)をまたいだ通信は結構コストが掛かるよ！」 という記事が見つかりました。(AZ間のレイテンシについて ) あなたのマイスターのシステムではELBで負荷分散しているEC2の片側のみが ap-northeast-1a 、それ以外のEC2、RDS、Elasticsearch、Redisが全て ap-northeast-1c で構成されている Multi-AZ 構成になっています。 もしやこれかが原因か？と思ったんですが、ちょっと記事が古い... しかもAWSの人に相談したと
AWS障害、5時間でほぼ復旧 気象庁Webサイトなどに影響【各サービス復旧状況を追記】
米Amazon Web Services（米AWS）が提供するクラウドサービス「AWS」の東京リージョンで、2月20日午前0時ごろに障害が発生した。発生から約5時間がたった午前5時9分に同社は、障害の大部分を解消したと発表した。この影響でAWSを利用するオンラインゲームの一部などが利用しづらい状態に。また、気象庁の公式サイトが一時接続できない状態になり、同庁は復旧作業や関連性の調査を急いでいる。 追記 2021年2月20日午後4時 気象庁Webサイトは完全復旧 気象庁は、午前10時50分ごろに公式サイトの全ページが正常に閲覧できるようになったと発表した。原因は「同庁が利用しているクラウドシステムの障害」としており、同庁の担当者はこのクラウドシステムがAWSであることを認めている。 暗号資産取引所を運営するコインチェックは午前11時24分、同社の全てのサービスが通常通り利用できるようになった
EC2インスタンスの秘密鍵の管理から開放される ssos (ssh-setup-over-ssm) をリリースした - 京都行きたい
EC2インスタンスに入りたい時ってたまにないですか？ EC2インスタンスのsshの秘密鍵の管理をどうしよう、とか EC2インスタンスのユーザの管理をどうしよう、とか悩みますよね。 今回リリースした、ssos (ssh-setup-over-ssm) を使えば EC2インスタンスを使いたい人が、自分でセットアップすることが出来るようになります。 このツールを使うに当たって必要なのは AWSのクレデンシャルのみです。EC2インスタンスの秘密鍵も必要ありません。 Systems Manager経由でSend Commandできるインスタンスであれば sshでログイン出来るようになります。 今回作ったssosのリポジトリはこちらです。 github.com はじめに 対象のEC2インスタンスでターミナルを使うだけなら Systems Managerを使えば、確かに、sshを使わなくても ターミナル
SSRF対策としてAmazonから発表されたIMDSv2の効果と限界
サマリ Capital OneからのSSRF攻撃による大規模な情報漏えい等をうけて、Amazonはインスタンスメタデータに対する保護策としてInstance Metadata Service (IMDSv2) を発表した。本稿では、IMDSv2が生まれた背景、使い方、効果、限界を説明した上で、SSRF対策におけるIMDSv2の位置づけについて説明する。 SSRFとは SSRFは、下図のように「外部から直接アクセスできないエンドポイント」に対して、公開サーバーなどを踏み台としてアクセスする攻撃方法です。SSRF(Server Side Request Forgery)の詳細については過去記事「SSRF(Server Side Request Forgery)徹底入門」を参照ください。 最終的な攻撃目標は多様ですが、近年問題になっているのが、クラウドサービスのインスタンス・メタデータを取得する
「インフラ怖い」が生んだSREの業務負担――freeeはどう改善したか
「インフラ怖い」が生んだSREの業務負担――freeeはどう改善したか：運用コストを減らす3つのポイントとは（1/2 ページ） 本番環境にKubernetesを活用するfreeeでは、SREに運用管理業務が集中して疲弊してしまった。そこで、開発チームにサービスの運用管理業務を任せることで改善していったという。その方法とは？ 個人事業主や法人向けにSaaSを開発、提供するfreeeは、本番環境にAmazon Web Services（AWS）の「Amazon Elastic Compute Cloud」（以下、EC2）と「Amazon EC2 Auto Scaling」（以下、EC2 Auto Scaling）を活用していた。だが、提供するサービスの増加やマイクロサービス化などに伴い、SRE（Site Reliability Engineer）に運用管理業務が集中して疲弊。そこで、開発チーム
AWS、複数のアベイラビリティゾーンで稼働していたアプリケーションでも大規模障害の影響があったと説明を修正。東京リージョンの大規模障害で追加報告
AWS、複数のアベイラビリティゾーンで稼働していたアプリケーションでも大規模障害の影響があったと説明を修正。東京リージョンの大規模障害で追加報告 2019年8月23日金曜日の午後に発生したAWS東京リージョンの大規模障害について、AWSは追加の報告を行い、複数のアベイラビリティゾーンで稼働していたアプリケーションでも障害の影響があったことを認めました。 下記は大規模障害の報告ページです。赤枠で囲った部分が、8月28日付けで追記されました。 当初の報告は、障害の原因が空調装置のバグであり、それが引き金となってサーバーのオーバーヒートが発生したことなどが説明されていました。 そして障害の影響範囲は単一のアベイラビリティゾーンに閉じており、 複数のアベイラビリティゾーンでアプリケーションを稼働させていたお客様は、事象発生中も可用性を確保できている状況でした。 と説明されていました。 複数のアベイ
Summary of the Amazon EC2 Issues in the Asia Pacific (Tokyo) Region (AP-NORTHEAST-1)
2019年8月28日(日本時間)更新: 最初の事象概要で言及した通り、今回のイベントは、東京リージョンの1つのアベイラビリティゾーン(AZ)の一部に影響を与えました。この影響は当該 AZ の Amazon EC2 および Amazon EBS のリソースに対するものですが、基盤としている EC2 インスタンスが影響を受けた場合には、当該 AZ の他のサービス(RDS、 Redshift、 ElastiCache および Workspaces 等)にも影響がありました。お客様と今回のイベントの調査をさらに進めたところ、 個別のケースのいくつかで、複数のアベイラビリティゾーンで稼働していたお客様のアプリケーションにも、予期せぬ影響(例えば、 Application Load Balancer を AWS Web Application Firewall やスティッキーセッションと組み合わせてご
あなたの知らない鬱陶しいWebクローラーに立ち向かう方法
おことわり 技術側の話は少ないです。 本記事の内容を真に受けた結果発生した損害などの責任は負いませんのでご了承ください。 まえがき. 本記事のターゲット読者について 継続的に治安の悪いWebクローラーから大量にアクセスされていて悩んでいる人 タイトルに釣られて興味本位で見に来た人 鬱陶しいWebクローラーの開発者 継続的に 不定期ではなく一定のパターンで定期的にアクセスがあることを指します。 毎日、毎時、毎分、毎秒など。 治安の悪い いわゆるWebクローラー運用の「お作法」から道を外れていることを指します。 robots.txt無視、UA偽装、非常に短い時間でのバーストアクセスなど。 大量に Webクローラーからアクセスされていることを察知出来るほどのある程度まとまったアクセス量があることを指します。 未知のWebクローラーからWeb上の資源を守るのは非常に困難です。 第1部. 振る舞いか
デブサミ2019講演「レガシーとのいい感じの付き合い方」の資料を公開します。 - CARTA TECH BLOG
ポイントメディア事業本部の福田です。 Developers Summit 2019にて、「レガシーとのいい感じの付き合い方」と題して、ECナビの4年に渡る改善事例を発表しました。 講演資料を公開します。 セッション詳細 event.shoeisha.jp 公開資料 当日の反響(togetter) togetter.com 発表を終えて ネタが地味目なので、当日どれくらい来ていただけるのか少し不安でしたが、満員＋立ち見の盛況でした。 当日ご参加いただいた方、ありがとうございました。 アイスブレイクとして、会場のみなさんには「何年もののレガシーシステムに取り組んでいるか？」について質問させていただいたところ、「10年以上」という方が半数超え(※壇上からの主観です）で、レガシーシステムの問題は顕在化していることを実感しました。 目立たずに水面下でじわじわと苦しめられてる問題だと思うので、私達のよ
趣味でディープラーニングするための GPU 環境を安上がりに作る方法 - Qiita
趣味でディープラーニングで遊ぶために GPU マシンを使いたい。 GPU は本当にすごくて、自分の MacBook Air で 2 時間かかるような学習が GPU を使うと 5 分足らずで終わる。CPU だけでディープラーニングするのは馬鹿馬鹿しいという気持ちになる。 しかし自宅に GPU マシンを組んだとしても四六時中計算し続けるわけでもないからもったいないし、ここはクラウドサービスを活用して安く済ませたい。1 さらに、最近では Docker コンテナ内から GPU を利用することができる NVIDIA Docker という Docker プラグインがあり、これを利用することで GPU マシンの環境を汚すことなく好きなだけ学習環境を立ち上げることができる。 今回は Amazon EC2 の GPU インスタンスと NVIDIA Docker を使って趣味用のディープラーニング環境を作った
AWS Auto Scaling is Now Available in 8 more Regions Worldwide and Offers Predictive Scaling for Amazon EC2
Amazon EC2 の予測スケーリング機能を備えた AWS Auto Scaling が、世界中のさらに 8 つのリージョンで利用できるようになりました。AWS Auto Scaling を使用することにより、切迫したトラフィックの変動が生じる前に Amazon EC2 Auto Scaling グループが自動的にスケーリングされるよう予測スケーリングを設定できます。また AWS Auto Scaling を使用して、単一のスケーリングプランで複数のリソースのスケーリング設定を管理できます。対象となるサービスには、Amazon EC2、Amazon ECS、Amazon DynamoDB、Amazon Aurora などがあります。 現在、EC2 の予測スケーリング機能を備えた AWS Auto Scaling は、米国東部 (バージニア)、米国東部 (オハイオ)、米国西部 (オレゴン)
10年モノのインフラを3年がかりでカイゼンした - Qiita
CI いちおうJenkinsが立ってました。失敗して赤くなってるジョブが大半で、かといって誰が治すわけでもなく、よくわからないけど失敗したり成功したり、とにかく不安定でした。 CloudWatchのメトリクスで眺めて、EBSのIOPSクレジットの枯渇から激遅になって、Jenkinsジョブのタイムアウト設定で失敗になる、まで明らかにしました。その時の対処は、IOPSクレジット上限サイズの1TBのSSDのEBSを付けることと、同時並行で動けるJenkinsジョブ数に上限を設けることで、落ち着くようになりました。 とはいえ「Jenkinsおじさん」問題があるので、CIをどうにか民主化する必要があります。SaaSから検討して、TravisCIとCircleCIが最終候補になって、トラブルシュートをSSHでできるのを決め手に、CircleCIを導入しました。 8月末にCircleCI1.0が死んだと
コスト効率の悪いLambdaアプリケーションの性質に関する考察 - ゆううきブログ
概要 Lambdaは100msの実行時間単位でオンデマンドに課金されるため、立ち上げっぱなしのEC2インスタンスよりも、料金が安くなる可能性があることが一般に知られている。 しかし、以下の性質を満たすアプリケーションでは、EC2インスタンス上に構築したケースと比較して、Lambda上に構築したほうがコスト効率が悪くなるのではないかと考察してみた。 Lambda functionの実行時間のうち、ネットワークI/O時間が支配的である Lambda functionの実行終了を同期的に待たなければならない 複数のレコードをLambda functionの引数に渡すことができない Lambdaの基本コスト構造 まず、Lambdaのコスト構造を把握する。 Lambdaの料金表[1]によると、「functionに対する合計リクエスト数」と「functionの合計実行時間」に応じて料金が発生する。 後
Cron ジョブを Lambda Scheduled Event に置き換えてサーバーレスを目指す | はったりエンジニアの備忘録
AWS re:Invent 2015 で Lambda のアップデートが発表されました。 Lambda の欠点が見事に改善されて、ますます使いやすくなりました！ AWS Lambda のアップデート - Python, VPC, 実行時間の延長, スケジュールなど この中でも特に待ちわびていたのが Scheduled Event です。これまでは S3, SNS, Kinesis など外部からのアクションに応じたイベントドリブンな使い方しかできませんでしたが、スケジュール機能が使えるようになったことで新たな使い方ができるようになりました。 Cron ジョブの問題点 日次バックアップなど時間ベースのジョブを実現するには、EC2 上の Cron に処理させるのが手っ取り早い方法でした。 AWS CLI とシェルスクリプトを組み合わせれば大抵のことは実現できます。 この方法には 2 つの問題があ
AWS のお得な機能だけでネイティブゲームサーバをつくる | GREE Engineering
昨今何かと話題に挙がってきた AWS Lambda と AWS DynamoDB を活用して格安で堅牢、高性能なゲームサーバを作ります。 既存システムの苦労をもとに、サーバの開発や運用を頑張らずにすむための仕組みとネイティブアプリからの AWS Lambda の利用方法を簡単に紹介します。 サーバが良くわからんという、ネイティブゲーム、ネイティブアプリエンジニアにオススメです。 ※当内容は多分に個人主観を含んでおり、時事的な要素も含まれています。 ※検索して十分な資料があると考えられるツールやライブラリの利用方法等は省略しています。 おさらい まずは既存のゲームサーバの構成を初歩からおさらいしてみましょう。 簡単にサービスする方法としてアプリからのリクエストを受ける HTTP のサーバと利用者の情報を格納しておくデータベースが考えられます。しかし、すぐに思いつくだけでもいくつかの問題があり
大規模Node.jsを支えるロードバランスとオートスケールの独自実装（FRPもあるよ） - Qiita
というテーマで東京Node学園祭2015でセッションさせて頂くことになったので、先に整理/メモ的ななにかを。 （追記）以下資料で発表しました。 大規模Node.jsを支える ロードバランスとオートスケールの独自実装 http://www.slideshare.net/kidach1/nodejs-54841327 作ったもの ・スマホゲーム（マルチプレイアクション） 【公式】メザマシフェスティバル(メザフェス) | 株式会社アカツキ https://mezamashi-festival.aktsk.jp ・2D横スクロール ・マルチプレイ ・4人同時対戦 ・座標同期型 ・全国マッチング システム概要 Client： Cocos2d-x (c++) Server： API Server：Rails Websocket Server：Node.js 詳しくは スマホアプリにおけるマルチプレイア
クラウドのリージョンを丸ごと落とす過酷な試験を実現する「Chaos Kong」、Netflixが発表。「カオスエンジニアリング」の指針も表明
クラウドのリージョンを丸ごと落とす過酷な試験を実現する「Chaos Kong」、Netflixが発表。「カオスエンジニアリング」の指針も表明 動画配信サービスのNetflixが、Amazonクラウド上のサーバをランダムに落とすことでシステムの堅牢性をチェックするという画期的な考え方のツール「Chaos Monkey」を発表したのは2012年でした。 サービス障害を起こさないために、障害を起こし続ける。逆転の発想のツールChaos Monkeyを、Netflixがオープンソースで公開 Netflixは普段からChaos Monekeyでシステムをテストし続けていたおかげで、昨年10月にAmazon EC2の全インスタンスの約10％がリブートされるという大規模メンテナンスも難なく乗り切ることができたと報告しています。 そしてこのChaos Monkeyの成功に基づき、さらに過酷な状況をシミュレ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SSRF対策としてAmazonから発表されたIMDSv2の効果と破り方
http://blog.yoslab.com/entry/2014/06/03/144606
