NATゲートウェイの通信内容を調査して対策し、コストを約60％削減した話 - ZOZO TECH BLOG
はじめに こんにちは。WEARバックエンド部SREブロックの春日です。普段はWEARというサービスのSREとして開発・運用に携わっています。本記事では、約60％のコスト削減に成功したNATゲートウェイの通信内容の調査方法と通信量の削減方法についてご紹介します。 目次 はじめに 目次 背景 コストの把握 NATゲートウェイの通信内容の把握 CloudWatchメトリクスでの確認 VPCフローログでの確認 リゾルバーでのクエリログでの確認 調査結果をもとにNATゲートウェイ経由での通信量を削減する AWSサービスとの通信 Datadogとの通信 WEARのAPIとの通信 ECRパブリックリポジトリとの通信 結果 まとめ 背景 ZOZOではより効果的な成長を目指してコストの最適化を進めています。コストの増大はサービスの拡大を鈍化させる原因となるため、常に最適な状態に保つことが必要です。WEARで
AWSでNext.jsをSSRモードで動かしたい場合の選択肢 - Qiita
AWSでNext.jsをSSRモードで動かす方法について、社内で相談があったので、思いつく選択肢を挙げてみました。 Next.jsのSSRモードは、基本的にNode.jsが動く環境をつくれば動くと考えて良さそうです。 AWSでの選択肢 EC2 オススメ： ★★ 選定理由： 複数プロセスを起動したいなど、コンテナでは難しい場合 ECS オススメ： ★★★ 選定理由： バックエンドのAPIなどでECSを使っているのであれば フロントエンドからRDSを使うならVPC内に立てるための選択肢としても◎ Copilot CLI で ECS を立てる オススメ： ★★ 選定理由： ECSをお手軽に立てたい 立て方の違いだけ EKS オススメ： ★★ 選定理由： バックエンドのAPIなどでEKSを使っているのであれば Node.jsの環境をつくれば動く Lightsail オススメ： ★★ 選定理由： A
「はてラボ」のサービスも利用しているEKSクラスタの構成と運用について - Hatena Developer Blog
プラットフォームチームでSREをしている id:masayosu です。 プラットフォームチームでは、はてなのサービスの基盤となるサービスを開発・運用しています。 さらに、はてラボ（はてなアンテナ、はてな匿名ダイアリーなど）も担当しています。 これらはAmazon EKS（Elastic Kubernetes Service）というマネージドコンテナサービス上で、マルチテナントなクラスタとして運用されています。 EKSは2年前から運用を始め、現在は30近いサービスがクラスタ上で動作しています。 この記事ではEKS周辺の構成と、EKSを維持する運用について紹介します。 EKSクラスタの全体構成 EKS全体の構成は、以下の図のようになっています。 図の登場人物について簡単に説明します。 AWS EKS AWSのAmazon EKSは、マネージドなKubernetesサービスです。 Kubern
AWSスポットインスタンスの真髄 発表資料 | 外道父の匠
6/17(水)にオプト社で開催された、愛の貧乏大作戦！ケチケチビッグデータ節約術（市ヶ谷Geek★Night #2） にて発表してきましたので、その資料を公開します。 久々の登壇で張り切りすぎまして、資料が長くなってどう考えても時間が足りなかったので最後の工夫うんぬんはカットしちゃったのですが、この資料はノーカット版にしましたので会場にきていただけた方も再度オマケを楽しんでいただければと思います。 スポットを使おう AWSの中の人曰く、スポットはまだまだ多くは使われていない印象で、もっと使ってほしいとのことでした。なので、この内容を参考にしていただいて、さらにアグレッシブな攻めのアーキテクチャが出てきたらいいなと思う次第なわけですが、 真面目な話、あんま使われすぎると変動価格の底上げがされちゃうので、発表自体するべきか迷った部分もあります。どーーー考えてもコソコソやってた方が短期的にみて得
ECS インフラの変遷 - クックパッド開発者ブログ
技術部 SRE グループの鈴木 (id:eagletmt) です。 クックパッドでは Amazon ECS をオーケストレータとして Docker を利用しています。Docker 自体は2014年末から本番環境にも導入を始めていましたが当時はまだ ECS が GA になっておらず、別のしくみを作って運用していました。2015年4月に GA となった ECS の検討と準備を始め、2016年より本格導入へと至りました。クックパッドでは当初から Hako というツールを用いて ECS を利用しており、Hako の最初のコミットは2015年9月でした。 https://github.com/eagletmt/hako/commit/7f95497505ef78491f3f68e9d648204c7c9bb5e2 当時は ECS に機能が足りずに自前で工夫していた部分も多かったのですが、ECS やそ
AWS + ngx_mruby で SSL 証明書の動的読み込みシステム構築 - メドピア開発者ブログ
CTO室SREの @kenzo0107 です。 2021年6月24日に「 kakari for Clinic ホームページ制作 」がリリースされました。 kakari for Clinic ホームページ制作 今回は上記サービスで採用した、 AWS + ngx_mruby で構築した SSL 証明書の動的読み込みシステムについてです。 SSL 証明書を動的に読み込みする理由 kakari for Clinic ホームページ制作の1機能で、制作したホームページに独自ドメインを設定する機能がある為です。*1 複数ドメインでアクセスできる ＝複数ドメインの SSL 証明書を読み込む を実現する必要があります。 動的に SSL 証明書を読み込むには？ 以下いずれかのモジュールを組み込むことで SSL 証明書の動的読み込みが可能になります。 ngx_mruby lua-nginx-module 以下理
[アップデート] セキュリティグループの各ルールにリソース識別子が付く様になりました | DevelopersIO
しばたです。 先日よりセキュリティグループの各ルールにリソース識別子(Security group rule ID)が付く様になり、同時に各ルールに対してタグ付けもできる様になりました。 AWSからのアナウンスはこちらになります。 本記事ではこの更新について解説します。 どういうこと？ 内容としてはそのままでセキュリティグループのルール一つ一つに対しIDが付いただけです。 従来はセキュリティグループそのものに対してだけIDが付いており、各ルールにはIDはありませんでした *1。 このためAWS CLIなどでセキュリティグループの各ルールを特定するにはプロトコルやポート、Source/Destinaionの各属性がすべて一致してるかで判断するしかなかったのですが、今回の更新によりIDで直接各ルールを特定できる事になりAWS CLIなどの使い勝手が向上しています。 加えて各ルールにタグ付けもで
![[アップデート] セキュリティグループの各ルールにリソース識別子が付く様になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/282e5d89940d22b7b6e85de812014aa1e9e593f2/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-vpc.png)
AWS WAF でアクセス数が一定回数を超えた IP アドレスを自動的にブラックリストに追加させる方法 | DevelopersIO
困っていた内容 自社サービスの特定の URL に対して、数日間で数百の IP アドレスから大量の不正アクセスを受けています。 攻撃元 IP アドレスを自動的にブラックリストに追加させる方法がありましたら教えてください。 どう対応すればいいの？ AWS WAF の レートベースのルール を設定してください。 より細かい制御を行いたい場合は、AWS WAF セキュリティオートメーションの導入をご検討ください。 AWS WAF のレートベースルールとは AWS WAF のレートベースのルールを設定すると、AWS WAF が発信元 IP アドレスのリクエスト数をカウントし、設定したしきい値を超えるリクエスト数が確認された際に対象の IP を自動でブロックできます。 現在は 5 分間あたり 100 リクエスト を最小しきい値として指定可能です。 以下にて作成手順を紹介します。 Web ACL とレー
「AWSアカウントのセキュリティインシデント調査どうする? Amazon Detectiveを利用した調査の勘所」というタイトルでAKIBA.AWS ONLINE #04に登壇しました #AKIBAAWS | DevelopersIO
「AWSアカウントのセキュリティインシデント調査どうする? Amazon Detectiveを利用した調査の勘所」というタイトルでAKIBA.AWS ONLINE #04に登壇しました #AKIBAAWS 【6/25（金）リモート開催】AKIBA.AWS ONLINE #04 – こんなときどうする⁉︎ トラブル・インシデント対応 編- で登壇した内容の共有です。Detective使おうね！ こんにちは、臼田です。 みなさん、インシデント対応してますか？(挨拶 今回は以下のイベントで登壇した資料とその解説を載せます。 【6/25（金）リモート開催】AKIBA.AWS ONLINE #04 – こんなときどうする⁉︎ トラブル・インシデント対応 編- #AKIBAAWS 動画 資料 解説 前置き 毎回AWSセキュリティの話をするときに、いろんな前提のセキュリティの話とかから始めるんですが
AWS Lambda でコンテナに入れた Sinatra を動かす - id:onk のはてなブログ
何番煎じか分からないけど、最近やったので。 前提知識 AWS Lambda + Amazon API Gateway で HTTP リクエストを受け付けることができる AWS Lambda ではコンテナイメージを動かせる New for AWS Lambda – Container Image Support | AWS News Blog AWS Lambda で Sinatra アプリを動かすための公式サンプルがある https://github.com/aws-samples/serverless-sinatra-sample つまりコンテナ化した Sinatra アプリを Lambda 上にデプロイして HTTP リクエストを受け付けることができる。 動かす準備はもう全部整っていて、お手軽そうですね。 Ruby アプリを Lambda で動かすコンテナイメージを作る Sinatra
AWS Systems Manager Incident Manager でインシデント管理が可能になりました。電話連絡もできます！ | DevelopersIO
AWS Systems Manager Incident Manager でインシデント管理が可能になりました。電話連絡もできます！ AWS Systems Manager でインシデント管理が可能になりました。 発生したインシデントをメール、SMS、電話で連絡することが可能です。 こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな ネクストモード株式会社 の吉井です。 AWS 上でシステムを稼働させている皆様はどのようなインシデント管理を実装していますでしょうか。 SaaS 製品を活用されている方は多くいると思います。自己管理 (EC2 上) のソリューションを展開しているケースもあるかと思います。 また、複雑な要件が無い場合は CloudWatch と SNS で完結することもあると思います。 アメリカ時間の2021
IAM ロールを 1000 個作って遊んでいたら AWS 利用費が 50 ドルを超えていた話を JAWS-UG 初心者支部で LT しました | DevelopersIO
コンバンハ、千葉（幸）です。 2021/4/27 に、JAWS-UG 初心者支部 #36 が しくじり LT というテーマで開催されました。 イベントの概要はこちら。 AWS初心者がやってしまいがちな失敗談を募集します。 過去の失敗事例 初心者が落ち入りそうな事例 初心者が不安に感じそうだけど、XXすれば大丈夫だよ。というセーフティネット的な事例 ハンズオンで高額請求きちゃった事例 失敗は成功のもと！！ みなさんの失敗例を、活かして頂ける場になれば幸いです！！ 次回以降のハンズオン初心者のアドバイスになるネタがあれば嬉しいです！！ ホットなしくじりを持つ AWS 初心者のわたしは、ここぞとばかりに申し込み、登壇することにしました。 プロローグ やぁ、僕はどこにでもいる平凡なエンジニア。ある日 急に、IAM ロールを 1000 個作りたいな、って思ったんだ。みんなもきっとそんなこと、あるよね
[アップデート] VPC からのアウトバウンド DNS クエリをフィルタリング。Amazon Route 53 Resolver DNS Firewall がリリースされました。 | DevelopersIO
本日のアップデートで Route 53 Resolver に新たな機能として DNS Firewall が追加されました。 Introducing Amazon Route 53 Resolver DNS Firewall DNS Firewall? DNS Firewall は VPC からのアウトバウンド DNS リクエストを保護します。保護方法の例としては以下のとおりです。 特定のドメイン名以外の名前解決をさせない 不良と判別されているドメイン名の名前解決をさせない これらの方法により、DNS の侵害やマルウェア感染により、ユーザーの知らないところで悪意のあるサイトへ誘導されるような攻撃から保護することが可能になりました。 管理方法 DNS FIrewall は AWS Firewall Manager を使用して AWS Organization 内のアカウント全体で一元的に設定、
![[アップデート] VPC からのアウトバウンド DNS クエリをフィルタリング。Amazon Route 53 Resolver DNS Firewall がリリースされました。 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5a2dce04d7304309f65cbf2068ac05e998abe8ee/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-route-53.png)
[update] AWS WAFがカスタムレスポンスに対応しました | DevelopersIO
はじめに 清水です。本エントリでお届けするアップデート情報はこちら！AWS WAFでカスタムレスポンスがサポートされました。（2021/03/29にポストされたアップデート内容になります。） AWS WAF adds support for Custom Responses AWS WAFを使ってリクエストがブロックされた場合、これまではHTTPステータスコード403 (Forbidden)が返るのみでした。今回のアップデートであるカスタムレスポンス対応で、リクエストをブロックした際にユーザに返されるHTTPステータスコードとレスポンスボディの設定が可能になりました。 AWS WAFのカスタムレスポンスを使ってブロック時にリダイレクトさせてみた では実際にAWS WAFのカスタムレスポンスを使って、リクエストをブロックした際にステータスコード301を返し、別のサイトにリダイレクトさせるよう
AWS Asia Pacific (Osaka) Region Now Open to All, with Three AZs and More Services | Amazon Web Services
AWS News Blog AWS Asia Pacific (Osaka) Region Now Open to All, with Three AZs and More Services AWS has had a presence in Japan for a long time! We opened the Asia Pacific (Tokyo) Region in March 2011, added a third Availability Zone (AZ) in 2012, and a fourth in 2018. Since that launch, customers in Japan and around the world have used the region to host an incredibly wide variety of applications
最もリスクの高いAWS構成トップ3 #aqua #コンテナ #セキュリティ - クリエーションライン株式会社
本ブログは「Aqua Security」社の技術ブログで2021年1月20日に公開された「 The 3 Riskiest Cloud Native AWS Configurations 」の日本語翻訳です。 EC2 だけでも数十もの主要なセキュリティ設定が可能なため、AWS の設定オプションの多さに圧倒されることがあります。複雑さが増す一方で、クラウドネイティブデプロイメントにおいて動的なインフラ要件に対応するには、クラウドアカウントを適切に、そして安全に設定することが重要です。サービスを適切に設定するという課題は、利用可能な AWS サービスの数が膨大であり、それぞれが独自の要件を持っているため、さらに複雑になっています。 AWS のクラウドサービスは、新しいサービスの提供や定期的なアップデートなどで常に変動し、CSPM(Cloud Security Posture Management
AWS Systems Manager Session Manager を使って、手元のマシンから楽してEC2へ接続する - hekiblo
概要 AWS Systems Manager Session Manager（以下Session Manager）を使用している環境でEC2 に接続する場合、色々と面倒なことがわかりました。 面倒事 Session Manager はマネジメントコンソールから利用する場合「マネジメントコンソールにログイン -> 接続先のEC2 インスタンスを探す -> Session Manager を使用して接続」という流れになります。 毎回この手順を踏むのは面倒ですし、SSH のように手元のマシンから接続できないのは不便なので、AWS CLI を使いたくなります。 ただし、AWS CLI + Session Manager の場合でも、接続先のEC2 インスタンスのインスタンスID を調べるためにマネジメントコンソールから確認する必要がありました。 これは非常に面倒なので、この手順をスキップして接続で
AWSのParameter StoreとSecrets Manager、結局どちらを使えばいいのか？比較 - Qiita
AWSのParameter StoreとSecrets Manager、結局どちらを使えばいいのか？比較AWSSecurityIAMSSM AWSのアクセスキー/シークレットアクセスキーのコード書き込みは危険 GitHubにAccess Key/Secret Access Keyを含むコードをPushしてしまい、 公開されたキーで犯罪者にAWS環境へのアクセスを許してしまい、 ハイスペックインスタンスタイプ(料金が高い)のインスタンスを 仮想通貨マイニング等に利用されてしまい、 請求書を見て青ざめる、 というインシデントが定期的に発生しています。 今年の2月にその危険性を検証された方がおられ、 「git pushから13分でご利用開始」とのこと。 GitHub に AWS キーペアを上げると抜かれるってほんと？？？試してみよー！ - Qiita GitHubからアクセスキーを抽出するスクレ
AWSが「Bottlerocket」を一般提供--Rust指向のコンテナー向けLinux
Steven J. Vaughan-Nichols （ZDNET.com） 翻訳校正： 編集部 2020-09-03 12:43 Linus Torvalds氏は2020年に入り、Rustで記述されたドライバーやその他のコンポーネントをLinuxに追加することを承認した。そして、8月に開催された「Linux Plumbers Conference 2020」で開発者らは、LinuxのインラインコードとしてのRust利用を真剣に検討していた。そして今回、Amazon Web Services（AWS）は米国時間8月31日、Rustを積極的に採用した、コンテナー用の新たなLinux OS「Bottlerocket」の一般提供（GA）を開始した。 MozillaはRustへの資金提供を削減したかもしれないが、30年近くもCのみで記述されてきたLinuxを支えるコミュニティーがRustに前向きにな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker On AWS | AWS Whitepaper Summary