NATゲートウェイの通信内容を調査して対策し、コストを約60％削減した話 - ZOZO TECH BLOG
はじめに こんにちは。WEARバックエンド部SREブロックの春日です。普段はWEARというサービスのSREとして開発・運用に携わっています。本記事では、約60％のコスト削減に成功したNATゲートウェイの通信内容の調査方法と通信量の削減方法についてご紹介します。 目次 はじめに 目次 背景 コストの把握 NATゲートウェイの通信内容の把握 CloudWatchメトリクスでの確認 VPCフローログでの確認 リゾルバーでのクエリログでの確認 調査結果をもとにNATゲートウェイ経由での通信量を削減する AWSサービスとの通信 Datadogとの通信 WEARのAPIとの通信 ECRパブリックリポジトリとの通信 結果 まとめ 背景 ZOZOではより効果的な成長を目指してコストの最適化を進めています。コストの増大はサービスの拡大を鈍化させる原因となるため、常に最適な状態に保つことが必要です。WEARで
大規模クラウドインフラ設計・構築案件の歩き方(AWS-28)がインフラエンジニアに刺さりまくりな内容だった | iret.media
AWS Summit Japan 2024 Day1の「大規模クラウドインフラ設計・構築案件の歩き方」のセッションについてレポートです。 控えめに言っても満足度の高いセッションでした。 大規模なクラウドインフラの設計構築運用に関わる方なら首がもげるくらい頷きが多い内容であり、アーカイブが公開された際はもう一度見たいと思うほど…。 セッションの内容には「設計書の一覧サンプル」や、「アプリ/インフラチームの責任分界」といった界隈でも関心が高い内容に触れられています。 考え方のひとつとして参考にしていきたい内容がモリモリでしたので、シェアさせていただきます。 セッション概要 大規模クラウドインフラ設計・構築案件の歩き方 Level 300: 中級者向け スピーカー: アマゾン ウェブ サービス ジャパン合同会社 仲谷 岳志 様 クラウド技術のコモディティ化により、エンタープライズ分野では近年、A
AWSのLambdaってなんやねん
みなさんはAWSのLambdaというサービスをご存じですか？ 恥ずかしながら、私は以前まで「Lambdaってバッチ処理するだけのサービスでしょ？」としか思っていませんでした。 あるとき何となくLambdaに関して調べていたところ、Lambdaをシステム開発で利用するうえで知っておくべき概念・知識・テクニックが想像以上に多いことに気づきました。 そのため、本書に私が得た知識・感じたこと・学んだことのすべてを詰め込みました。 中には「知らなかったら危なかったかも..」・「知らなかったらエラーを起こしていたかも..」というような部分も多くありました。 Lambdaに対する知識を表面的な理解にとどめず、その裏側にある技術・設計思想・利用方法を体系的に学びたい方のために、本書は無料で公開させていただきます。 努力されている方の一助になれば幸いです。
ATOM Camって本当に安全なの？ネットワーク通信の仕様をわかりやすく解説｜ATOM tech（アトムテック）
アトムテック株式会社から2,500円（税込）で発売しているネットワークカメラ「ATOM Cam（アトムカム）」ですが、インターネット接続を行った上で利用する製品です。 プライベートな映像を撮影する場合もありますので、ATOM Camと専用アプリATOMアプリがどういった仕様でどのような情報をネットワーク経由で通信を行っているかを記事にしました。 ※わかりにくい箇所などがあった場合は追記等行う場合があります。 SNSやレビューでも不安の声などいただいてますので、なるべくわかりやすい解説を心がけて書かせていただきます。 ⚪ATOM Camの基本的な通信について 以下はATOM Camを利用するにあたっての通信関連の全体的なイメージ図になります。 家庭で通常お使いいただいた際のルーター、スマートフォン、ATOM Camを構成するローカルネットワークとサービスを提供するサーバーの通信イメージになり
AWSによるクラウド入門
真野 智之 (Tomoyuki Mano) <tomoyukimano@gmail.com> version 1.0, 2020-06-19
近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
API Gateway が「Lambda プロキシ統合」でさらに使いやすくなっててびっくりした話 | DevelopersIO
はじめに こんにちは、みかみです。データインテグレーション（DI）部に所属しています。 分析基盤などのデータまわりを主に扱う部署なので、ふだん業務で API Gateway を使うことはあまりないのですが、以前、勉強会のセッション内容に啓発されて触ってみたことがありました。 APIを使うアプリ開発のdev環境にAPIGatewayを立てたらすごくいいと思った話 ｜ Developers.IO 当時でも、初めて触る API Gateway の環境構築の簡単さに驚きましたが、ひさしぶり（2年以上ぶりでした。。）に触ってみたら、さらに使いやすくなっててびっくりしました！ 前回つまずいたのが、API Gateway の、リクエストとレスポンスのマッピング設定。 マッピングテンプレートを登録する必要があり、テンプレートの書き方とかよく分からず。。 API Gateway コンソールを使用したリクエス
Amazon SESによるメール送信環境の構築と実践 | DevelopersIO
Amazon SES を利用してメール送信する際に必要となるスパム対策の基礎知識と、環境構築や利用申請の方法については具体的にステップ・バイ・ステップで説明します。SESのメール送信では、SESの利用方法や応用例をご紹介します。 SES とは Amazon SES（Simple Email Service）は Amazonが提供するフルマネージド型のメール配信サービスで以下の特徴があります。 初期費用無し、低価格 配送機能のみ提供 *1 Email配送API Amazon SES クエリ（HTTPS） AWS コマンドラインインターフェイス AWS Tools for Windows PowerShell AWS Software Development Kit（SDK） Android、Browser、iOS、Java、.NET、Node.js、PHP、Python、Ruby、および G
インフラエンジニアが一切コードを書かずにWebサーバーに認証機能を実装した話 ｜ Developers.IO
コンニチハ、千葉です。 AWSのサービスを組み合わせれば、独自の認証基盤を構築できます。例えば、WordPressを限定的に公開する、Apache、 Nginx、カスタムWebアプリなどなど、簡単に認証をかけたい場合、ベーシック認証は昔から利用されてきました。ただし、これはスケーラビリティや運用面でどうしてもつらい場面がでてきます。 そこで、ALBに素敵すぎる組み込みの認証機能が追加されたのでこちらを利用し、コードを一切書かずに認証を導入します。また、OIDCなど認証プロトコルに対応していますが、今回はシンプルにCognitoのユーザープールを利用し、ユーザー管理自体もCognitoに任せます。 要件 今回の想定する要件です。 Nginxを社内ユーザーのみに公開 スタンドアローンのユーザープールを用意(AD、OICD、SAMLなどによる連携なしで、独自でユーザーを管理) ユーザーは管理者が
受託開発でもサーバレスを活用しよう！ Twilio、AWSを組み合わせたアプリケーション開発事例
本連載では、比較的「小規模」な「受託」開発を実施する際のAWS活用の勘所を、実際の開発現場での経験を元に紹介します。大規模な開発では当てはまらない部分もあると思いますが、可能な限りインフラ関連の工数を少なくし、効率的に開発を実施するために、最低限抑えておく実務上役立つ点について、解説します。本記事では業務システムの受託開発におけるサーバレスアーキテクチャの使い所、実例としてTwilioとAWSでのサーバレスを組み合わせたアプリケーション開発方法について紹介します。 はじめに 本連載では、ここまで新しい技術というよりは、小規模な受託開発に特化して、AWS活用の勘所について説明してきました。 中には最新技術で置き換えた方がよい状況もあったりするかと思いますが、小規模なビジネスにおける現実解を意識して、ポイントとなるところをご説明してきました。 とはいえ、小規模な業務システムの受託開発の世界にお
【旧版・説明欄参照ください】 サーバーレスアプリケーション向きの DB 設計ベストプラクティス
【2019/09/12 追記】 この資料は旧版であり、最新版が存在します。 2019/09/12 にアップロードしたものをご参照ください 最新版 → https://www.slideshare.net/AmazonWebServicesJapan/db-20190905 --------（元の文）------------------- 2019/05/09 に #AWSLoft Tokyo で開催されたイベント、「イチから理解するサーバーレスアプリ開発」における講演資料の一つです。 ・サーバーレスアプリケーションにおいて Amazon DynamoDB が利用しやすい理由 ・RDB と DynamoDB の設計プロセス・考え方の対比・明文化 ・実例に沿った DynamoDB の設計プロセス解説とサンプル例題 などを含みます。 イベント: https://understandingbasi
AWS資格勉強を始めようと思っている方！今がチャンスですよー 〜AWS Innovate試験対策セッションのご紹介〜 | DevelopersIO
AWS Innovate 2019 が本日より開催中です。 AWS Innovate は、AWS に関するオンラインカンファレンスです。 2019 年 4 月 8 日から 5 月 7 日までの開催期間中、いつでもオンデマンドセッションを視聴できます。(一部ライブセッションもあります。) そのオンデマンドセッションの中に、資格試験に役立つセッションがありますのでご紹介いたします。 AWS 認定 - 試験対策 「ソリューションアーキテクト - アソシエイト」 ソリューションアーキテクト アソシエイトに関する普段有償のトレーニングコースを、Innovate 期間中は無料で受けることができる、というものです。30 分のセッションが計 5 本公開されています。 セッション 1：回復性の高いアーキテクチャを設計する セッション 2：パフォーマンスに優れたアーキテクチャを定義する セッション 3：セキュ
バッチ処理をAWS Batchを利用して本番運用してみた | CyberAgent Developers Blog
こんにちは。OPENREC事業部で基盤系のエンジニアをしている石田です。 今回はOPENREC.tvに導入されているバッチ処理の基盤をご紹介したいと思います。 この記事では以下のことに関して話そうと思います。 OPENREC.tvでのバッチ処理内容 従来のバッチ処理基盤の課題 新バッチ処理導入のモチベーション 新バッチのインフラ構成 実際に稼働してみて 本番稼働をして明らかになった課題 まとめ OPENREC.tvでのバッチ処理 OPENREC.tvでは、主に以下の処理をバッチとして実行しています。 視聴時間の計測結果の集計 ランキングの集計 検索用のデータの作成 おすすめ動画の作成 従来のバッチ処理基盤の課題 初期のバッチ処理は、1台のEC2で稼働していました。それゆえ、以下の問題を抱えておりました。 インスタンス1台で稼働していることからスケーラビリティが皆無 SPOFなので万一ハード
AWS認定9冠制覇したのでオススメの勉強法などをまとめてみる
まず11位の「クラウドプラクティショナー」ですが、2018年に新設されたAWSのエントリーレベルの認定です。AWSの基本的な概念や、AWSのベーシックなサービスの特長、請求・アカウントマネジメント・料金モデルなどに関する理解が問われます。エンジニアだけでなくマネージャーや営業など様々なポジションを対象とした認定であるため、問われる知識の範囲は意外に広いです。ただ、知っていれば解ける問題が多いため、この順位にしています。 10位の「Alexaスキルビルダー - 専門知識」は、文字通りAlexaのスキル開発に関する知識が問われます。専門知識と銘打たれていますが、内容自体はそこまで難しくなく、Alexaスキル開発に関して知っていれば解ける問題が多かった印象です。これまでにAlexaスキルを開発したことがあり、クラウドプラクティショナーレベル以上のAWS知識があれば、問題なく合格できると思います。
Node.js 8.10 runtime now available in AWS Lambda | Amazon Web Services
AWS Compute Blog Node.js 8.10 runtime now available in AWS Lambda This post courtesy of Ed Lima, AWS Solutions Architect We are excited to announce that you can now develop your AWS Lambda functions using the Node.js 8.10 runtime, which is the current Long Term Support (LTS) version of Node.js. Start using this new version today by specifying a runtime parameter value of nodejs8.10 when creating o
AWS Lambda（Python） の開発環境・テスト・デプロイ・CI 考察 | DevelopersIO
作るもの ヒーローを管理する Lambda Function を書きます。ヒーロー情報は DynamoDB の ヒーローテーブルに格納するものとします。リポジトリは以下。 * Python Lambda SAM + SAM Local Project コーディング作業 すべてはコードを書くところから始めます。いきなりプロジェクトルートにファイルを置いて書き始めるのも良いですが、後々テストやデプロイも行うことになるので少し整理してみます。以下のようにしました。 . ├── buildspec.yml ├── deploy.sh ├── docker-compose.yml ├── environments │ ├── common.sh │ └── sam-local.json ├── integration_test.sh ├── requirements.txt ├── src
AWSのシステム構成情報を集めて構成図を自動生成してくれる「CloudMapper」、オープンソースで公開
AWSのシステム構成情報を集めて構成図を自動生成してくれる「CloudMapper」、オープンソースで公開 CloudMapperを用いることで、AWS上のシステムについて以下のような状況をすぐに把握することができると説明されています。 どのリソースがインターネットに公開されているか？ どのリソース同士がつながっているのか？ アベイラビリティゾーンが落ちたときでも十分堅牢なアーキテクチャか？ このアカウントはいくつのリージョンを利用しているか？ どれだけ大きないシステムを運用しているか？ CloudMapperを開発しているDUOは、セキュリティサービスを提供する企業。同社は自身もAWSユーザーで、さまざまなオープンソースのツールを試してみたものの満足できるようなものがなかったため、自社でCloudMapperを開発したとのこと。 CloudMapperの仕組みは、まずAWSコマンドライン
サーバーレスがアプリケーションにもたらす本当のメリットとは？「サーバーレスのポテンシャルとシステム表現」#devsumi ｜ Developers.IO
サーバーレスがアプリケーションにもたらす本当のメリットとは？「サーバーレスのポテンシャルとシステム表現」 #devsumi 「そのサーバーレス、本当に意味あるの？」 AWS re:Invent 2014で、AWS Lambdaが発表されてから丸3年が経過。サーバーレスという単語もすっかりこの界隈では定着した感はあります。 ですが、実際の開発・運用ノウハウについては、まだまだ試行錯誤が続いているのが現状じゃないでしょうか。ぶっちゃけ、既存アプリケーションのEC2をLambdaに置き換えるだけではほとんどメリット無いでしょ、という感触は、ある程度サーバーレスアプリケーションをゴリゴリ作っている人であれば、よく感じていることだと思います。 そんななか今回受講したこのデブサミのセッションでは、新しい観点でサーバーレスがもたらす恩恵やメリットを捉えることができてごっつ新鮮だったので、その模様をお届け
AWSを学ぶ上でやってよかった勉強法５選 - log4ketancho
「AWSの勉強をしたいんだけど、まず何をすればいい？」と会社の同期や同僚から聞かれることがよくあります。ありがたいことに、先日 Amazon Web Services 業務システム設計・移行ガイド (Informatics&IDEA) を出版してからは、システムエンジニアではない知人からもこのような質問を頂くようになりました。このような質問を頂いた方には、過去に有志で開催していた社内勉強会の資料を渡したり、自分の勉強方法を共有したりするのですが、自分がどのような勉強方法をしてきたか棚卸ししきれていないなと感じたので、これを機に整理しようと思います。 私について 私は、大学時代はアプリケーション系の情報専攻で、社会人になってからも入社後最初の数年はアプリエンジニアとして仕事をしていました。そのため、当時インフラサイドの知見はほとんどありませんでした。そのような状況に危機感があり、当時の上司に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSでのセキュリティ対策全部盛り[初級から中級まで]![AWSでのセキュリティ対策全部盛り[初級から中級まで]](https://cdn-ak-scissors.b.st-hatena.com/image/square/b014e56d2eedba5a43b5c5f7524c22b8b030d6e1/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Faba22209644646ee9ff21ef72d5a439d%2Fslide_0.jpg%3F14040252)
