EKS初心者の方向けに、EKS周辺のAWSリソースがどのように関連して動作しているのかをステップバイステップでEKSCTLが担っている役割を中心に説明しました。 先日、「EKS祭り」をテーマにJAWS-UGコンテナ支部 #16を開催しました。 JAWS-UGコンテナ支部 #16〜EKS on Fargateローンチ記念！EKS祭りだワッショイ - connpass EKS縛りというだいぶ濃いイベントの中で、自分はトップバッターで「今こそ振り返るEKSの基礎」と第して喋ってきたのでその内容をまとめます。基礎といえども普段隠れがちなEKSに関連するAWSリソースについてフォーカスを当てたある意味マニアックな内容だと思うので、EKS気になる方は是非ご覧ください。 （祭） ∧ ∧ Y　 ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉     EKS ﾀﾉｼｲﾖ ｺﾚﾏｼﾞﾃﾞ |_|＿| し'´Ｊ この記事の

コンニチハ、千葉です。 監査ログを悪意ある削除から、何が何でも守っていくぞのコーナーです。 みなさんは、AWSの監査ログ(CloudTrail)をどのように保護していますか？ CloudTrail を保護するために CloudTrail ログファイルの整合性の検証を有効化 CloudTrail ログファイルを暗号化 S3上のファイルを削除から守るために MFA削除の設定 が考えられます。 よし、保護している！って思っても、ユーザーが Admin 権限を持っている場合、暗号化していようが整合性チェックしていようがデータは削除可能です。しかも、 CloudTrail のレコーディング自体を停止 もできちゃいます。つまり、監査ログが保存されなくなり、何が行われたのか調査が難しくなります。 もしも、万が一、強い 権限がある Admin が第３者に渡ったとしても、大切なログを守りたいです。Admin

こんにちは、テクニカルトレーナー/マネージャーの西村 (@kuwablo) です。 AWS トレーニングのトレーナーを担当しつつ、お客様の AWS 学習を支援する記事を公式ブログや builders.flash に投稿し、チームメンバーのマネジメント業務も合わせて行っています。 突然ですが、皆さんは普段の仕事でネットワーク機器の設計や保守などは担当していますか ?「ルーターはマシンルームで見たことはあるけど触ったことはない。」「アプセトネデブ (OSI 参照モデルの 7 つの階層の暗記術) とか昔ちょっと勉強したけど忘れちゃったな。」という方から「俺はネットワーク生まれデータセンター育ち」という方までいらっしゃると思います。 私がトレーニングを実施する際に「自分のチームのメンバーにネットワークを勉強してもらいたいんだけど、何か良い方法ありますか ?」「アプリ開発者ですがインフラを体系的に勉

Cluster Autoscalerとは、 The cluster autoscaler on AWS scales worker nodes within any specified autoscaling group. It will run as a Deployment in your cluster. との事で、EKS Worker Nodeの数をいい感じに管理してくれるものです。各種ドキュメントを参考に、利用方法を確認します。 AWS - Cluster Autoscaler GitHub - Cluster Autoscaler 環境 Kubernetes(EKS) 14.9 eksctl 0.13.0 Cluster Autoscalier v1.14.7 EKS Clusterの用意 eksctlを利用して、EKS Clusterを作成します。 Master Nodeの作

はじめに SRE部 ECプラットフォームSREチームの小林 (@akitok_) です。 ZOZOTOWNでは、マイクロサービス間通信におけるトラフィック制御のために、Istioによるサービスメッシュを導入しています。本記事ではZOZOTOWNのマイクロサービスプラットフォーム基盤（以下、プラットフォーム基盤）において、Istioをいかにプロダクションレディな状態で本番に投入していったか、その取り組みを紹介します。 なお、Istioによるサービスメッシュを導入した背景については、以下の記事で紹介しています。 techblog.zozo.com はじめに What is Istio? Istioをプロダクションレディにするまでに直面した3つの課題 どのようにリソース消費量を見積もるか Data Planeサイジング Envoyプロキシのチューニング 負荷試験 Istioベンチマーク試験 サー

サービスの信頼性をあげるため用いられる前衛的なデプロイメントパターンの一つであるProgressive Deliveryについて説明します。 来週からのKubecon 2019 North Americaでもこれに関するセッションがあり、注目に値すると思いますので興味があれば一読お願い致します。 KubeCon + CloudNativeCon North America 2019: Leveling Up Your CD: Unlocking Progressi... Speakers Principal Engineer, Intuit Jesse is a Principal Engineer at Intuit and a core contributor and technical lead…

本文の内容は、2021年3月9日にÁlvaro Iradierが投稿したブログ(https://sysdig.com/blog/dockerfile-best-practices/)を元に日本語に翻訳・再構成した内容となっております。 Dockerfileのベストプラクティスのクイックセットをイメージビルドに適用することで、セキュリティ問題を防ぎ、コンテナ化されたアプリケーションを最適化する方法を学びます。 コンテナ化されたアプリケーションやマイクロサービスに精通している人なら、自分のサービスがマイクロサービスであることに気づいているかもしれません。しかし、脆弱性の検出、セキュリティ問題の調査、デプロイ後の報告や修正など、管理のオーバーヘッドがマクロな問題になっています。 このオーバーヘッドの多くは、セキュリティをシフトレフトし、開発ワークフローの中で可能な限り早く潜在的な問題に取り組むこ

こんにちは！ 内閣官房IT総合戦略室の広野 萌と申します。 普段はアプリやWebサービスをつくるデザイナーとして働いています。 今年の4月に、デジタル庁創設に向けた民間人材として内閣官房に入庁して、非常勤の国家公務員となりました。 現在の担当領域は「情報発信基盤」ということで、主に 1. 政府 → 国民への情報発信 2. 国民 → 政府への意見募集 3. 政府 ↔ 自治体の情報交換 の3つの観点で奔走していく予定ですので、今後のnoteで楽しみにしていただければと思います。 ところで、デジタル庁って知ってますか？ 説明しますので、30秒だけお時間ください！ デジタル庁とは？ひとことでいうと、2021年9月に設置される予定の「社会全体のデジタル化を主導する官庁」です。 今までは、それぞれの省庁が自分の領域の法律や規制のシステムを作っていたので、となりの省庁のことはもちろん、となりの課のことも

こんにちは佐々木です。 先日、VPCのFAQに追加された項目が話題となっていました。2 つのインスタンスがパブリック IP アドレスを使用して通信する場合、トラフィックがインターネットを経由するかどうかという問いに対して、AWSがノーと言っています。これは、どういうことなのでしょうか？ これがプライベートネットワークの通信と明示された意味は大きい 『Q:2つのインスタンスがパブリック IP アドレスを使用して通信する場合、またはインスタンスが AWS のサービスのパブリックエンドポイントと通信する場合、トラフィックはインターネットを経由しますか?』https://t.co/uy26KyCZKn— Takuro SASAKI (@dkfj) 2021年4月22日 このことを起点に、インターネットとは何か、AWSのネットワークの現状について考察してみます。難しい事を言っていますが、みんな疑問に

CyberZ CTO室のメンバーの森 (@at_sushi_at) です。 先日、株式会社サイバーエージェントの2021年度 エンジニア新卒研修でコードの品質に関する講義を行いました。 そこで話した内容とスライドを完全公開します。 45分の内容のため、かなり長いですが、個人的にぜひ一読して欲しい内容になっています。 はじめに こんにちは、森 篤史と言います。2019年度入社で今年で3年目になります。株式会社CyberZのOPENREC.tvというプロダクトでAndroidアプリチームのリーダをやっています。 最近はプログラムを書く仕事以外に、次世代マネジメント室という全社横断組織でDevelopers Blogの改善プロジェクトを実行したり、CyberZ CTO室で組織活性化に取り組んでいます。 あと、2019年度の未踏スーパークリエータにも認定されました。 メインの仕事としては、入社して

Open Service Broker for さくらのクラウド Cloud Foundryやkubernetes-incubatorのservice catalogでおなじみ?のOpen Service Broker APIをさくらのクラウド向けに実装しましたのでご紹介させていただきます。 Open Service Broker for SAKURA Cloud Open Service Broker APIってなに？ Open Service Broker APIとは、Cloud Foundry由来のService Brokerの仕組みをkubernetesなどのCloud Foundry以外の環境でも利用できるようにHTTP APIの仕様を定めたものです。 その前にService Brokerってなに？ Service Broker(サービスブローカー)とは、プラットフォーム(Clo

こんにちは、SRE部の谷口（case-k）です。 本記事では、EC2 Image Builderを使いRedashの運用改善を行った事例をご紹介します。運用しているRedashについてご紹介し、その後、Redashの運用課題に対してEC2 Image Builderでどのように解決したかTipsも踏まえご紹介します。 余談ですが全国どこでも働けるようになったので沖縄に住めています(感謝！) https://press-tech.zozo.com/entry/20210118_zozotechpress-tech.zozo.com 目次 目次 運用しているRedashの紹介 役割 インフラ構成 クエリ実行の流れ EC2インスタンス起動時の処理 Redashの運用課題 EC2 Image Builderによる課題解決 EC2 Image Builderの紹介 各リソースのTips 事前準備 コ

In our previous guide, we documented 10 Docker anti-patterns. This guide has been very popular as it can help you in your first steps with container images. Creating container images for your application, however, is only half the story. You still need a way to deploy these containers in production, and the de facto solution for doing this is by using Kubernetes clusters. We soon realized that we

Amazon Web Services ブログ 新機能 – AWS WAF Bot Control でウェブサイトの不要なトラフィックを削減 AWS Shield の脅威調査チームが行った調査では、一般的なウェブアプリケーションに向けられたトラフィックの内の最大 51% は、マシン上で実行されるスクリプト (いわゆるボット) に由来することが判明しています。エンドポイントには、(望まいものや、そうではないものを含め) 多種多様なボット がヒットします。 適切なボットは、サイトをクロールしてインデックスを作成し、顧客から見つけやすくするためのものです。それ以外のボットは、サイトの可用性やパフォーマンスの監視を目的にしています。そして、こういったトラフィックの大部分は、不適切なボットによって生成されています。これらのスクリプトでは脆弱性を調査していたり、運営者の同意なしにコンテンツをコピーして

はじめに SRE部プラットフォームSREチームの川崎 @yokawasa です。 ZOZOTOWNではモノリシックなアーキテクチャーから、優先度と効果が高い機能から段階的にマイクロサービス化を進めています。本記事では、そのZOZOTOWNの段階的なマイクロサービス移行で実践しているカナリアリリースとサービス間通信の信頼性向上の取り組みについてご紹介します。 なお、ZOZOTOWNのリプレイス戦略ついてはこちらのスライドが参考になります。 speakerdeck.com さて、ZOZOTOWNマイクロサービスプラットフォーム（以下、プラットフォーム）はAWS上に構築しており、コンテナーアプリ基盤にマネージドKubernetesサービスであるEKSを採用しています。また、複数サービスを単一Kubernetesクラスターで稼働させる、いわゆるマルチテナントクラスター方式を採用しています。 下記イ

AWS 環境で発生した問題をスムーズに解決し、デプロイされた修正による影響を監視するためには、AWS のメトリクスと健全性シグナルにすばやくアクセスすることが最優先です。Datadog はこの度、AWS とのパートナーシップを通じて、新機能である CloudWatch メトリクスストリームを発表しました。これを利用して、AWS ユーザーは Amazon Kinesis Data Firehose 経由で、主要な AWS サービスから Datadog を含む異なるエンドポイントへと迅速にメトリクスを転送することができるようになります。 CloudWatch メトリクスストリームを使用して AWS メトリクスを Datadog に送信すれば、GetMetricData の API コールを用いた場合よりもレイテンシーを最大 80% 抑えることができます。Kinesis Data Firehos

same-site/cross-site, same-origin/cross-origin の違いを曖昧なままにしておくと、分からないことや誤解がモリモリ増えていきますので、早いうちに定義を覚えちゃいましょう。 元記事はこちら: Origin とは Origin は scheme (http とか　https とか)、hostname、port の組み合わせを指す。same-origin と言った場合、これらすべてが一致するものを示している。一部でも異なるものはすべて cross-origin。 Origin A Origin B 解説

話したネタ 山喜旅館でたまたま会って急遽収録 これまでデータベースがぶつかってきた問題について メモリが高価、HDDはメモリに比べれば安いのでそれを使っていく HDDはシーケンシャルアクセスならランダムアクセスより早い IBMのInformation Management System(IMS) CPUとメモリの間のキャッシュ、メモリとHDDの間のキャッシュの違いとは？ バッファプールをHDDに対するキャッシュとして使う IBM ARIESの公開 WAL / Write Ahead Logging ログの中にundo/redoの両方が必要 ログシーケンスナンバによるリカバリ バッファプールを食わせるデータ量を増やすのが最適化の一歩 マルチコア時代への突入、メモリのビット単価の低下 インメモリDBの問題 論文ジェネレータとは？ データベースは研究のトレンドとしては人気がなかった Writeが