Amazon Elastic Container Service (Amazon ECS) introduces Amazon ECS Exec - a simple, secure, and auditable way for customers to run commands in a container running on Amazon Elastic Compute Cloud (Amazon EC2) instances or AWS Fargate. ECS Exec gives you interactive shell or single command access to a running container making it easier to debug issues, diagnose errors, collect one-off dumps and sta

話したネタ dockerを立ち上げたときに、ネットワークに何が起こるのか？ iptablesでは何が起こるのか？ dockerのbridgeとは何なのか？ libnetworkとは何か？ docker network pluginを作るためには、何を書くのか？ dockerを使うと出てくるvethとは何なのか？ dockerコンテナのIPを誰が振っているのか？ IPAMとは？ dockerから出ていくとき、どういう要素を通って外に出ていくのか？ –network host の Host とは？ Overlayとは何か？ VXLANとは？ BUM(Broadcast, unknown-unicast and multicast traffic)トラフィック問題 ARPプロキシ ARPの情報をどうやって、あらかじめ知っておくのか？ VXLANはVLANの拡張か？ VXLANではどうやってカプセ

S3 へのアクセス元を限定する場合に、複数の否定条件を使った Deny でバケットポリシーを書くことがありますが、これは AND 条件なの？ OR 条件なの？ と混乱することがあるので、わかりやすく図解で考えてみました。 想定環境 今回、想定する環境は下図のとおりです。前提条件として「同一アカウントの IAM ポリシーで、S3へのアクセス権限は与えられている」(明示的な Allow は不要)とします。 "192.228.xx.xx/32" はインターネット経由のアクセス "10.0.0.0/24" は、VPC エンドポイント経由のアクセス バケットポリシーのおさらい バケットポリシーについては、弊社 北野の記事がとても参考になります。 S3バケットポリシーの具体例で学ぶAWSのPolicyドキュメント 押さえておきたいのは以下の図です。 つまり複数条件を書く場合、以下のいずれかになります。

スクラムってカタカナ語が多くて人に説明しにくいって言われたので、スクラム用語使わないで説明する資料作ってみた https://t.co/KiFxXjMNgs

この記事は私が過去 3 年ほど Kubernetes に携わる中で学んだ、ちょっと見つけにくい知識をまとめたものです。 特にカスタムコントローラーを開発するような人に必要となる知識群です。 感想とか指摘とかあれば Twitter までお寄せください。 更新履歴 2021-03-05: "コンテナの resources.limits と resources.requests の違いについて" の項を補足しました (thanks to @superbrothers) API コントローラー実装 プログラムと連携動作 資源管理 ネットワーク モニタリング アクセスコントロール API kube-apiserver が備える拡張機構を列挙しなさい 回答例 Custom resources: OpenAPI スキーマで独自のリソース型を追加できる Aggregation layer: kube-ap

プラットフォームの上でものを作るということ Amazon EKS Advent Calendar 2019 の最終日です. みなさまご存知の通り、AWS には Amazon ECS と Amazon EKS という2つのコンテナオーケストレーションに関するサービスがあります. ECS は2014年に発表された AWS ネイティブなコンテナオーケストレータ、EKS は OSS のコンテナオーケストレータである Kubernetes をマネージドな形で提供するサービスで、2017年に発表されました. 今日はこの Amazon ECS と Amazon EKS という2つのサービスについての話を書こうと思います. // 読んでくださっているみなさまをミスリードしないための DISCLAIMER 本記事の著者は AWS に勤めています. また、この記事には僕個人の意見や想いも強くこもっています.

理論編: Telepresenceってなに Telepresenceとはリモートクラスタに対してより早く、ローカルで開発することを支援するツールです。現時点(2019/05/28)での最新バージョンは0.99です。 「より早く、ローカルで開発するのを支援するツール」ができることは、大きくまとめると以下の2つです。 クラスタのDeploymentをローカルサーバーと置き換える クラスタにローカルからアクセスをする これらの恩恵として ローカルサーバーのリモートクラスタの他サービスへアクセス ローカルサーバーのKuberenetesクラスタのリソースであるsecretsやConfigMapのアクセス リモートクラスタのローカルサーバーへのアクセス が挙げられ、より簡単に開発をできるようになります。 0. 今回のサービス例 例えば以下のようなサービスがあるとします。このサービスがやることは以下の

この問題を解決するため、もともとのコードベースであるところのモノリスもコンテナ化してKubernetesに乗せることにしました。ツールセットの統一をすることでよりシンプルな体系ができ、プラットフォームチームも一つの環境向けの改善に注力できるようになります。 プロジェクトの流れ PoC 計画についてあたため始めた際にちょうどよくUSチーム内でのハッカソンイベントがあったため、それに合わせて試しにKubernetesで動かすデモを発表しました。デモで見せる部分はごく限られたものだったため3人で3日くらい集中して開発したところ動くものができあがりました。 デモの評判は上々でEM、CTOに説明し実際にプロジェクトとしてすすめられることになりました。 現状分析 プロジェクト始動後、まず実施することは現状分析とどう移行するかの設計です。ここでのどの程度システムを把握できるかが計画の精度を決めます。しか

はじめまして、HeaRの半田です。 2019年も残りわずか。せっかくなので、インプットができるようにオススメの記事をまとめてみました。 もちろん2019年と限らず、お正月にでもゆっくり読んでいただければと思います。 このnoteでは、オススメの記事がテーマ別に分かれているので、ぜひ参考にしてみてください。 〜面接編〜来年は「カジュアル面談」って呼んで「面接」をしないで下さいね面接を型化させてしまっている企業が、つい間違って行ってしまう… “カジュアル面談もどき” カジュアル面談の定義からゴールまでしっかり抑えておきましょう！ 採用の面接官を手伝うことになった時に心がけた方が良いというマニュアル的なものについて現場のメンバーに面接に加わってもらっている企業も少なくありません。 ただ、面接にカジュアルに挑んで欲しいという思いがあるとともに、候補者の方の意欲をさげることなく、良い面接を実施して欲

こんにちは。SRE部BtoBチームの岩切です。普段はBtoB事業における自社ECサイトの運用保守・監視をしています。 今回2020年11月27日にオンラインで開催されたAWS GameDayに参加しました。 本記事では、GameDayイベントで得た学びから実際の業務へどのような効果があったかを共有します。 AWS GameDayについて 今回のAWS GameDayでは、開催前の別日に事前勉強会が2時間、GameDay本番が5時間ほど開催されました。 合わせて17社31チームの123名が参加しており、参加人数の多さからGameDayへの注目度が伺えます。 GameDay概要 GameDayはAWS環境に触れた経験のある人向けです。障害時のトラブルシュートを学び、本番での対応方法を実践的に体験学習できます。以下が概要です。 障害対応の訓練。 本番同様の環境がAWSから提供される。 アプリケー

VimでMarkdownを書くために様々なプラグインが存在しています。 その中でも私は、preview-markdown.vimを使用していました。 このプラグインは、Vim上でMarkdownを表示することができる、とても便利なプラグインです。 ただ、リアルタイムプレビューやカーソル追従の機能が欲しくなってきました。 いい機会なので、Vim script入門も兼ねて自作Vim Pluginに挑戦しました。 本記事では、初めてのVim scriptで作成した自作Plugin及び使用したVim Scriptの機能について紹介したいと思います。 作ったやつ 仕組み Markdownの表示には、glowというterminalベースのMarkdown readerを使用しています。 glowについて glowでは、-pオプションを使用してpagerを指定して表示することができます。 今回は、pag

こんにちは。ZOZOテクノロジーズSRE部の市橋です。普段は主にAWSを用いてプロダクトのシステム構築、運用に携わっています。今回は弊チームで取り組んでいるZOZOMATのシステム改善業務の一例として、JVMの暖機運転の仕組みを取り入れた話をご紹介します。 ZOZOMATとは お客様の足を3Dで計測するために開発された計測用マットです。ZOZOMATでの計測情報をもとに、靴の推奨サイズを参照するなどのサービスをご利用いただくことが可能です。ご興味のある方はこちらをご確認ください。 JVMの暖機運転とは 今回テーマとして取り上げるJVMの暖機運転とは何かについて簡単に触れていきます。JVMではJIT（Just In Time）コンパイラによるコンパイル方式が取り入れられています。これはアプリケーションの実行前にプログラムの全てを機械語にコンパイルするのではなく、プログラムの実行時にコンパイル

シェルスクリプトで set -e しておくとコマンドの返り値が非ゼロ (エラー) のときにスクリプトを止めることができる。 この機能を使うと、コマンドの実行結果がエラーになった状態で処理が突き進んでしまうことを防止できる。 ただ、この機能は便利な反面、スクリプトが意図せず止まってしまうこともある。 今回は、それを回避する方法について。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.6 BuildVersion: 18G103 $ bash --version GNU bash, version 3.2.57(1)-release (x86_64-apple-darwin18) Copyright (C) 2007 Free Software Foundation, Inc. もくじ もくじ set -e

MySQLでは、さまざまな処理においてタイムアウトオプション値の設定が可能です。それらのタイムアウトオプションは処理ごとに別のオプションを持っている場合が多く、どの処理が対応しているのか迷ってしまうことがあります。 今回は、いくつかのタイムアウトオプションについて紹介したいと思います。MySQLのバージョンは5.7.22を使用しています。 SHOW GLOBAL VARIABLESからtimeoutで部分一致検索すると、以下のようにオプションが確認できます。このうちのいくつかを紹介します。 mysql > > show global variables like '%timeout%'; +-----------------------------+----------+ | Variable_name | Value | +-----------------------------+--

EXPLAINステートメントとは EXPLAINは、SQLの実行計画に関する情報を取得するためのステートメントです。実行計画とは「どのインデックスを使って（あるいはインデックスを使わずにテーブルスキャンで）クエリーを処理するか」をMySQLが判断した結果のことです。「インデックスはちゃんと使われているだろうか」「インデックスでどこまでクエリーを効率的に処理できているだろうか」という疑問が湧いた時には、「とりあえずEXPLAINで」となりますよね。 EXPLAINのマニュアルはこちらに、EXPLAIN の出力結果のカラムの意味についてはこちらに記載があります。 EXPLAINの何を見るか たとえば、次のような重いクエリーがあったとしましょう。 mysql> SELECT COUNT(some_column) FROM some_table WHERE some_column = xxx; +

大学や大学院で論文の書き方を鍛え上げた人たちには遠く遠く及ばないが、僕の様なはぐれもの1でも最近は Amazon 社内で文書の質が高いと評価してもらえるまでにはなった。Software Engineer として、コードでのアウトプットはもちろん大事だけど、文書のアウトプット(およびそれによって得られた実際のアウトプット)は同じだけ重要である2。今回は自分が最近どういうところに気をつけて技術文書を書いているのか、ということについて数年後の自分が忘れてないことを確かめられる様にまとめておく。 そもそも文書とは？ 英語だと document。ここで指す(技術)文書とは、人間が読む文体で書かれた技術に関連する情報、といったものだ。具体的に言うと以下の様なものを想定している: 新しいプロジェクトの骨子を説明する資料 会議の叩き台となる 1 枚ペラ 本番環境に変更を加えるにあたっての包括的な情報や具体

こんにちは。SRE部の塩崎です。七味唐辛子の粉末を7種類に分類するという趣味を発展させて、おっとっとを新口動物と旧口動物に分類するという趣味を最近発明しました。 BigQueryは非常にパワフルなData WareHouse(DWH) SaaSであり、大容量のデータを一瞬で分析できます。しかし、課金額がスキャンしたデータ量に比例するという特徴があるため、意図せずに大量のデータをスキャンしてしまい大金を溶かしてしまうことを懸念する人もいます。 qiita.com そのため、課金額が大きすぎるクエリを発見した際にSlackへ通知する仕組みを作りました。GCP Organization内の全プロジェクトで実行されたBigQueryの監査ログをリアルタイムにチェックすることによってこの仕組みは実現されています。本記事では作成したシステムを紹介します。 なお、本記事は以下のQiita記事に着想を得た