ついにAWSのマネージドKubernetesサービス「EKS」が発表されましたね！ この記事では、これまでKubernetes on AWSに取り組んできた @mumoshu の観点でEKSについてまとめてみたいと思います。 @mumoshuって誰？ Kubernetes Incubatorのひとつ、kube-awsというKubernetesクラスタのプロビジョニングツールのメンテナです。 Kubernetes on AWSのつらみ これまでKubernetesをAWSで運用する場合の最も大きなつらみ（と思われていた）は、Kubernetesを自前でAWSにデプロイすることでした。 例えば、AzureやGCPにはそれぞれAKSやGKEといったKubernetesのマネージドサービスがあります。 AKSやGKEは「クラスタを作成する」という操作をすればKubernetesが使い始められたり、

はじめに 「Kubernetes on AWS」な環境においてIAMと連係したアクセス制御を行う仕組みとして、「kube2iam」や「kiam」などのOSSが開発されています。 それらのうちkube2iamについて、Kops等を使用して構築したKubernetesクラスタに対するkube2iamの導入手順は、既にそれなりの数の情報を見ることができます。 しかし、Amazon EKS環境については具体的な情報を見かけませんでしたので、試してみた過程をまとめました。 (既に情報が出ていればすみません) 参考にしたドキュメント・記事 kube2iam 公式ドキュメント https://github.com/jtblin/kube2iam AWS Workshop for Kubernetes / 402 - Authentication and Authorization with Kubern

Googleの２段階認証の数字を出すのにいちいちiPhone取り出すのがいつも面倒だったのでMacのターミナルに入れた。これでコマンド一発で認証が完了するのでとても快適。 このアイコンのアプリをiPhoneとかのスマフォに入れて、起動したら出てくる数字を入れるのが通常のやり方。 それをターミナルのコマンドでポンと数字だす方法。こんな風に。

Dockerでアプリケーションを配布する場合に、(一部界隈で)デファクトスタンダードになっている設定項目を環境変数とするパターンDocker なにかしらアプリケーションを開発しており、公式のDockerイメージを配布する。最近よく見かけますね。 利用者側の意見として、アプリケーションの設定には環境変数が使えると助かったりします。 なんで？ ADD/COPYがいらない 変更のたびビルドしなくていい Mountつかわなくていい Mount用のファイルを管理しなくていい docker-compose.ymlなどで完結 で、この環境変数からアプリケーションの設定というやり方、一部界隈のDockerイメージで命名規則が次のように、 {アプリケーション名}_{ディレクティブ}_{サブディレクティブ} {アプリケーション名}_{設定項目名} という感じの環境変数をUppercaseでアプリケーションに渡

最近並列的なバッチ処理でgolangを使いたくなりました。しかも大量のデータを並列で回したいので、リソースを増やしやすいdockerを使いたくなりました。 golangをdockerで立ち上げて開発するだけならそんなに難しいこともないのですが、dockerでdaemonを立ち上げようと思ったらdockerコマンドを色々駆使しなければならなかったので、dockerアドベントカレンダーにてほそぼそと公開させていただきます。 1. golangの入ったdockerを準備 a. コミュニティに管理されているdocker imageがあるのでもってくる

まえがき AWS完結でCI/CD環境を構築する時、よくお世話になるのがCodePipelineやCodeBuildですね。 CodePipelineとGitHubはWebhookで連携が可能になり、pushを検知→発火ということが出来るようになりました。 (以前はポーリングによる定期監視以外に連携する方法がなかった) しかし、開発チームの運用フローによっては「pushした瞬間じゃなくて、GitHub上でreleaseしてタグ切った瞬間にCodePipelineが発火してほしい」ということもあると思うので、ここではWebhookに一工夫加えて、任意のGitHubイベントからCodePipelineを発火させる方法について書いていきます。 本題 とりあえずどんなイベントでも発火できますが、今回はreleaseイベントを発火させる例を紹介します。 また、時々登場する --region "ap-n

JAWS DAYS 2019 - Serverless/Container/k8s/IaC/SRE/Security + ML 資料リンク集JawsDayskubernetescontainerJAWS-UGserverless はじめに JAWS DAYS 2019 のインフラ周りのセッションの資料リンク集を作りました。 twitterで私が見つけたものについてはリンクを載せていますが、 漏れているものがありましたら編集リクエストを送っていただくか、コメントでリンクとセッションのタイトルを教えていただければこちらで追加します(後日上がってきたものについては随時更新していきます)。 なお、あまり広げると編集作業が大変になると想定されます。 著者に技術スタックに関連した分野で恐縮ですが、このページではコンテナ関連技術とAWS運用周り(IaC/SRE/Security) (+ ML) 関連のセ

2019-10-5追記 この記事を書いて１年が経ちましたが、実は今もほぼ毎日いいねやストックをもらっています。 やはり、Docker の Volume が気になる人は多いんだな、と感じています。 その一方、同じテーマで書いた 『[Docker] containerが使ってる全てのvolumeをCSV出力するワンライナー - Qiita』 は、未だに「１いいね」なのですが、どちらかと言えば、こちらの記事のほうが実践的なので、紹介しておきます。 具体的には「gitからcloneしてきてdocker-composeで起動したけど、これのコンテナとボリュームってどうつながってるの？」といった疑問の解決に使える思います はじめに Docker の Volume って難しくないですか？ 理解に自信が無かった部分を、真面目に調べてまとめてみました。 これを読むとわかること コンテナ と ボリューム の違

はじめに こんなツイートを見かけました。 ・脆弱性ってなんだろう ・脆弱性対応ってなにしたらいいの？ ・情報を集めよう ・該当機器を洗いだそう ・対応方法を決めよう … みたいなまとめほしいけど意外とないから作りたい…作るしかなくない…？ — ナツヨさん@インフラ女子の日常 (@infragirl755) 2018年1月15日 たしかにそうだなぁ。生きてるシステムを運用する現場SEの気持ちになって力試しに書いてみよう。 おことわり 最初に記事スコープのおことわりです。 「 対策 」「 対処 」「 対応 」、似たような言葉ですがこれらを並べて考えたことはあるでしょうか？ 記事名には「 脆弱性対応 」という言葉を使っていますが、「対応」ということでこの記事のスコープを少し狭く取っています。 対策 ・ 対処 ・ 対応の違い 対策: 何かが起きる前に講じる処置や手段のこと。 対処: 何かが起こって

概要 インフラエンジニアとしてAWS基盤の構築・運用に携わって早1年が経ちました。 今回は自分がCloudFormationを運用する中で培ってきたノウハウや勘所をご紹介したいと思います。 なお、これがCloudFormationのベストプラクティスだとかそんなことを言うつもりはなく、 あくまで自分がこう考えてきたぞというものなので、ご参考程度にお願いします。 いろんな考え方があると思いますので、ぜひマサカリコメントお待ちしてます。 どの程度の規模で運用してきたか? サービスとしてはビッグデータ分析プラットフォームのようなものを構築しておりますが、 AWSの規模感としては大体こんな感じです。 AWSアカウント：2つ 1つは開発環境・内部結合環境用 1つはステージング環境、本番環境用 環境数：5面 開発環境 内部結合環境 ステージング環境1 ステージング環境2 本番環境 利用しているAWSサ

はじめに 今回は作業効率化をすすめるにあたって有用なfzfの利用例を紹介したいと思います。 似たようなものでpecoというのもありますが、fzfの記事が少ないと思うので、今回はfzfについて書いていきたいと思います！ (あとfzfはVimでも使えるようにサポートされているので、Vimmerの方はpecoよりもfzfかなということもあり…。) fzfとは fzf https://github.com/junegunn/fzf fzfとはCLIでインクリメンタルに曖昧な検索が可能になるGO言語製のツールです。 標準出力をパイプでfzfコマンドで渡すだけで、標準出力の内容を対象に検索できます。 上部の入力箇所でインクリメンタル曖昧検索しながら、(CLIとしては慣れ親しんだキーバインドの)Ctrl-n,Ctrl-pで下部のリストから選択することができます。 (もちろんカーソルキーでもOK) 最初は

はじめに **私は決してAppleやMacのことが嫌いなわけではありません。**重要なので先に言っておきます！ これまで、毎年多くのApple製品を購入するほど大好きな部類の人間でした。 どんなレベルかというと、デスクトップパソコンはiMac、ノートパソコンはMacBook Pro、外付けディスプレイはApple Thunderbolt Display、マウスやキーボードはApple純正（トラックパッドももちろん必要）、タブレットはiPad、スマホはiPhone、スマートウォッチはApple Watchという感じです。 しかし、近年どんどんApple製品について不満が湧いてきて、私はメインPCの脱Macをすることにしました。 さて、デザイナーとして生きている私は脱Macを出来たのでしょうか。 詳しくお伝えしてまいります！ では、まずはMacを使うことのデメリットとメリットから。 Macを使

DBのレイヤーを含むエンドツーエンドテストやDBに依存したコンポーネントの自動テストがたくさんあると、全てのテストが終わるまでに長い時間がかかるようになってしまうことがあります。DBのクエリ実行はネットワークIOやディスクIOなどを含んだ高コストな処理だからです。 Docker を少し工夫して使うと、お手軽にテスト中のDBのクエリ実行にかかる時間を削減できます。自動テストが完了するまでの待ち時間を短縮し、開発のフィードバックサイクルをより早く回せるようになります！ MariaDB を用いたプロジェクトの実績では、DBアクセスを伴うテストケースが 153件 ありましたが、この方法によりそのテストスイートのローカル環境での実行時間を約 43% 削減できました（約 145.7s → 約 83.3s）。 どうやって？ Docker で tmpfs を使います。 tmpfs tmpfs とは、ディス

Webサービスでアカウント削除機能を要求するユーザの話はよく聞くわけですが、これには残念ながら全く意味が無いと、1Webエンジニアであるぼくは思っているのですが、その理由をだらだらと書いてみようと思います。非エンジニアでも分かるように書いたつもりですが、作者が特にそういう能力に秀でているわけでもないので難しいかもしれません。 技術的な問題 現代の多くのWebサービスはデータの保存をRDB(SQL)に依存しています。これには色々特徴があるわけですが、実際の実装を想定して説明していきましょう。 ユーザがいます。ここではUserというTableとしましょう。RDBで定義したTableは同じ形式の物を沢山保存することができます。なので、作られた沢山のUserは1箇所のTableに纏めて配置されます。 Twitterみたいなサービスを想像すると、ここでTweetできる必要がありますね。TweetはT

はじめに 前日は mike_neck さんの AWS Lambda のカスタムランタイムにて Java のカスタムランタイムで関数を動かす でした。 偶然にも（？）今日も引き続き、 Lambda Custom Runtime で Java を動かす話です。 AWS Lambda 提供する言語の一つに Java があります。 Java はホットスタートの処理速度は速いもの、コールドスタートでは 5 から 10 秒ほど要することがあります。 また、メモリ消費量も多く Lambda と Java の組み合わせは速度重視の場面では使われていないように思います。 2018年の re:invent で、 AWS Lambda の Custom Runtime が発表されました。 お作法に従いさえすればどのような言語でも Lambda として実行可能になりました。 さらに近年 Java 界隈では新しい

The Qiita Advent Calendar 2018 is supported by the following companies, organizations, and services.

2017年のZ Lab Advent CalendarでもIstio入門シリーズについて書きました。あれからはや1年。Istioのバージョンもv0.2からv1.0.4まで11バージョンもリリースされています。またIstioで使われているEnvoyは、Kubernetesなどと同じご卒業フェーズ1になりました。 もちろんコンセプトは変わっていませんが、v0.8あたりからv1にむけてコンポーネント名や設定方法などは大幅に変更されています。これらの変更点に注意しつつ、Istioを基本から振り返って見ましょう。2 マイクロサービスとその問題点 マイクロサービスというシステムの設計パターンは2012年ごろから言われていましたが、世界的にバズったのは2014年のJames Lewis & Martin FowlerによるMicroservicesについてのブログ記事がきっかけです。 マイクロサービスと

最近Qiitaで、全ての開発者がQiitaへのアウトプットをやめるべき理由という記事を見つけました。この記事を読んだ率直な感想は、「云わんとしていることは分かるが、解決策間違ってね？」というものでした。 僕は逆に、「Qiitaがこのように変わってくれたら、もっと良記事が増えて、Qiitaへ来る人が増えて、日本のエンジニア界隈がさらに盛り上がるのではないか」という視点で、Qiitaに投稿するという形で意見を書きたいと思います。 意見とは、タイトルにもあるように、Qiitaでお金が稼げるなら質の高い記事がもっと増えるのではないかというものです。 なぜエンジニアはQiitaに記事を書くのか エンジニアがQiitaにアウトプットをする一番大きな理由は、 日本のエンジニアが集まるプラットフォームとして最大級だから だと思っています。Qiitaに質の高い記事を書けば多くのエンジニアが注目してくれて、半

（タイトルは流行に合わせて付けました） エンジニアのアウトプット、Qiita記事の質、おかしな記事のアカウント停止等、Qiita周辺で色々と話題が耐えない昨今ですが Qiitaでのアカウント停止に関する考えについて - Qiita Blog という記事が発表され Qiitaでは「技術的にレベルが低い」「技術的に間違っている」「Qiitaというサービスや運営に批判的である」といった理由で記事の非公開化やアカウント停止という措置を取ることはございません。 と明言されたのでこの機会にQiitaに記事を書くのをやめるべきだと思う理由を書かせていただきます。 アウトプット＝Qiitaではない 「エンジニアのアウトプットは大切」 「Webでアウトプットが確認できると採用可能性が上がる」 これらは事実でしょう。しかしアウトプット先がQiitaである必要は全くありません。 むしろ個人サイトのほうが技術証明

背景 Dockerfileを静的解析したいと思い便利なツールがないかと探していたら発見しました。 DockerfileのLintツール ◆ hadolint/hadolint エラーが出るDockerfileをビルド前に検知してくれます。 ちなみにHaskellで書かれているようです。 現時点での最新バージョンはv1.15.0でmac等にも対応している。 GitHubのスター数は1000程である。 lintとは wikiより引用 lint とは、主にC言語のソースコードに対し、コンパイラよりも詳細かつ厳密なチェックを行うプログラムである。 型の一致しない関数呼び出し 初期化されていない変数の参照 宣言されているが使われていない変数 同じ関数を参照しているが、戻り値を使う場合と使わない場合がある[疑問点 – ノート] 関数が戻り値を返す場合と返さない場合がある など、コンパイラではチェックさ