github.com nginx でヘッダー情報を変更できる headers-more-nginx-module を試してみた．nginx に標準に入っている Module ngx_http_headers_module と比べて Content-Type や Content-Length などのビルトインヘッダーを消すことができる点にメリットがある． This is an enhanced version of the standard headers module because it provides more utilities like resetting or clearing "builtin headers" like Content-Type, Content-Length, and Server. ディレクティブ headers-more-nginx-module に含

今すぐに導入する機会はなさそうだけど，前から気になってた Alpine Linux の情報が欲しくて「Alpine Linux Meetup Tokyo #1」に参加してきた．簡単にメモっておこうと思う． alpine-linux-meetup.connpass.com アイスブレイク @tori_cluster 最初は Alpine Linux とは何？という話で，参考になるドキュメントの紹介が中心だった．個人的に Alpine Linux 未経験で勉強会に参加したため，基礎的な話を最初に聞けて凄く助かった． index | Alpine Linux docker-alpine :: viewdocs.io Alpine Linux package management - Alpine Linux musl libc Docker Hub を見ると alpine と gliderlab

今日は「AWS Fargate Advent Calendar 2017」23日目の記事として，Fargate を試した感想と，デプロイツールの ecs-deploy で Fargate にデプロイできるようにする話を書いてみたいと思う．アドベントカレンダーの記事はどれも本当に素晴らしくて，Fargate 最高！という空気感が伝わってくる．東京リージョンでも使いたいなぁー！ qiita.com 今までの ECS を振り返る 既に本番環境で複数の ECS クラスタを運用していて，スケーラビリティ／運用のしやすさ／可搬性など，様々なメリットは感じているけど，やはりコンテナインスタンスを意識して設計する必要があった． 例えば，デプロイ戦略で言えば Minimum Healthy Percent と Maximum Percent を考える必要があり，デプロイ時に Desired Count のキ

Mackerel Meetup #11 に参加して，コンテナ関連の事例紹介をしてきた．参加レポートを書く！（全ての資料が公開されたら追記する予定） mackerelio.connpass.com The 2018 Mackerel Product Roadmap 最近リリースしたオススメ機能 アクション支援 プラグインレジストリ イベント通知 キーボードショートカット 公開グラフ ロードマップ アラートグループ コンテナサポート カスタムダッシュボード V2 機械学習の活用 Prometheus Affinity 非常にワクワクする発表だった．「コンテナサポート」はとにかく期待で，課金体型の見直しだけじゃなく，コンテナフレンドリーな仕組みでリリースされると良いなと思う．あと「カスタムダッシュボード V2」も気になる． speakerdeck.com AWS で実現した Mackerel 時

CircleCI を使って，ECS に Docker コンテナをデプロイする方法を調べていたら，CircleCI が公開しているサンプルプロジェクト circleci/go-ecs-ecr の存在を知ったので，さっそく試してみた． circleci/go-ecs-ecr を動かすと，Golang の API が動く Docker イメージを作成して，ECR にプッシュして，ECS にデプロイする，という流れを簡単に試すことができる．僕自身が ECS に入門したばかりなので，勉強のキッカケとしてもお手軽でとても良かった． github.com ザックリと構成図を書くと，こんな感じになる． circleci/go-ecs-ecr を Fork する まず最初に circleci/go-ecs-ecr を Fork する．このままだと circle.yml と deploy.sh に定義されたリ

2016年に USENIX Conference で発表された論文「Design patterns for container-based distributed systems」を読んだ．タイトルの通り，コンテナのデザインパターンがまとまっていて，これからコンテナ設計をする人も，既にコンテナを運用している人も，デザインパターンを学べるのは価値があると思う．一部ミスリードをしているかもしれない． Design patterns for container-based distributed systems 論文も公開されている． https://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/45406.pdf パターン一覧 Single-container management pattern

CircleCI には便利な Auto-cancel redundant builds があり，有効にしておくと，同じブランチに対して複数回ビルドがトリガーされた場合に，自動的に過去のビルドがキャンセルされる．繰り返し git push をして，さらに CI 時間が長いような場合には，無駄な待ち時間を減らせたり，ジョブの詰まりを減らせたりする．この機能は CircleCI 1.0 時代からあったけど，もしかしたらあまり知られていないかも？ Auto-cancel redundant builds with Workflows ついにWorkflowsでAuto Cancelling Redundant Buildサポートされました(まだPreviewですが)🥳同じブランチで複数のジョブが走った場合、古いジョブを自動でキャンセルしてくれる機能です。これを使うとコミットが多いプロジェクトでも

php-fpm (FastCGI Process Manager) の調査をしていて，学びが多かったので，簡単にまとめておこうと思う．予想していた以上にパフォーマンスが出てないことに驚いたけど，SRE として，インフラ改善 + アプリケーション改善の施策を考えて実行していかないとなー！ 重要なパラメータ php-fpm の設定ファイル /etc/php-fpm.d/www.conf で，特に重要なパラメータは以下の5個だった． なお，今回は pm = dynamic の前提としている． pm.max_children pm.start_servers pm.min_spare_servers pm.max_spare_servers pm.max_requests pm.max_children fork 可能な子プロセスの最大値を意味する． ; The number of child p

今月のアップデートで，Mackerel コマンドラインツール mkr の公式 Docker イメージが公開された． mackerel.io mkr monitors { pull / diff / push } 2年前に記事を書いているけど，CircleCI と mkr を組み合わせて Infrastructure as Code にした Mackerel の監視ルールを CI で回している．検証などで，一時的に修正した監視ルールがそのまま残ってしまうことを検知できるので，非常に便利！ kakakakakku.hatenablog.com ただし，8月末で CircleCI 1.0 のサポートが終了してしまうため，今までの仕組みをコンテナ化して，CircleCI 2.0 に対応させる必要があった． circleci.com kakakakakku/mkr https://hub.docke

Amazon Elasticsearch Service に含まれてる Kibana に対して IP ベースのアクセスポリシーを設定したいと思って検証していたが，うまくできなかった．うまくできなかったけど，試したことを残しておこうと思う．もしかしたら僕の調査不足なだけかもしれないので，もし設定する方法があったら教えて頂きたいなと！！！ 設定したかったこと 本番環境で Amazon Elasticsearch Service を運用することを考えたときに「開発端末から誤って更新系のクエリを飛ばしてしまったというような事故は防ぎたいけど，オフィスからは Kibana に対するアクセスだけは許可して分析できるようにする」という設定をしたかった． Amazon Elasticsearch Service では IP ベースのアクセスポリシーを設定することができるので，オフィスの IP を設定すれば

昨日，ヒカリエで開催された勉強会「F.O.X Meetup」に参加して，発表をしてきた．勉強会のテーマが「スタートアップのチームビルド」だったため，今回は「さぁ！今すぐプロジェクトリーダーに立候補しよう」というタイトルにした．発表資料の公開と合わせて，補足をまとめる． 発表資料 プロジェクトをリードする技術 今回の発表資料は，4月に公開した社内勉強会資料「プロジェクトをリードする技術」のアップデート版という位置付けで，合わせて学べるように作った．コンテンツもカブりすぎないように考えて，今回新しく盛り込んだコンテンツも多くある． 「プロジェクトをリードする技術」を公開して以来，多くのスタートアップ／プロダクトチームからオファー／相談があり，できる限りのアドバイスをさせてもらった経緯もあったので，特に需要がありそうなテーマである「タスク管理」と「チームビルディング」にフォーカスした． kaka

CacheTool を使うと PHP のキャッシュ機能である APC / APCu / OPcache を CLI で管理できるようになるという話を今日会社で教えてもらった！さっそく導入してみようと思って調査した． github.com 背景 例えば，キャッシュをクリアする場合，APC / APCu なら apc_clear_cache() や apc_clear_cache('user') を実行すればクリアできるし，OPcache なら opcache_reset() を実行すればクリアできる． ただし，php-fpm のソケットに接続して実行する必要があるため，現実的にはアプリケーション側に専用のエンドポイントを用意して，接続元をローカルホストに限定して…といった運用上の考慮が必要になったりする．その点が CLI で考慮されてるのが素晴らしい． GitHub の README にも同

Amazon ES (Amazon Elasticsearch Service) で，例えば「アクセス許可 IP」を追加するなど「アクセスポリシー」を変更する場合，クラスタも再構築されてしまうため，待ち時間が長時間化したり，場合によっては再構築がエラーになって，クラスタが死んでしまう場合もあった．Amazon ES を運用している人たちと話すと必ず話題に出るツライ仕様だったし，これまで何度も AWS サポートに改善要望を出していた 😰 最近どうしても「アクセスポリシー」を変更する必要があり，試したところ，数分以内で完了してしまった．今までは Amazon ES の CloudWatch メトリクス Nodes を見ていると，一時的にノード数が2倍にスケールアウトして，徐々にスケールインするという挙動だったのに，その挙動も確認できなかったため，もしかして改善された？と思ったら，本当に改善さ

シェルスクリプトのテストフレームワーク Bats を試してみた． github.com たまにコントリビュートをしている Amazon ECS (Elastic Container Service) のデプロイツール ecs-deploy のテストコードで Bats が使われているので，少し書いたことがあり，もっと詳しく調べてみようと思った． github.com Bats は現在もメンテナンスされている もともとの Bats は sstephenson/bats にあり，現在は bats-core/bats-core に移っている．以下の Issue などを読むと，コミュニティの動きがわかる． github.com github.com インストール Bats は様々なインストール方法がある．まず，用意されている install.sh を試してみた． $ git clone git@gi

Kubernetes を学ぶため，AWS から公式に公開されているワークショップ資料「aws-workshop-for-kubernetes」を試した．Kubernetes を学ぶためのコンテンツが網羅的にあるため，今回はワークショップの紹介と，実際に試した一部のコンテンツをまとめたいと思う．既に Kubernetes を詳しく知っている人であれば早く進められるかもしれないけど，Kubernetes 初心者だと，理解しながら進めることになるので，全コンテンツを終えるのはかなりの時間が必要になる気がする．ワークショップ資料は全て GitHub に公開されていて，誤植などがあれば，プルリクエストを送ることもできる． github.com なお，ワークショップ資料は AWS Technical Evangelists の「グプタ先生」がメインで作成されていて，それだけでもうモチベーションが上がる

Speaker Deck の仕様 Speaker Deck に発表資料を公開するとき「タイトルから URL が生成される仕組み」になっている．タイトルが全て英語なら問題はないけど，タイトルに日本語が含まれる場合は「中国語のようなローマ字」になってしまうという裏仕様があり（以下に例を載せた），今まで「内容は素晴らしいのに URL が残念すぎる資料 💦」を多く見てきた．知っている人は知っている仕様だと思うけど，まだまだ普及していなさそうなので，今回ブログに書くことにした． プロジェクトをリードする技術 puroziekutoworidosuruji-shu 最高の URL を生成する技術 今回「Speaker Deck で最高の URL を生成する技術」を紹介したいと思う．と言っても本当に簡単なことで，以下のように「スラッシュ区切りで英語タイトルを追加する」だけ！最高すぎる！ 日本語タイトル

今日，社内勉強会で話す機会があり，過去1年間を振り返りつつ「プロジェクトをリードする技術」というタイトルにした．今回は参加者がエンジニアだけじゃなく，ビジネスチームのメンバーもいたため，できる限り，技術的な用語を使わないようにした．質疑応答とディスカッションもあり，1時間非常にワクワクした時間だった． 関連する領域 僕がプロジェクトをリードするときに意識しているのは，スクラムなど特定のプラクティスに依存しすぎないことで，チームの特性によって，関連する様々な領域からプラクティスを集めている．ザッと挙げるだけでも，こんなにたくさんある． チームビルディング ファシリテーション マネージメント 3.0 アジャイル (スクラム / カンバン / XP) 組織論 育成 心理学 メンタリング プロジェクトマネジメント 資料 過去1年間に取り組んだことを全て詰め込んだ！プレイングマネージャーとして頑張っ

2017/05/30(火) ~ 2017/06/02(金) の期間で，計4日間開催されていた AWS Summit Tokyo 2017 に参加してきた．僕は後半2日間に参加して，非常に満足度が高く，もっともっと AWS を使い倒さなきゃ！とモチベーションが上がった．セッションを聞くだけではなく，ブースで話を聞いてみたり，AWS 認定資格取得者専用ラウンジに行ってみたり，様々な楽しみ方ができたのも良かった．簡単にメモをまとめておこうと思う． aws.amazon.com 2017/06/01(木) Speed matters - Amazon Kinesis が実現するストリーミングデータのリアルタイム分析 多くのデータは「持続的に」生成される 新しいデータほど，意思決定において価値が高い Kinesis Kinesis Streams Kinesis Analytics Kinesis

出版されてから少し時間がたってしまったけど，「データ分析基盤入門」を読み終えた．ページ数が多く，持ち運ぶようなサイズではないので，家でちょこちょこ読み進める感じになってしまって，想定以上に時間がかかってしまった． データ分析基盤構築入門[Fluentd、Elasticsearch、Kibanaによるログ収集と可視化] 作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社発売日: 2017/09/21メディア: 単行本（ソフトカバー）この商品を含むブログを見る はじめに 目次にも書いてある通り，「データ分析基盤」というテーマで Fluentd / Elasticsearch / Kibana の解説が詳細にまとまっている．さらに付録には Embulk と Digdag の解説もあり，このあたりの技術スタックに興味がある人にとって最高な一冊なのではないかなと思う．また，

Go 関連の本を読んだり，サンプルコードを写経するだけではなく，もっと実践的に勉強したいなと思って調べていたら，VOYAGE GROUP の Treasure 2017 と言うインターンシップの研修資料が GitHub に公開されていることを知って，さっそく挑戦してみた．数日間取り組んでみて，とにかく素晴らしかったので，紹介したいと思う．suzuken 先生，素晴らしすぎます！ Go入門 GitHub - voyagegroup/talks 学べるテーマ Go の研修資料とは言え，幅広いテーマで Go を学ぶことができる点が素晴らしかった．ザッと挙げるとすると以下のようになる．テーマを見るだけで，もうワクワクしてくるのではないだろうか？ アルゴリズム実装とテストコード フィボナッチ数 スタック CLI net/http curl 実装 スクレイピング実装 コンカレンシー goroutine