Amazon ECS の古いタスク定義を断捨離する "tdtidy" という隙間家具 OSS を作った | はったりエンジニアの備忘録
自分は Amazon ECS のデプロイに ecspresso を利用することが多いのですが、頻繁にデプロイする環境だと 1 年で数百を超えるタスク定義が作られます。直近の数世代はロールバックする可能性があるので残しておきたいのですが、さすがに数か月前のリビジョンに戻すことはないため不要なものは断捨離したいと思っていました。 そういうリクエストが多かったのか、以前はタスク定義を非アクティブにすることしかできませんでしたが、今年の 2 月についに削除できるようになりました。 Amazon ECS が非アクティブなタスク定義リビジョンの削除をサポート さらに AWS が管理する Containers Roadmap のプロジェクトを眺めてみると、Issue #1967 でタスク定義にライフサイクルを追加してほしいというリクエストが挙がっていました（この Issue を作ったのは中の人っぽいので
我々は Kubernetes の何を監視すればいいのか？
freee では仮想マシンのインフラ監視に Mackerel を使っていますが、Kubernetes を使っているところは前例にとらわれずゼロベースで見直そうとしています。現状は Elastic Stack と Mackerel のハイブリット構成になっています。 Elastic Stack による Kubernetes モニタリングシステムの紹介 - freee Developers Blog どの SaaS を使うかを決める前に、そもそも Kubernetes の何を監視すればいいのか？ というところから考え直しています。宣言的なマニフェストにより Kubernetes が自律的にあるべき状態を保ってくれるのであれば、これまでの監視とは異なってくるはずです。 監視の観点として、ここでは通知レベルを用いて次の 3 つに分類します。 None: メトリクスは収集するが通知しない Notic
クラウド会計ソフト freee を使って家から一歩も出ることなく確定申告を終わらせた！ | はったりエンジニアの備忘録
みなさんはもう確定申告を終わらせましたか？ 2018 年は副業解禁が大きく取り上げられ、はじめて確定申告をするという方も多いのではないでしょうか。 自分は freee の正社員エンジニアとして働きながら、2017 年から個人事業主としても活動しています。 freee の中の人でありながら、ユーザーとしても普段から freee を愛用しています。そのあたりの経緯は「2017 年から個人事業主として開業します」をご覧ください。 今年は 2 回目の確定申告でしたが、タイトルにあるとおり 家から一歩も出ることなく確定申告を終わらせました！ 去年は顧問税理士さんにお願いしたので、自分で確定申告をするのは実は初めてです。 会計 freee を使って今年の確定申告が終わりました！ 電子申告だったので 2/15 よりも早く申告でき、しかも自宅ですべて済みます。電子申告オススメです！ https://t.c
CloudWatch Logs Insights を使って MySQL の performance_schema を分析する | はったりエンジニアの備忘録
CloudWatch Logs Insights を使って MySQL の performance_schema を分析する freee のプロダクトは RDBMS に MySQL を使っています。これまでもさまざまな方法でパフォーマンス改善を行ってきましたが、新たに CloudWatch Logs Insights を使って MySQL の performance_schema を分析する仕組みを作りました。 具体的には CloudWatch Dashboard を使って問題のありそうなクエリを見える化しました。次のスクリーンショットは一例ですが、このリストは CloudWatch Logs Insights にクエリを投げた結果です。 当初は DWH 用の Redshift に取り込んで Redash で分析するつもりでしたが、CloudWatch Logs Insights を使うこ
kops を使って AWS 上に Kubernetes クラスタを立ててみた | はったりエンジニアの備忘録
これまで Kubernetes を触ったことがなかったのですが（概念はざっくり知っている程度）、freee で使いそうな雰囲気になってきたので空き時間を見つけてキャッチアップしています。 AWS は Kubernetes のマネージドサービスを出していないので、自前でクラスタを構築する必要があります。ツールはいろいろありますが、今回は AWS Compute Blog で紹介されている kops を使って AWS 上に Kubernetes クラスタを立ててみます。 Manage Kubernetes Clusters on AWS Using Kops | AWS Compute Blog kops とは kops は Kubernetes Operations の略で、Kubernetes クラスタをマネージメントするコマンドラインツールです。 Golang で書かれているので mac
古い AMI をフィルタリングして削除する AMI Remover というツールを作った | はったりエンジニアの備忘録
AWS で長年サービスを運用していると、不要なリソースが残ったままになって無駄なコストを払っていたということがよくあります。物理的なハードウェアがない分、不要なリソースを掃除する動機が起きにくいです。 freee では CodeBuild を使って AMI 作成を自動化していますが、削除するところまで自動化していなかったので古い AMI が増え続けていました。 AMI の削除（登録解除）は意外と面倒で、AMI とは別にそれに紐づく EBS スナップショットも削除する必要があります（課金されるのは EBS スナップショットの方）。 気づいたときに手動で少しずつ掃除はしていたものの、さすがに面倒になってきたので AMI Remover という CLI ツールを作りました。 manabusakai/ami-remover: "AMI Remover" is a simple tool to de
CodeBuild を使って AMI 作成の時間を大幅に短縮した | はったりエンジニアの備忘録
freee では「会計 freee」に始まり、「給与計算 freee」や「会社設立 freee」など全部で 5 つのサービスを提供しています。また、サービス間で共通している機能はマイクロサービス化されているので、インターナルなサービスも含めると数多くのサーバが動いています。 サービスの特性に合わせてミドルウェアやプログラミング言語を選んでいるので AMI を共通化することが難しく、サービスの成長に伴って AMI の数も増えていました（起動時に Cloud-init でゼロからセットアップするやり方だと時間がかかりすぎるため採用できません）。 AMI の数が増えると管理コストがバカになりません。特に、Linux カーネルなどに脆弱性が見つかるとすべての AMI を作り直す必要があります。 freee では Packer と Ansible を使っているので構築自体は自動化されていますが、それ
Mackerel のサービスメトリックで MySQL のステータス情報を可視化する | はったりエンジニアの備忘録
Mackerel のサービスメトリックを使って MySQL のステータス情報を可視化してみます。 「Mackerel のサービスメトリックを利用すれば、ホストに紐付かないあらゆるメトリックを記録・可視化できます」とあるように、数値データであれば何でもグラフにして可視化できます。 SHOW STATUS の値を可視化する 今回は SHOW STATUS で取得できるステータス情報のうち SELECT, INSERT, UPDATE, DELETE の実行回数を可視化してみます。 > SHOW GLOBAL STATUS WHERE Variable_name IN ('Com_select', 'Com_insert', 'Com_update', 'Com_delete'); +---------------+-------+ | Variable_name | Value | +----
シン・ AWS の CPU の歴史とそこから見えてくる戦略 | はったりエンジニアの備忘録
あけましておめでとうございます！ 2017 年はじめての投稿です。 ちょうど 1 年前に「AWS の CPU の歴史とそこから見えてくる戦略」という記事を書きました。 EC2 のこれまでの CPU を振り返りつつ、AWS の CPU 戦略について考察した内容になっています。 その中で次のように書きました。 C4 からは AWS 向けに最適化された CPU が採用されました。これにより AWS は CPU を安定的に調達できるようになりました。 AWS は市場からの調達は一切やめて AWS 向けに最適化された CPU しか採用しない方針と取れます。 果たして、この考察が本当に正しかったのか？ 2016 年に登場したインスタンスタイプの CPU を調べてみました。 2016 年に登場したインスタンスタイプ 2016 年も数多くのインスタンスタイプが登場しました。 X1: メモリ最適化（エンター
2 段階認証は本当に安全なのか調べてみた | はったりエンジニアの備忘録
このブログを読んでいる人なら Google や AWS の 2 段階認証（マルチファクタ認証）を有効にしていると思います。もしパスワードが漏れてしまってもワンタイムパスワードを入力しないと認証されないので安心です。 有名どころのサービスでは使えるところが増えてきましたが、2 段階認証を有効にしていれば万全なのでしょうか。エンジニアである以上、その仕組みを理解したうえで自信を持って安全と言いたいところ。 というわけで、2 段階認証は本当に安全なのか仕様を紐解きながら調べてみました。 ワンタイムパスワードの仕様 ワンタイムパスワードを生成する仕様は HOTP と TOTP の 2 つがあり、RFC の仕様になっています（TOTP はドラフト段階）。 HOTP (HMAC-Based One-Time Password Algorithm) TOTP (Time-Based One-Time P
VPC にプライベートサブネットを作るのはエンジニアの思考停止か？ | はったりエンジニアの備忘録
タイトルは若干釣りです ;-) 一般的な Web サービスにおいて、VPC にプライベートサブネットは必要ですか？という話です。 VPC の設計でよくあるのが、パブリックサブネットとプライベートサブネットを持つ 2 層レイヤの VPC です。公式ドキュメントにも例があります。 シナリオ 2: パブリックサブネットとプライベートサブネットを持つ VPC パブリックサブネットがいわゆる DMZ セグメントで Web / App サーバが配置されます。プライベートサブネットはインターネットから隔離されたセグメントで DB サーバが配置されます。 このプライベートサブネットは AWS の良さを殺してしまうだけで意味がないと思っています（AWS を前提に書いていますが、オンプレミスにも同じことが当てはまると思います）。 プライベートサブネットが不要だと思うワケ Web / App サーバの設定ファイ
AWS の API を利用するときに気をつけたい 3 つのポイント | はったりエンジニアの備忘録
AWS の魅力は API を使ってインフラをコントロールできる点です。インフラだけでなく SQS や DynamoDB といったサービスも API で操作します。ほぼすべてのサービスに API が用意されているので、AWS を使いこなせば使いこなすほど API の利用頻度も上がります。 今回は AWS の API を利用するときに気をつけたいポイントをまとめてみました。 リトライ処理を入れる AWS に限ったことではありませんが、API リクエストはさまざまな理由で一時的に失敗する可能性があります。クライアント側のネットワークエラーの可能性もありますし、大量のリクエストを送ってサーバ側でスロットリングされているかもしれません。 なので、API リクエストは 一時的な失敗を前提 にリトライ処理を入れましょう（AWS SDK を利用しているのであればリトライ処理は自動的に行われます）。一度失敗
AWS の CPU の歴史とそこから見えてくる戦略 | はったりエンジニアの備忘録
あけましておめでとうございます！ 去年は AWS 認定試験を制覇したので、今年は実践スキルを今以上に磨いていこうと思います。 さて、最近の EC2 インスタンスは Intel CPU のプロセッサー・ナンバーが公開されています。ですが M1, M2, C1 といった旧世代インスタンスでは CPU にばらつきがあり、当たり外れの差が激しかったのは記憶に新しいところ。 当たりの CPU が出るまで stop → start を繰り返すインスタンスガチャも流行りました (笑) 今回は AWS の CPU について歴史を振り返りつつ、その戦略を考えてみます。物理レイヤーを意識することがほとんどない AWS ですが、物理の知識なしでは最高のパフォーマンスは得られません。知っておいて損はないでしょう。 インスタンスタイプのリリース時期は公式ブログ「EC2 の歴史」に載っていますので参考にしてください。
3 か月で AWS 認定を制覇したので合格の秘訣をまとめてみた | はったりエンジニアの備忘録
6 月ごろから AWS 認定資格を取るために勉強していました。 AWS は仕事でもプライベートでも利用しており、そのスキルを客観的に証明したいと思ったのがきっかけです。 AWS 認定には 3 つの分野と 2 つのレベルがあり、全部で 5 つの試験があります。 自分は次の順番で受験し、ちょうど 3 か月で制覇しました。 2015/06/25 : AWS 認定ソリューションアーキテクト - アソシエイト 2015/07/23 : AWS 認定デベロッパー - アソシエイト 2015/08/06 : AWS 認定 SysOps アドミニストレーター - アソシエイト 2015/08/27 : AWS 認定ソリューションアーキテクト - プロフェッショナル 2015/09/24 : AWS 認定 DevOps エンジニア - プロフェッショナル 余談ですが、認定証には国ごとの合格者の通し番号が振ら
Amazon Route 53 にドメイン移管してセキュリティを高める | はったりエンジニアの備忘録
このブログのドメインをお名前.com から Amazon Route 53 に移管しました。 移管手順はクラスメソッドさんのブログが参考になります。自分の場合、約 6 時間で完了しました。 お名前.com から Amazon Route 53 へドメインを移管する Route 53 のドメイン料金は他社と比べて安いわけではありません（ドメイン登録は Gandi というレジストラを通じて行われます）。人気の gTLD (.com / .net / .org) が 10 〜 12 ドルなので、料金だけ見ればお名前.com の方が安いです。 ではなぜ移管したかと言うと、一番の理由はセキュリティです。 国内レジストラの残念な現状 控えめに言っても、国内レジストラはセキュリティに対して積極的に投資しているようには見えません。 多くの Web サービスが 2 段階認証に対応していく中、国内レジストラは
インスタンスタイプによって SSD の性能が変わるのか調べてみた | はったりエンジニアの備忘録
JAWS-UG Meguro #0 のハッシュタグを追いかけていると @yoshidashingo さんがこんなツイートをされていました。 インスタンスディスクのSSD、インスタンスファミリーによって性能差あったんだ... #jawsmeguro — 真吾 (@yoshidashingo) May 22, 2015 インスタンスストアの SSD はどれも一緒だと漠然と思っていたので驚きました。ドキュメントを読んでみると SSD の TRIM 機能をサポートしたことにより書き込み性能が向上しているとのこと。 TRIM については、このページに詳しい説明がありました。 Trim 命令の功罪 | Logitec データ復旧技術センター 気になったことは手を動かして調べてみることを心がけているので、さっそくベンチマークを取ってみました。 ベンチマークの諸条件 OS: Amazon Linux AM
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
