Serverspec と Infrataster でテストした Docker コンテナイメージを Jenkins を介して Amazon ECR に push する考察 - ようへいの日々精進XP
tl;dr ニーズがあるかどうか解らないけど...Jenkins を触ってみたくて試してみた。Jenkins の Amazon ECR プラグインとの出会いに身震いした。 参考 http://serverspec.org/ http://infrataster.net/ https://blog.mikesir87.io/2016/04/pushing-to-ecr-using-jenkins-pipeline-plugin/ https://wiki.jenkins-ci.org/display/JENKINS/Amazon+ECR https://wiki.jenkins-ci.org/display/JENKINS/CloudBees+Docker+Pipeline+Plugin https://wiki.jenkins-ci.org/display/JENKINS/CloudBee
俺の Makefile 〜 Terraform 編 〜 - ようへいの日々精進XP
tl;dr 俺の Makefile こだわりの help タスクに依存関係を 以上 tl;dr terraform に限らずですが, コマンドのオプションとかちゃんと覚えていられないので, Makefile にまとめておいて, make xxxx で叩くのが個人的なトレンドです. Linux や macOS では特に何もしなくても make コマンドを叩けるので, Makefile に定型処理を書いておくことで, コマンドオプションのうろ覚えによるオペミスなども防げるのではないかと考えています. 俺の Makefile こだわりの help terraform コマンドはパスが通っている前提です. 環境に応じて terraform のパスは書き換えてください. help: ## ヘルプを表示する @grep -E '^[a-zA-Z_-]+:.*?## .*$$' $(MAKEFILE_L
僕の一番好きな AWS の API について書きます - ようへいの日々精進XP
この記事は tl;dr 大好き GetMetricWidgetImage GetMetricWidgetImage は、どんなことが出来るのか GetMetricWidgetImage をなぜ好きなのか GetMetricWidgetImage の惜しいポイント 以上 参考 この記事は YAMAP エンジニア Advent Calendar 2020 の 15 日目になる予定です。 qiita.com 頑張るぞ。 tl;dr AWS に初めて出会ってから何年経ったでしょうか。エンジニアの端くれであるわたくしも、AWS CLI や Terraform 等を介して AWS の API を利用していますが、数多ある AWS の API の中で、最もお気に入りな API について書いてみたいと思います。 尚、本記事で登場するツールのバージョンについては、以下の通りです。 $ sw_vers Pro
1 つの AWS アカウントで出来るだけうっかりミスを抑えつつ本番環境を運用する為にやったこと - ようへいの日々精進XP
tl;dr 原因 実装 2 つの実装 実装 (1) IAM ユーザーの分割 〜 本番環境のリソース操作を拒否する 〜 実装 (2) Chrome Extension による IAM ユーザーの判別 最後に tl;dr 先日, 完全に自分のうっかりで AWS リソースをオペミスで壊してしまいサービス障害を発生させてしまいました. 原因は, 何を隠そう自分の「うっかり」であり, 完全に人為的なミスです. 今後, このような事故を出来るだけ起こさないように対応策を施したので書ける範囲で共有させて頂きます. 原因 同 AWS アカウントを利用して検証中の事故でしたが, 以下のような幾つかの状況が重なった事故だったと考えています. 検証環境のリソースと本番環境のリソースが混在している状況だった 検証環境のリソースと本番環境のリソースで見分けがつけ辛い状況だった 利用している IAM ユーザーについて
【俺の一行チップス】docker-compose の Extension fields を使って DRY な YAML にする(docker-compose 3.4 以降, docker-compose 2.1 以降編) - ようへいの日々精進XP
やりたいこと 諸注意 やったこと これまでの docker-compose.yml 令和の docker-compose.yml 以上 参考 やりたいこと docker-compose.yml を書いていて, 同じ内容を何度も何度も書いていて, 令和の時代にこれはアカンということで Anchor, Alias で少しでも DRY にしたい. DRY とは, アサヒスーパードライではなく, Don't Repeat Yourself のことなので酔っ払わないように. 諸注意 動作確認環境は以下の通り. $ docker-compose version docker-compose version 1.24.1, build 4667896b docker-py version: 3.7.3 CPython version: 3.6.8 OpenSSL version: OpenSSL 1.1
最近ギョームでやったこと (6) 〜 一歩踏み込んだ Web サイトの監視について考察して仮実装してみた 〜 - ようへいの日々精進XP
tl;dr 悩み事 どんな風に解決しようと試みたか 作ったもの リポジトリ こだわり 苦労したところ Puppeteer (1) Puppeteer (2) 差分抽出 動いている様子 参考 ということで まとめ 最後に tl;dr お疲れ様です. かっぱです. YAMAP に入社してもうすぐ一年が経とうとしています. あっと言う間の一年でした. この一年の振り返りを... と思いましたが, 最近の悩み事を技術で解決してみようと思って試験的に実装した内容を紹介させていただきます. そして, この記事は, YAMAP エンジニア Advent Calendar 2019 の 25 日目の記事になる予定です. qiita.com 悩み事 YAMAP では, yamap.com 以外にもいくつかの外部サイトを運営しています. これらのサイトのデプロイ作業を含む各種運用に携わっていますが, これらの
CircleCI から Serverless Framework で実装したアプリケーションを \\ﾃﾞﾌﾟﾛｰｲ// する #jawsug #jawsugfuk #circlecijp - ようへいの日々精進XP
tl;dr \\ﾃﾞﾌﾟﾛｰｲ// \\ﾃﾞﾌﾟﾛｰｲ// したいアプリケーション 要件 .circleci/config.yml AWS の認証情報 Lambda Layers Docker イメージの妥協 以上 あとは tl;dr 社内に Serverless Framework を使って実装したサーバーレスアプリケーションが増えつつあるので, 福岡で最も CircleCI を愛しているであろう企業で働く者として, CircleCI から Lambda に \ﾃﾞﾌﾟﾛｰｲ// してみることにしました. あくまでも, この記事は三ヶ月後の自分に向けての内容が多く含まれており, もしかすると, 全く以て汎用的ではないかもしれません. この記事は JAWS-UG 福岡 もくもく会 #33 〜愛サンサンと〜 で書きました. jaws-ug-kyushu.doorkeeper.jp \\ﾃﾞﾌ
【細かすぎて伝わらないかもしれない tips】Terraform の Ramdom プロバイダ が地味に便利です - ようへいの日々精進XP
tl;dr 俺はこうした random_id リソース 何が出来るか 何に使えるか tf サンプル output random_integer リソース 何が出来るか 何に使えるか tf サンプル output random_pet リソース 何が出来るか 何に使えるか tf サンプル output random_shuffle リソース 何が出来るか 何に使えるか tf サンプル output random_string リソース 何が出来るか 何に使えるか tf サンプル output random_uuid リソース 何が出来るか 何に使えるか tf サンプル output 以上 tl;dr Availability Zone のどっちか！とか, Subnet ID のどっちか！をランダムに欲しい時にどうしようかなと思っていたら, Terraform には Random Provid
サーバーレス環境 (主に AWS Lambda) における緩い感じの処理完了待ちを実装する考察 - ようへいの日々精進XP
tl;dr 検討 2 案 Lambda のタイムアウト 別の Lambda で処理のプロセスを監視する サンプル サンプルとして... コード 雰囲気 以上 緩い感じで コスト？ ということで tl;dr おはようございます. どうも, 処理待ち隆史 (反町隆史) です. おはようございます. 処理待ち (反町) 隆史です.— Yohei Kawahara（かっぱ） (@inokara) 2019年2月15日 Lambda を使った RDS スナップショットのコピー自動化を実装するにあたって, コピーの完了を待つ (処理完了待ち) という処理をどのように実装するか考えてみた際のメモです. 検討 2 案 処理完了待ちを実装するにあたり, 以下のような手法を検討しました. Lambda のタイムアウトを利用する 状態を保持する 何か を用意して, 別の Lambda で処理のプロセスを監視する
td-agent のメモリバッファとファイルバッファでどんな違いが発生するか観察してみた - ようへいの日々精進XP
はじめに 先日、DevOps 向け Fluentd 勉強会 at IPROS で聞いた話の中で Ouptput プラグインのバッファの関して下記の点について気になったので調べたくてウズウズ。 Output プラグインのメモリバッファとファイルバッファの性能はほとんど差異は無い デフォルトはメモリバッファだがファイルバッファがオススメ また、fluent-logger を使ってサーバーの負荷が激しく上がってしまった件について質問させて頂いたがよくよく考えるとこのバッファについて全く考慮しないままの利用だったので、この件でも解決への糸口になるのではということでメモリバッファとファイルバッファで何が違うのかを調べてみた。 構成 検証環境 以下のような検証環境を用意した。 役割 バッファタイプ / Output / アプリケーション OS td-agent バージョン スペック 備考 Forwar
いまさらで恐縮ですが cloud-init について勉強する（1） - ようへいの日々精進XP
追記 各モジュールの動作確認には以下のようなシェルスクリプトを作って行うと捗る。こちら参考になりました。ありがとうございます。 #!/bin/sh rm -rf /var/lib/cloud/* cloud-init init --local cloud-init init cloud-init modules --mode config cloud-init modules --mode final まず、/var/lib/cloud/ 以下をバサッと消す。その後で... cloud-init init --local cloud-init init cloud-init modules --mode config cloud-init modules --mode final を実行する。これは /etc/rc3.d/ 以下の起動スクリプトの順番に準拠している。 [root@cento
terraform 独りハンズオン（3）〜 tfstate ファイルを S3 で管理する 〜 - ようへいの日々精進XP
はじめに terraform.tfstate とは Terraform で管理しているインフラの状態を管理しているファイルで中身は以下のような JSON ファイルとなっている。 { "version": 1, "serial": 1, "modules": [ { "path": [ "root" ], "outputs": {}, "resources": { "aws_s3_bucket.b": { "type": "aws_s3_bucket", "primary": { "id": "foo-bucket", "attributes": { "acl": "private", "bucket": "foo-bucket", "force_destroy": "true", "hosted_zone_id": "xxxxxxxxxxxxxxxxxxxxxxx", "id": "foo
RDS のリードレプリカを HAProxy で振り分ける際の死活監視について考えてみた - ようへいの日々精進XP
5 時過ぎに目が覚めて眠れなくなったので気になっていたことを考えてみた。 はじめに RDS のリードレプリカを HAProxy で振り分ける方法については... blog.cloudpack.jp 上記の記事を参考にしつつ... blog.cloudpack.jp 上記のようなことをやってみたりした。 RDS のリードレプリカ（RR）接続を HAProxy で振り分ける 一応、構成図 基本的には... HAProxy で RDS への分散アクセスを行う場合には、以下のように設定すれば RDS への接続をチェックして接続出来なければ HAProxy がよしなに切り離してくれる。 （略） listen mysql bind 0.0.0.0:3306 mode tcp option mysql-check user user_name balance leastconn server read0
cron + α が欲しい時には ts(Task Spooler) のご利用をご検討下さいというメモ - ようへいの日々精進XP
おひさしブリーフ、かっぱです。 tl;dr 下図のように cron ジョブで定期的にスクリプトを生成して実行させようとした時、スクリプト完了する前に次の cron ジョブが走ってスクリプトが生成されて、そのスクリプトが実行されてしまうような状況に遭遇してどうしたもんかなと悩んでいたら ts というツールを見つけたので試してみた。 memo ts とは http://vicerveza.homeunix.net/~viric/soft/ts/ https://osdn.jp/magazine/09/01/20/0150258 スクリプトやコマンドを ts コマンド経由で実行することで、それらをジョブとしてキューに放り込んで順次実行してくれるツール。冒頭の構成に ts を加えると下図のようになり、cron の開始時間とスクリプトの実行時間の依存関係は切り離される。 導入 CentOS 6 に導
RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察 - ようへいの日々精進XP
モチベーション RDS の勉強をしたい→スロークエリの設定を見てみよう RDS のスロークエリをお手軽に可視化出来ないものか Elasticsearch + Fluentd + Kibana(EFK スタック) を改めて勉強したい 実サービスへの影響を極力抑えたい 可視化する手間は極力省く ということで、Elasticsearch + fluentd + Kibana + docker-compose を利用することで、ほぼコマンド一発で可視化する環境は起動する環境を作ってみた。 github.com 参考 https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/USER_LogAccess.Concepts.MySQL.html https://github.com/kenjiskywalker/fluent-plugin
ECS + ecs-cli + Locust + consul でカヂュアルにスケールする負荷試験を構築する考察 - ようへいの日々精進XP
ども、かっぱです。 tl;dr 考察シリーズ第三弾。 hakobera.hatenablog.com 上記の記事で紹介されていた「AWS ECS + Docker + Locust による負荷テスト」について、どんな風に実現するんだろうなあとずーっと気になっていたので、自分なりに ECS + Locust な負荷試験環境を考えてみたのでメモ。 メモ こんな感じになった（ゴール） ソースコードとか github.com 何をする必要があったのか Locust Master と Locust Slave をそれぞれ異なるタスクに分割する 同一の ECS クラスタに Master と Slave を個別にデプロイする コンテナインスタンスを跨って Locust クラサバ構成を構築する必要があったので etcd や Consul にお出まし頂いた（結局は Consul を採用した） 困った点 Do
手作業で構築した AWS リソースの管理には awspec が良いと思ったのでメモ - ようへいの日々精進XP
tl;dr 手作業で構築した AWS リソースの管理には以前から気になっていた awspec が良いと思ったのでメモ。 二台、三台のインスタンスなら...とうっかりと手作業で構築したインスタンスや、どんな設定で作ったか判らないけど、なんとなく利用されている S3 Bucket の管理をどうしようかなと思っていたら awspec の generate コマンドがリソース情報を生成してくれるので試してみた。 参考 github.com qiita.com memo インストール $ cat Gemfile source "https://rubygems.org" gem 'awspec' gem 'rake' $ bundle 初期化 $ bundle exec awspec init + spec/ + spec/spec_helper.rb + Rakefile + spec/.giti
tc コマンドでネットワーク遅延やパケットロスを疑似的に発生させるメモ - ようへいの日々精進XP
ども、初老丸です。 tl;dr Linux において tc コマンド（Traffic Control）使ってネットワーク遅延やパケットロスを疑似的に発生させることが出来るとのこと。今まで tc コマンドの存在すら知らなかったペーペーで恐縮だが、参考サイトをまねて遅延やパケットロスを発生させてみたい。 メモ 参考 http://linux-biyori.sakura.ne.jp/setting/st_netem.php http://labs.gree.jp/blog/2014/10/11266/ man tc 以下の環境で試す。 $ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=14.04 DISTRIB_CODENAME=trusty DISTRIB_DESCRIPTION="Ubuntu 14.04.2 LTS" ひとまず
mruby-cli でディレクトリ監視ツールワンバイナリ版を作った - ようへいの日々精進XP
ご無沙汰しております。 tl;dr 自分の中で以下のブームが到来しております。 ディレクトリ監視（ファイル作成、削除、編集等のイベント検知） ツールは出来るだけワンバイナリで提供したい（でも Go 言語は Hello world 準一級 = 初心者） これからのブームを満たしてくれるのが mruby そして mruby-cli ということで、mruby 界に名を轟かすべくサンプルツールを作ってみることにしました。 リンク 参考 https://github.com/hone/mruby-cli https://github.com/matsumoto-r/pfds https://github.com/harasou/gfmarkdown https://github.com/FlavourSys/mruby-inotify https://github.com/mttech/mruby-
ふと思い立って Elasticsearch と Kibana4 で過去 7.5 年分の PM 2.5 濃度を可視化してみた - ようへいの日々精進XP
本記事は不要に不安を煽るものではありません。あくまでも参考程度にご覧頂ければ幸いです。 はじめに 外をぼんやり見ていたらせっかく晴れているのモヤがかかっているような状態になっているので大気中の PM2.5 等の汚染物質の飛散状況を見れるサイトを探していたら以下のようなサイトを発見。 大気汚染物質広域監視システム（そらまめ君）ホームページ 少し懐かしさを感じるページの作りではあるが全国各地の大気中に飛散している汚染物質データをほぼリアルタイムに確認することが出来るようだ。実際に確認してみたところ 2 時間前のデータを確認することが出来た。 九州地域の集計値 尚、残念ながら API 等では提供されておらず、他のアプリケーション等から利用することは想定されていないので、どうしても利用したい場合には Nokogiri 等でページを解析する必要がありそう。 ということで... 海外のデータは提供され
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
