Ansible の ec2.pyをprofile対応にする | iret.media
こんにちは、cloudpack の 今岡 です。 ほぼ覚書です。 Ansible では、ec2.py というスクリプトを使って、インスタンスID -> IPアドレスなどの変換を行いますが、こいつがprofileに対応していないので、改造版を使った。 deployments/ec2.py at master · donal/deployments ただこれを使っても、2つのプロファイルを同時に使うには、改造が必要 ec2.iniファイルにprofileを直書きするので、引数で切り替えられない キャッシュファイル名が同じになってしまうので、profileごとのキャシュファイル名を変えるようにするか、0 にするかのどちらか 結局泥臭く、 ec2.py の別名ファイルを作り、読み込むiniファイルもファイル名変更し、 ec2.py 自体を2つ用意した。カッコよく改造するなら、複数Profileを一
俺のシチューエーション別 Ansible チートシート | iret.media
ども、cloudpack の 全部初心者のかっぱ (@inokara) です。 はじめに 沢山のホストに同じ設定をぶち込みたい時に Ansible が気持ちよかったのでメモ。 インベントリファイルの準備 以下のようなインベントファイルを test-hosts という名前で保存しておく。 [foo-bar] xxx.xxx.xxx.xxx ansible_connection=ssh ansible_ssh_user=ssh-user ansible_ssh_private_key_file=~/.ssh/key.pem ansible 編 ohai 的なの python では fact が ohai 的な動きをして対象ホストの情報を JSON で返却する。 ansible -i test-hosts test-host -m setup Amazon Linux の場合には以下のように J
Apache にあんまり手を加えずに内部情報モニタリングする方法を探したメモ | iret.media
ども、cloudpack の かっぱ (@inokara) です。 目的（やりたいこと） コマンドラインから Apache の設定や状態を確認したい イメージとしては MySQL の show variables で設定パラメータは show statsu で現在の状態が確認出来るようなものが Apache にもないかしら 避けては通れない mod_status 当初は mod_status に頼らない方法を模索していましたが無理そうなので mod_status を有効にしつつ以下のように mod_status の設定。 Listen 8000 (snip) ExtendedStatus On SetHandler server-status Order deny,allow Deny from all Allow from 127.0.0.1 fullstatus links が必要 標
pyenvをMacにインストールしました。 | iret.media
はじめに こんにちは。cloudpack の インフラエンジニアレベル１の @f_prg (古渡) です。 pyenvをMacにインストールしましたので、方法のご紹介になります。 brewによりインストール brew install pyenv-virtualenv pyenv vim /Users/f_prg/.bashrc .bashrcには下記を追記しておきます。 # pyenv export PYENV_ROOT="${HOME}/.pyenv" if [ -d "${PYENV_ROOT}" ]; then export PATH=${PYENV_ROOT}/bin:$PATH eval "$(pyenv init -)" fi pythonをインストールします。 pyenv -v pyenv install -l pyenv install 2.7.8 pyenv versio
Python 製負荷テストツール Locust を Docker コンテナで試す | cloudpack.media
ども、cloudpack の かっぱ (@inokara) です。 はじめに 負荷試験ツールで個人的に好きなのは Siege ですが、負荷試験ツールの代名詞 JMeter の影に隠れてイマイチ存在感が薄いようです。やっぱり JMeter 一択なのかなと思っていた矢先に Locust という Python 製の負荷試験ツールがあることを以下のような記事で知りました。 Python製負荷試験ツールLocustで、分散負荷試験環境を準備する Docker + Google Container Engine でドカドカ負荷テスト 自分も百番煎じ位ですが boot2docker を使ってドカドカ Docker で Locust を試してみたいと思います。尚、オフィシャルサイトやドキュメントは下記の通りです。 locust.io Locust Documentation ちなみに Locust とはワ
Ansible の module の作成 | iret.media
こんにちは、cloudpack の Sebastian です。 はじめに Ansibleのmoduleは基本的にはpythonで記述を行います。 実はmodule自体は所定の形式でレスポンスを返せばpythopnで無くても記載は可能なのですが、公式が pythonで書かれている事と、ansibleがpythonの使用を前提に記載されている事からpythonを用いないと公式にcommitは出来ません。 また、pythonの方が相性は良いので今回はそのままpythonで書きます。 moduleが実行されるまで ansibleのmoduleを書く前に、まずansibleのmoduleがどのように実行されるのかを知らねば話になりません。 そういう訳でmoduleがどの様に実行されていくのかを追いかけてみます。 ansibleの導入後、サーバーに対してpingモジュールを用いてremote serv
Consul の Python クライアントを試す | iret.media
ども、cloudpack の かっぱ (@inokara) です。 はじめに fabric のデプロイターゲットを Consul から取得できたら面白そうだなって思ったので連携を模索するにあったって Consul の Python クライアントを触ってみました。 参考 Python client for Consul.io consul / KEY/VALUE DATA 準備 Consul とは については tag:consul をご覧頂くか、@zenbutsu さんの以下の記事がとても参考になります。 Consul関連ドキュメント(参考訳)Part3 Consul を起動 以下のように一台のノードで起動しておきます。 consul agent -server -bootstrap -client=127.0.0.1 -dc=local -node=consul1 -data-dir=/t
Play2 アプリケーションのデプロイを fabric でやろうと思ったのでメモ（3）〜対象ホストを SDK で取得する巻〜 | iret.media
ども、cloudpack の 夜の Player かっぱ (@inokara) です。今年の紅白歌合戦出場は辞退しました。すいません。 はじめに AWS 環境において fabric を利用して Play2 アプリケーションをリモートホストに対してデプロイしようとした際にリモートホストの情報を動的に取得したいと思ったので組み込んでみました。 boto fabric が Python 実装ということで fabric から AWS 環境を扱おうとすると boto というライブラリが必須ですのでインストールしておきましょう。環境に応じてインストール方法は異なりますのでご注意下さい。 boto 初めて知りましたが boto = AWS SDK for Python だったんですね。 実装 ギットハヴ fab-deploy-play ツッコミ宜しくお願い致します！ ざっくりイメージ 以下のように EC
Play2 アプリケーションをデプロイを fabric でやろうと思ったのでメモ（2） | iret.media
どうも、cloudpack の 夜の Player かっぱ（@inokara）です。 はじめに 昨晩「Play2 アプリケーションをデプロイを fabric でやろうと思ったのでメモ」の続きです。リモートホストへのデプロイをやりたいと思います。 参考 fabric/sudo で特定のコマンドを NOPASSWD で実行するときの注意点 fabric /よくある質問 (FAQ) リモートホストへのデプロイ（1） fab ファイルの改修 inokappa/fab-deploy-play 以下、手抜きの全文掲載。 from fabric.api import local, run, env, cd, execute, put, sudo def default_path(): env.app = "app_name" env.app_repo = "https://github.com/user
Play2 アプリケーションをデプロイを fabric でやろうと思ったのでメモ | iret.media
どうも、cloudpack の 夜の Player かっぱ（@inokara）です。 はじめに Play Framework のアプリケーションをデプロイする方法について思いを巡らせていて、capistrano かなー、シェルかなー…Rails だったら capistrano でいいかなーと思った次第ですが、単にシェルよりもリモートへのデプロイ等が関数化されていて簡単に呼び出すことが出来たりするので fabric を選んでみました。 参考 FabricでPlay! frameworkアプリのデプロイを自動化してみた スタンドアロンで実行可能なアプリケーションのビルド Welcome to Fabric’s documentation! 今日からすぐに使えるデプロイ・システム管理ツール Fabric 入門 Python製デプロイツール Fabricを初めて使う際に役立つTips Fabric
AWS Elastic Beanstalkで動的に生成されるインスタンスをsensuで監視する（其の 1 ） | iret.media
cloudpack の 廣山です。 AWS Elastic Beanstalk で、実験環境を構築する まずは、実験環境を構築する。 ちなみに作業環境はmac(10.9.5)。 今回はAWSドキュメント(※)を参考に、Elastic BeanstalkでSinatraアプリケーション環境を構築してみる。 (※) Sinatra アプリケーションの AWS Elastic Beanstalk へのデプロイ – AWS Elastic Beanstalk ほぼほぼドキュメント通り。 # mkdir HogeHogeApp # cd HogeHogeApp/ # git init . # eb init # eb start # git add . # git commit -m "Initial commit" # git aws.push # eb status --verbose 途中、b
VyattaCoreのHA CLUSTERを自動構成するスクリプトを公開します | iret.media
『デプロイは気持ちいい』という事について、デプロイ王子と合意したcloudpackの津村です。 コマンド1発でインスタンスが生えてきたりスクリプトを展開したりするのは気持ちいモノですね…。 VyattaCoreのHAクラスタを自動構成するスクリプトを公開 先日のブログで書いたVyattaCoreのHA構成について、インスタンスのフェールオーバーに必要な部分の作り込みを自動化するスクリプトを開発、公開しました。 スクリプトはgithubにて公開しており、誰でも無償で使うことが可能です。 aws-vyatta-clustering-builder (gitfub.com) 標準機能でできた！商用版VYATTAのマルチAZ化 このスクリプトがやっている事 まず、このスクリプトはVyattaCoreでのみ動作します。 これは、/bin/shが/bin/sh.distribになる等、環境依存する部分
Graphite の Carbon 三兄弟について整理したメモ + 冗長化（シャーディング）戦略について調べた | iret.media
Carbon , Carbon , Carbon , Carbon…Carbon 三兄弟、Carbon!（だんご3兄弟より…）のかっぱ（@inokara）です。 はじめに Graphite をバックエンドでは Twisted という Python 製ネットワークアプリケーションフレームワークを利用して作られた Carbon というツールが動いています。（ややこしい…） ちなみに Graphite のテクノロジースタックとしては以下のようになっています。 これは以前にどこかで書いたかもしれませんが、自分の復習を兼ねて再掲します。 話は Carbon の話に戻します。 この Carbon ですが Graphite では以下の三つのデーモンが利用可能です。 carbon-cache.py carbon-relay.py carbon-aggregator.py ということで、こちらを日本語に勝手
Touch the fig(1) | iret.media
Punctual, lightweight development environments using Docker. Usage: fig [options] [COMMAND] [ARGS...] fig -h|--help Options: --verbose Show more output --version Print version and exit -f, --file FILE Specify an alternate fig file (default: fig.yml) -p, --project-name NAME Specify an alternate project name (default: directory name) Commands: build Build or rebuild services help Get help on a comma
cloudpackブログ -Python版AWSコマンドラインツールでRDSのログをダウンロード
少し古い情報ですが、以前RDSのログファイルがコンソールで閲覧できたり、ダウンロードできるようになりしました。 Amazon RDS – より簡単にログファイルにアクセス可能に 詳細は下記に詳しく記載されいています。 Working with Database Log Files 実際にコンソールを確認してみると下記のようにログを確認することができます。 実際のログは次の通りです。 そして、このログをPython版AWSコマンドラインツールでダウンロードしてみました。 実際のコマンドと結果は次の通りです。 # aws rds download-db-log-file-portion > --db-instance-identifier master > --log-file-name error/mysql-error-running.log.7 > | jq '.LogFileData'
cloudpackブログ -Python版AWSコマンドラインツールでRDSのログ(すべてのファイル)をダウンロード
以下の記事でRDSのログ出力とPython版AWSコマンドラインツールを使ったログのダウンロード(個別)を 紹介しました。 Python版AWSコマンドラインツールでRDSのログをダウンロード RDSで"general.log"と"slowquery.log"も出力してみる 今回は個別ではなく、特定のRDSで出力されているすべてのログ(ファイル)をダウンロードしてみました。 (“describe-db-log-files”でログファイル一覧を取得しています) スクリプトは下記のようになります。 # cat download-db-logs #!/bin/sh FILES=`aws rds describe-db-log-files --db-instance-identifier $1 | jq '.DescribeDBLogFiles[].LogFileName' | sed 's/"/
cloudpackブログ - Python版AWSコマンドラインツールでCloudWatchのメトリックス情報を取得
表題の件に関して、今回取り扱う課題は以下になります。 –dimensionsの指定方法 dateコマンドのフォーマットと時刻(相対的)の指定方法 jqの出力のダブルクウォートを削除("10"→10) Python版AWSコマンドラインツールでCloudWatchのメトリックス情報を取得する方法は下記の通りです。 # aws cloudwatch get-metric-statistics > --namespace AWS/EC2 > --metric-name CPUUtilization > --dimensions '{"name":"InstanceId","value":"i-xxxxxxxx"}' > --statistics Average > --period 60 > --start-time `date -u -d '10 minutes ago' +%Y-%m-%dT
cloudpackブログ - CentOS6でのPython版AWSコマンドラインツールの環境設定(/etc/profile.d/awscli.sh)
過去記事「Python版AWSコマンドラインツールをCentOS6で使ってみた」にて、 Python版のAWSコマンドラインツールの環境設定(/etc/profile.d/awscli.sh)まで紹介しました。 しかし、その際なぜか環境変数AWS_DEFAULT_REGIONが効かず、設定から外していましたが、 この度、Python版コマンドラインツールをアップデートしてみたところ、上記問題が改善されていました。 前回からのアップデート兼、備忘録として紹介します。 # cat /etc/profile.d/awscli.sh # awscli initialization script (sh) if [ -x /usr/bin/aws ]; then AZ=`curl -s http://169.254.169.254/latest/meta-data/placement/availab
cloudpackブログ - Python版コマンドラインツールを初回起動時に自動アップデート
以前紹介した「Python版AWSコマンドラインツールをCentOS6で使ってみた」にてPython版コマンドラインツールを インストールしました。 今回は、このツールのアップデートに関して紹介します。 アップデートは以下のように行います。 # pip-python install awscli --upgrade このアップデートを、(EC2)初回起動時に行いたいのですが、以前紹介した「cloud-initでスクリプトが 実行されるタイミングを調べてみた」にあるようにcloud-initを利用することで簡単に実現できます。 実際には次のようなスクリプトを用意します。 suz-lab-centos-ami: suz-lab-centos-ami / bin / update-awscli #!/bin/sh set -e trap 'echo "NG: $?"' ERR pip-pytho
cloudpackブログ - Python版のAWSコマンドラインツールでCloudWatchのカスタムメトリクスにデータ登録
以前、「Python版AWSコマンドラインツールをCentOS6で使ってみた」の記事を紹介しましたが、 今回は、このコマンドラインツールを使ってCloudWatchのカスタムメトリクスにデータを登録してみました。 まずは登録するデータをJSON形式で用意します。 # cat test1.json { "metric_name": "Test Metric", "timestamp" : "2013-01-13T12:03:55+0900", "value" : 300, "unit" : "Count", "dimensions" : [ {"name": "InstanceId", "value": "i-aaaaaaaa"} ] } # cat test2.json { "metric_name": "Test Metric", "timestamp" : "2013-01-13T12
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
