Cassandra運用に活躍したスクリプトたち : toda_k
弊社検証環境で半年ほど10数台規模のCassandraクラスタを運用してきたのですが、運用に使っているスクリプトがある程度固まってきたのでまとめてみます。更なる簡素化・便利化を進めるための棚卸しという感じです。古いものも混ざっていて若干申し訳なくはあるのですが……どなたかの役に立てば幸いです。では見て行きましょう。 スクリプトの運用体制について すべてのスクリプトはSubversionで管理され、主にJenkinsによって自動的に実行されます。多数のノードに対する同時処理を行なうためにGNU Parallelを使うことがあります。 またCassandraサーバはAWS EC2上で運用されているため、AWS SDK for RubyによってIPアドレスの取得などを行なっています。 各ノードでのnodetool ring実行結果を集約 クラスタが不安定なとき、実際は動いているのに一部のノードか
AWS SDK for Rubyを使ったスナップショット作成スクリプト - サーバーワークスエンジニアブログ
こんにちは！インフラエンジニアの柳瀬です。 みなさんすでにご存じだと思いますが、先週末にAWS SDK for Rubyがリリースされました。 喜ぶ人がたくさんいるだろうなと思っていましたが、かなりのインパクトがあったようですね。 せっかくなので、このSDKを使用してEBSボリュームのスナップショットを作成するスクリプトを作成しました。 AWS SDK for Rubyをインストールした環境でcronなどに登録すると自動的にスナップショットが作成されます。 ※動作確認環境で使用したRubyのバージョンは1.8.7です。 AWS SDK for RubyはRubyGemsを使用して簡単にインストールが可能です。 $ sudo gem install aws-sdk 使用する場合はスクリプトの引数として以下のものを指定してください。 使用するリージョンバックアップの保存世代Volume-idデ
Amazon EBSのスナップショット(バックアップ)を取得しつつ世代管理も行うスクリプト - 元RX-7乗りの適当な日々
# タイトル長い。 Amazon EBS(Elastic Block Store)では、スナップショット機能と呼ばれる、ボリューム(ディスク)を瞬時にバックアップする機能をAPI経由で簡単に使うことができます。 参考 最近発表されたストレージサービスAmazon EBS(Elastic Block Store)をEC2から利用する - 元RX-7乗りの適当な日々 Amazon EBSを活用してデータをバックアップしてみよう ～Amazon EC2/S3環境構築のすべて～ (1/6)：CodeZine（コードジン） そんな便利機能なEBSスナップショット君ですが、そのバックアップデータの保存先はAmazon S3ということで、S3の利用容量無制限！という素晴らしい恩恵を受けちゃっていて、当然、バックアップデータの世代管理は使い手自身に委ねられています。 ということで、指定したEBSボリューム
EBSのスナップショットを定期的に作成するスクリプト - こせきの技術日記
参考にしたもの code.rock: Amazon EBSとRightAwsを使って自動バックアップ環境を構築する こちらのスクリプトに @gommmmmm さんが手を加えたのが元になっています。ありがとうございます。 失敗時にcronからメールを出すために、正常時に標準出力に何も出力しないようにしました。ログはログファイルに出力します。 設定ファイルを追加しました。コマンドラインから実行しやすいように。 ローテートタグというのを追加しました。 インストール 実行にはright_awsが必要です。 sudo gem install right_aws create EBS snapshot をwgetして、 ruby snapshot.rbで設定サンプルを表示します。config.ymlにコピーして編集してください。直接ファイルに書くときは、 ruby setup.rb dummy > c
EBSをバックアップとして使う | 俺のメモ
EC2のインスタンスのバックアップは前回の通りS3にイメージ化して保存しておくのがいいと思うけど、/mnt以下のイメージ化の対象外ファイルをバックアップするにはEBSの方が便利です。 EC2とS3の関係はそんな密なものでもなく、EC2にS3を直接マウントすることができません。(擬似的には可能かも) しかもS3へのアクセスはhttp経由ということでrsyncも使えず速度が遅い。 そもそもEBSが何かというと外付け可能な永続的ブロックストレージです。わかりやすく言うとUSB接続の外付けハードディスクみたいなものです。 料金はインスタンスにマウントするしないに関わらず、EBSを借りた時点で1Gにつき一ヶ月当たり$0.1 + 100万リクエストにつき$0.1です。 一度マウントしてしまうと後はローカルドライブ同様に扱えます。 EBSの素晴らしいところは、一旦アンマウントして別のインスタンスにデータ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Stack3
流行りのクラウドサービスを操ってみよう！Amazon EC2/S3環境構築のすべて一覧
