logrotateで簡単に世代バックアップ（couchdb） - 気ままにインフラエンジニア
couchDBのデータはreplicationをするか、database fileを適当にバックアップしておいてねという仕様のよう。*1 rsyncやcpのshellを書いてもよいのですが、バックアップの世代管理を手軽に行いたいときはlogrotateを愛用してます。 今回はchefに使われているcouchdbをバックアップしていますが、プロダクトに組み込みの各種DB・ファイル等（pg_dumpだったりその他の普通のtarballだったり）いろいろ使い道はあるかと。 /etc/logrotate.d/couchdb に追記 # 日次バックアップ /var/backups/couchdb_backup_daily.tar.gz { missingok nocreate daily rotate 14 sharedscripts postrotate /bin/tar -C /var/lib/
Parallel sshで複数のホストへ同時にコマンドを実行する | Glide Note - グライドノート
pssh pssh(Parallel ssh)とは、複数のホストに対して同じ処理が実行できる並行処理型のSSHツールです。psshには平行処理形で複数のホストにscp、rsyncが実行出来るpscp、prsync、複数のホストから一斉にファイルを収集するpslurpが含まれています。 使い方がシンプルなので複数のホストに同じ処理を実行したい場合に便利です。 導入環境はCentOS5.5です。 psshの導入 psshの導入にsetuptoolsが必要なのでyumで導入 sudo yum -y install python-setuptools 最新版のpsshを導入。2010/08/26現在の最新バージョンは2.1.1です。 mkdir ~/tmp cd ~/tmp wget http://parallel-ssh.googlecode.com/files/pssh-2.1.1.tar
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
運用管理ツール?「Chef」をいろいろ使ってみます - pochi's weblog
Puppetとよく比較されるChefですが個人的にはPuppetの書き方がどうしてもなじめなかったのでChefをインストールしてみました。 ChefのWikiでインストール方法に書いてあるのでそこまではスキップします。（couchDBとかapache-solrとかRabbitMQとかMerbとか結構大変です。インストールだけみるとPuppetのが簡単だと思います。） ※今回chef-serverも自分のとこにいれようとしてます。chefの開発元がchef-serverをクラウド上に提供しているものは利用しません。（ただ、そっちを利用する方が簡単だと思います） ※参考サイト：http://wiki.opscode.com/display/chef/Hello+World+example 環境及び前提 OS: Red Hat 5.4 Ruby: 1.9.2 chef-server, chef-
nginxの優雅な再起動 « NAVER Engineers' Blog
こんにちは開発チームの崔珉秀と申します。 今回はnginxというウェブサーバーについて話をさせて頂きます。 nginxは最近数年の間けっこう人気が高くなっています。特によく使われているApacheやLighttpdなどのウェブサーバーと性能の面で比較することがよくありまして、優れた性能で単純なstaticファイルを転送するウェブサーバーからCGIサーバー、reverse proxyサーバーなどの様々なウェブリクエスト処理に関わる分野で導入されています。 今日はnginxの性能の比較よりもサーバーの開発者(nginx module)もしくはサーバーの運営者としてのnginxにある仕組の中で一つを紹介したいと存じます。 サーバーの開発や運営をする場合ロジックや設定などの変更により配布の後、サーバーを再起動することがあります。 その再起動の時にウェブサービスとしてリクエストの処理を続けなが
るびま
『るびま』は、Ruby に関する技術記事はもちろんのこと、Rubyist へのインタビューやエッセイ、その他をお届けするウェブ雑誌です。 Rubyist Magazine について 『Rubyist Magazine』、略して『るびま』は、日本 Ruby の会の有志による Rubyist の Rubyist による、Rubyist とそうでない人のためのウェブ雑誌です。 最新号 Rubyist Magazine 0058 号 バックナンバー Rubyist Magazine 0058 号 RubyKaigi 2018 直前特集号 Rubyist Magazine 0057 号 RubyKaigi 2017 直前特集号 Rubyist Magazine 0056 号 Rubyist Magazine 0055 号 Rubyist Magazine 0054 号 東京 Ruby 会議 11 直
Tumblr Architecture - 15 Billion Page Views a Month and Harder to Scale than Twitter - High Scalability -
« Sponsored Post: Percona Live, AiCache, Next Big Sound, ElasticHosts, Red 5 Studios, Logic Monitor, New Relic, AppDynamics, CloudSigma, ManageEngine, Site24x7 | Main | Stuff The Internet Says On Scalability For February 10, 2012 » With over 15 billion page views a month Tumblr has become an insanely popular blogging platform. Users may like Tumblr for its simplicity, its beauty, its strong focus
ke-tai.org > Blog Archive > ドリコムの負荷対策のノウハウがたくさん詰まったスライド資料「ソーシャルゲームスケールアウトの歴史」
ドリコムの負荷対策のノウハウがたくさん詰まったスライド資料「ソーシャルゲームスケールアウトの歴史」 Tweet 2012/2/20 月曜日 matsui Posted in 記事紹介・リンク | 1 Comment » Slideshareで面白い資料が公開されていたので、ご紹介させていただきます。 ドリコムの負荷対策のノウハウがたくさん詰まった「ソーシャルゲームスケールアウトの歴史」という資料です。 ドリコムがソーシャルゲームに参入して2年半の間に、どのような問題にぶちあたり、どのようにシステムを成長させてきたかがわかる資料になっています。 ソーシャルゲームスケールアウトの歴史 View more presentations from Drecom Co., Ltd. これは素晴らしい資料ですね。 私も正座して、最低10回は読みたいと思います。 関連： ソーシャルゲーム開発に関するスライ
第5回 図解で知るSNMP――MIB情報のすべて
第5回 図解で知るSNMP――MIB情報のすべて：SNMPによるネットワークモニタリング「第2版」（1/8 ページ） サーバやネットワーク機器を監視するSNMPを扱う上で重要なものの1つが“MIB”情報の把握である。機器にアクセスする場合には、このMIB情報を基に問い合わせを行い、モニタリングを行う。 第4回目「SNMPとv3セキュリティ」で説明したように、SNMPエージェントは、現在の状態値（管理情報）をもつオブジェクトを備え外部へと公開する。 それぞれのオブジェクトは固有のOID（Object IDentifier）をもっており、snmpwalkやsnmpgetをはじめとするSNMPマネージャコマンドを用いて、その状態値を取得できるのだ。 このとき問題となるのは、どのOIDをもつオブジェクトが、どんな情報を持っているのかという点だ。例えば、「トラフィック総バイト数」「CPU負荷」「メモ
iftop: display bandwidth usage on an interface
iftop does for network usage what top(1) does for CPU usage. It listens to network traffic on a named interface and displays a table of current bandwidth usage by pairs of hosts. Handy for answering the question "why is our ADSL link so slow?". Requirements libpcap libcurses Download The latest stable version of iftop is 0.17. Older and newer (pre-release) version are available from the downloads
MySQL DBマスタにFusion-IOを使ってみて困ったこと | Ore no homepage
仕事の合間に雑記です。またMySQLに関する記事です。Fusion-IOをMySQL DBマスタに使う時はスレーブ(こっちもFusion-IO)が耐えられるか検証した方が良いよって話。 おれが担当しているシステムは他のシステムの更新情報をかき集めてまとめるようなシステムです(あいまいな説明ですみません)。早い話、更新系の処理がかなり多いです。 更新処理が多いときにデータベースに施すテクニックの一つにデータ分割があると思いますが、マスタを分割しまくってサーバを何十台もラッキングして運用するのは骨でした。そこでioDriveの力を借りることにしました。ioDriveの力でDBを数台に集約してしまおうと。一応説明しておくとioDriveとはFusion-IO社のプロダクトで、PCIe接続の超高性能ストレージです。詳しくは下記のリンクを参照。 http://www.fusionio.com/pla
MySQLにおけるレプリケーション遅延の傾向と対策
レプリケーションはMySQLで最もよく使われる機能のひとつだ。レプリケーションは基本的に非同期でデータの複製を行う仕組みになっているのだが、非同期故にどうしても逃れられない問題がある。そのひとつが今回のテーマ、遅延である。というと、MySQLのレプリケーションはすぐに遅延が生じてしまうように感じてしまうかも知れないが、そのようなことはない。ほとんどの場合は即座にスレーブの更新が行われる。 なぜ遅延は発生するのか、どのように遅延が起きていることを調べるのか、どのように回避するのかということを本エントリでは解説したい。うまく遅延と付き合って、MySQLのレプリケーションをより快適に運用してもらえればと思う。 そもそも遅延とは何かMySQLのレプリケーションは非同期で行われる。これは準同期でも同じであり、スレーブにおいて更新が起きるのはマスターよりも一瞬遅れてしまう。これは非同期であるが故に逃れ
log( e + x ): Linux Tipsアーカイブ
ヘッダ情報やメールサイズなどでメールをフィルタリングできるツール、maildropについての覚え書き。 10月末くらいから時間に余裕できるかと思ったらそんなこと無かった。時間は自分で作るものだね! というのはどうでもよくて、とりあえず短い時間でまとめられそうなmaildropについてのメモ。 フリーメールとかは一通あたりの容量制限があるというところが多いですね。フリーじゃないんですけどiPhone用のIMAPアカウントがあるi.softbank.jpとかも1MB縛りがあります。で、いつでも見られるようにそういったアカウントに容量制限の緩いアカウントから転送していると、容量超過でUndelivered Mail Returned to Senderがぽんぽこ送り主に投げ返されてしまいます。ぽんぽこ? Gmailみたいに制限緩いところ使うとかって手もありますし、それができるなら(それでいいなら
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
libvirt: libvirt-snmp
fluentd を利用した大規模ウェブサービスのロギング
nVentory
パフォーマンステストをまとめてみた
ju11net九州体育(科技)有限公司
エンジニアなら知っておきたい「仮想マシン」のしくみ v1.1 (hbstudy 17)
Rundeck | Modern IT Operations Management Platform | Get a Free Trial