ProPuppet00 - mizzy.org - Trac
Managing Infrastructure With Puppet の中でも少しだけ触れた、Pro Puppet についてメモ。 こちらは内容盛りだくさんで、Puppet をヘビーに使っている人でも読みごたえがあるんじゃないかと。たとえば、バージョン違いの Puppet を混在させる方法、といったところもフォローされていたり。 ただし、Puppet や、Git といった周辺ツールのインストール方法まで詳細に書かれていて、この辺は自分には必要ないなー、と思ったりもした。 とはいえ、最近の Puppet 動向を追いかけていない自分には、とても有意義な内容が多かったので、その辺についてメモしてみる。 （あんまり書きすぎると出版社の人に怒られそうなんで、さらっと。あと、量が多くなりそうなので、何度かにわけて書く。） モジュール化について Puppet 解説書なんで、当然のことながらマニフェスト
UfwOnCentOS5 - mizzy.org - Trac
tokuhirom さんが IRC で「ufw べんり！」「iptables より簡単」っておっしゃっていて、日頃から iptables のコマンドインターフェースは最悪だと思っていたので、お、それは試してみたい、ってことで、ちょろっと触ってみました。 ufw って Ubuntu に標準で付属してるんですね。Ubuntu 使ってないんで知りませんでした。で、ufw の u は Ubuntu の u なのかな、と思ったら、Uncomplicated Firewall の略だそうで、だったら普段一番使ってる CentOS5 でも動くかも、と思って、パッケージ作ったり軽く動かしたりしてみたんで、その記録です。（CentOS の今後については色々言われてますが、まあそこは気にせずに。） まず RPM パッケージをつくろう、ってことで、ググったら ufw.spec を見つけたので、これを CentO
WebOperations - mizzy.org - Trac
献本頂きました。O'Reilly Japan 様、@kdmsnr さん、@hmsk さん、ありがとうございます！ 本書はタイトルにある通り、ウェブの運用に関わる本なんですが、僕が敬愛する John Allspaw 氏と、Chef で有名な Opscode の CEO、Jesse Robbins 氏の監修による、17 + 1 本のエッセイ集で、監修の両氏以外にも様々な方によって書かれています。（+1 は日本語版のみに収録されている、@hmsk さんによるクックパッドのインフラの話です。） 目次は以下の通りとなっています。 1章 ウェブオペレーション：キャリア 2章 Picnikにおけるクラウドコンピューティングの利用とその教訓 3章 インフラとアプリケーションのメトリクス 4章 継続的デプロイ 5章 コードとしてのインフラ 6章 監視 7章 いかにして複雑なシステムは失敗するか 8章 コミュ
daemontools の代替として Supervisor がよさげ
node.js なサーバデーモンの管理をしようと思い、何を使おうか検討していたのですが、この手のデファクトスタンダードである daemontools は、特定のディレクトリ構造に従わないといけなかったり、run スクリプトや log/run スクリプトを置いたりしきゃいけなかったりで、余計な作業が多くてお手軽じゃない、ってことで runit を見てみたんですが、ぱっと見 daemontools との違いがよくわからなくて、daemontools とそれほど煩雑さは変わらないように見えたので、もっとお手軽なものがないかと探していたところ見つけたのが Supervisor 。（といっても自分が知らなかっただけで以前からあるみたいですが。） Python 製で easy_install 一発でインストールできる。 $ sudo easy_install supervisor デフォルトの設定フ
HadoopAndScalaPackagesForCentOS - mizzy.org - Trac
Hadoop を CentOS5 で利用する場合、Cloudera’s Distribution for Hadoop (CDH) を yum でインストール するのが簡単なんですが、http://java.sun.com/ から入手できる JDK パッケージに依存してるので、CentOS5で yum install できる OpenJDK パッケージ が使えません。 Hadoop 使うだけならそれでもいいんですが、他の yum で入る ant 等の Java 製ソフトウェアを利用しようと思うと、Sun から入手した JDK パッケージと yum で入る OpenJDK パッケージが同居して、気持ちが悪いです。 幸い、CDH の SRPM も入手できるので、こいつを OpenJDK パッケージを利用する形でパッケージングしなおしました。 http://svn.mizzy.org/publi
DevOps - mizzy.org - Trac
DevOps: Why Silos Suck And How To Break Them というエントリをたまたま目にして、「DevOps」という見なれない言葉が出てきたので、気になって調べてみたところ、自分が何となくやっていたことや、今までもやもやと考えていたことに一定の方向性が与えらえた気がしたので、整理してみることにします。 DevOps とは？ 簡単に言ってしまうと「開発者と運用者の間の壁を取り払うためのベストクラクティス」と言えそうです。 開発者と運用者の間の壁？ Flickr の中の人による 10+ Deploys Per Day: Dev and Ops Cooperation at Flickr という Velocity 2009 でのプレゼンスライドには「Devs versus Ops」という章があり、以下のような言葉が載っていました。 "It's not my mach
BindDlzVsPowerDns - mizzy.org - Trac
とある IRC チャネルで DNS ソフトウェアの話になって、当然 BIND や djbdns があがってくるわけなんですが、うち PowerDNS つかってて、ベンチマークとった資料とかあるよ、と言ったら、あんま事例ないと思うのでブログで公開するとうれしい人が多いかも、と Ficia を アツく語る人 から言われたので公開します。2年ちょいぐらい前につくった資料で、細かいこと忘れちゃってますし、社内向けに書いたものを公開するので、マズいところは省いたりしてます。 まずは VM 環境で、BIND + DLZ と PowerDNS（どちらもバックエンドに MySQL を使用）のパフォーマンス比較した資料を公開します。 BIND + DLZ のパフォーマンス /etc/named.conf dlz "Mysql zone" { database "mysql {host=localhost d
PlackMiddlewareAuthLDAP - mizzy.org - Trac
最近公私ともに、いちからウェブアプリ（ウェブ API 除く）書いてなくて、久々にウェブアプリを書こうかな−、と思いながらも、フレームワークに何を使おうか迷っていて、Ark Advent Calendar 2009 を読んだり、Amon をウォッチしたりして、この年末を過ごしています。 で、いずれのフレームワーク使うにしても、Plack はキーになりそうだな、ってことで、LDAP で認証するための Plack::Middleware を書いてみました。 http://github.com/mizzy/p5-plack-middleware-auth-ldap Plack::Middleware::Auth::Basic を継承し、authorizer を追加する形で実装しています。 ネームスペースは Plack::Middleware::Auth::Basic::LDAP の方がいいのかな、
PerlbalPluginProxyPass - mizzy.org - Trac
Perlbal::Plugin::ProxyPass Perlbal で Vpaths プラグインをつかって、 LOAD vpaths CREATE POOL apache POOL apache ADD 127.0.0.1 CREATE SERVICE apache_proxy SET role = reverse_proxy SET pool = apache ENABLE apache_proxy CREATE SERVICE selector SET listen = 0.0.0.0:8080 SET role = selector SET plugins = vpaths VPATH /apache = apache_proxy ENABLE selector みたいな設定をすると、 http://localhost:8080/apache -> http://localhost
inotify + makuosan でいい感じのリアルタイムミラーリング InotifyAndMakuosan - mizzy.org - Trac
ファイルのミラーリングツールとしては rsync が最も使われていると思いますが、差分チェックの負荷が大きく、できればつかうのやめたいなー、と思っていたところ、Software Design 2009年8月号 に lsyncd というツールが載っていて、お、これはと思って見てみたのですが、仕組みとしては inotify + rsync なので、結局は rsync を裏で呼び出していて、差分チェックの呪縛からは逃れられません。 inotify でファイルの更新イベント受け取ってるんだから、さらに rsync で差分チェックする必要はないじゃん、と思うわけですが、なんらかの理由でイベントが受け取れない可能性もあるため、二重チェックした方が安全なんでしょうね。 でもやっぱり余分な負荷はかけたくない、ってことで思いついたのが、inotify で更新イベントを検知したファイルを、makuosan の
AddModRewriteInternalFunction - mizzy.org - Trac
Apache モジュール界のスイスアーミーナイフこと mod_rewrite の中でも、最も何でもありな rewrite ができるのが、RewriteMap での prg タイプによる外部プログラム実行ですが、こいつは外部プログラムがひとつだけ常駐し、httpd と標準入出力を介してやりとりする、という形なので、並列処理させることができません。これは rewrite 処理するときにデータベースへ問い合わせるなど、I/O ブロッキングが発生するような処理をさせたいときには致命的なパフォーマンス劣化を引き起こすことになります。 これを解決するためには、Apache モジュールの中で望みの rewrite 処理をさせるようにすればいいのでは、と思い、RewriteMap にある int タイプに好きな internal function を追加できればいけるんじゃないないか、と考えたものの、mo
HowToRpmizeCpanModules - mizzy.org - Trac
Wassr で ZIGOROu さん や hidek さん とやりとりした内容をまとめてみます。 CPAN モジュールの rpm パッケージ作成なんですが、自分はRPM::Specfile に付属している、cpanflute2 を基本的に使ってます。 cpan2rpm の方がメジャーだとは思うんですが、オリジナルのダウンロード用FTPサイトが接続できないのと、吐き出す SPEC ファイルが微妙な感じがするので、なんとなくイヤで使ってないんですが、それ以外はそんなに明確な理由もなく、cpanflute2 の方を使ってます。 ただ、cpanflute2 には以下の問題点があります。 依存関係を自動的に解決してくれない（これは cpan2rpm も同じ） モジュールの tar ball を自分で取得しないといけない（cpan2rpm はsearch.cpan.org から取得してくれる） なので
ChefFirstImpression - mizzy.org - Trac
Puppet 作者 Luke Kanies 氏のブログエントリ にて、Puppet の競合となる Chef というソフトウェアについて触れられていた。 ソフトウェアのポジション的にも、使われている用語的にも、かなり Puppet を意識している模様。開発言語が Ruby という点も Puppet と同じ。 Luke 氏としては、Puppet を散々使っていながらあまりコードに貢献することなしに、新しいプロジェクトを立ち上げるってどうなのよ、とか、競合が存在するのはいいことなんだけど、 そんなたくさん競合がある分野じゃないんだから、もっと色々話してくれてもいいのに、といった不満があるみたい。 また、名前が SEO 的にまずいよね、自分もそれで苦労した、といったことや、Puppet が外部 DSL なのに対し、Chef は内部 DSL なんだけどそれってどうなのよ、的なことも書いてますね。自分
Koan - mizzy.org - Trac
Koan で Cobbler を更に便利に Koan (Kickstart over a network) を使うと、Cobbler と連携して、PXE ブートを使わずに OS を再インストールしたり、Xen または QEMU のゲスト OS をコマンド一発でインストールすることができます。 以下、Fedora 7 で Koan を試してみたメモ。 Koan のインストール $ sudo yum install koan プロファイルやシステムの一覧を表示 プロファイル一覧を表示する。 $ sudo koan --server=cobbler.example.org --list-profile fc7-i386 fc7-xen-i386 システム一覧を表示する。 $ sudo koan --server=cobbler.example.org --list-system test-se
puppet wiki （パペウィキ） - Trac
ここは システム管理ツール puppet の日本語情報 Wiki です。（通称パペウィキ） 関連リンク 本家サイト ソースコードリポジトリ mizzy.org 内の puppet 関連エントリ Tomoyuki Sakurai 氏による OSC2007 発表資料 「オープンソースによるシステム管理の自動化」(PDF) だ！日記 - タグ: puppet オープンソースなシステム自動管理ツール Puppet Wiki 編集について この Wiki はどなたでもご自由に編集できますが、スパム防止のためにログインが必要です。ユーザ名 puppet 、パスワード reductive でログインして編集を行ってください。 また、個別アカウントを発行させて頂くことも可能です。ご希望の場合は、ユーザ名・パスワードを htpasswd -nd でハッシュしたものを gosukenator at gmail
ScalableStorageWithOSS02 - mizzy.org - Trac
OSS だけでスケーラブルなストレージを安価に構築する方法 #2 OSS だけでスケーラブルなストレージを安価に構築する方法 #1 のつづき。 Xen インスタンスの作成 ここは詳しく解説しません。好きなように作成してください。自分は Cobbler/Koan を使ってます。インスタンスは6つ作成。 client0, client1（ストレージをマウントするインスタンス） storage0a, storage0b（ストレージを構成するインスタンスセットその1） storage1a, storage1b（ストレージを構成するインスタンスセットその2） 全体的な構成概要については、前回のエントリ を参照してください。 エクスポート用ブロックデバイスの作成 storage[01][ab] 上で、GNBD によりエクスポートするブロックデバイス（ディスク）を作成。 ディスクイメージを作成。テスト用
ScalableStorageWithOSS01 - mizzy.org - Trac
OSS だけでスケーラブルなストレージを安価に構築する方法 #1 OSS だけでスケーラブルなストレージを安価に構築する方法 #0 のつづき。 サーバ構成概要 TLUG 発表資料 で触れた、全体的な構成のおさらい。構成図は以下のような感じ。 この構成について説明すると、以下のようになります。 DRBD により、2台一組でブロックデバイスをミラーリング /dev/gnbd0 と /dev/gnbd1 がセット /dev/gnbd2 と /dev/gnbd3 がセット GNBD でブロックデバイスをエクスポート /dev/gnbd0, /dev/gnbd1, /dev/gnbd2, /dev/gnbd3 がネットワーク越しに見える クライアント側で GNBD でエクスポートされたブロックデバイスをインポート /dev/gnbd0, /dev/gnbd1, /dev/gnbd2, /dev/g
ScalableStorageWithOSS00 - mizzy.org - Trac
OSS だけでスケーラブルなストレージを安価に構築する方法 #0 TLUG Meeting 2008/09 で発表した How to build a scalable storage system with OSS なんですが、発表では概要しか触れてなくて、じゃあいったいどうやって構築するのよ、という部分が全然ないので、ぼちぼちこのブログで書いていくことにします。 で、スケーラブルというだけだと曖昧なので、以下のような要件を満たすものを、スケーラブルなストレージと想定することにします。 特殊なソフトウェアを必要とせずに、OS からファイルシステムとしてマウントできるもの。なので MogileFS、Hadoop Distributed File System、Google File System 等は対象外。（FUSE 使えばやれないこともないけど…） 容量をオンラインでダイナミックに追加で
Cobbler - mizzy.org - Trac
Cobbler が素敵すぎる ネットワークインストール環境がさくっと構築できる Cobbler がおもしろそうなので触ってみたメモ。参考にしたサイトは以下の通り。 サーバの構築を簡単にするためのステップ （その5：Cobber編 Part1 ） サーバの構築を簡単にするためのステップ （その6：Cobber編 Part2 ） PXEネットワークインストール(Cobbler) cobbler_top - Cafe Chantant Info Repositry - Trac 以下、Fedora 7 で Cobbler を動かしてみたメモ。 インストール yum で一発インストール。 $ sudo yum install cobbler 設定 cobbler check コマンドを実行すると、見直すべき設定ポイントを教えてくれる。親切。 $ sudo cobbler check The fol
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Comparison - puppet wiki （パペウィキ） - Trac