WebOperations - mizzy.org - Trac
献本頂きました。O'Reilly Japan 様、@kdmsnr さん、@hmsk さん、ありがとうございます！ 本書はタイトルにある通り、ウェブの運用に関わる本なんですが、僕が敬愛する John Allspaw 氏と、Chef で有名な Opscode の CEO、Jesse Robbins 氏の監修による、17 + 1 本のエッセイ集で、監修の両氏以外にも様々な方によって書かれています。（+1 は日本語版のみに収録されている、@hmsk さんによるクックパッドのインフラの話です。） 目次は以下の通りとなっています。 1章 ウェブオペレーション：キャリア 2章 Picnikにおけるクラウドコンピューティングの利用とその教訓 3章 インフラとアプリケーションのメトリクス 4章 継続的デプロイ 5章 コードとしてのインフラ 6章 監視 7章 いかにして複雑なシステムは失敗するか 8章 コミュ
SystemTap00 - mizzy.org - Trac
SystemTap が以前から気になってたので、ちゃんと調べてみることに。 ざっとググってみた感じだと、SystemTap Beginners Guide がしっかりまとまっていてわかりやすそうなので、これをベースに調べたことをメモしていく。PDF 版もあるので Kindle に入れて持ち運べるし。 SystemTap とは？ カーネルの動きをモニタリングするためのフレームワーク netstat, ps, top, iostat なんかで得られるのと同じような情報が取得できる こういった情報が得られるだけではなく、フィルタリングしたり解析したりもできる といったもののようです。DTrace を知ってる方なら、それに似たようなもの、と言えばわかりやすいのかもしれません。（自分は DTrace よく知りませんが。） 参考 URL http://sourceware.org/systemtap/
HadoopAndScalaPackagesForCentOS - mizzy.org - Trac
Hadoop を CentOS5 で利用する場合、Cloudera’s Distribution for Hadoop (CDH) を yum でインストール するのが簡単なんですが、http://java.sun.com/ から入手できる JDK パッケージに依存してるので、CentOS5で yum install できる OpenJDK パッケージ が使えません。 Hadoop 使うだけならそれでもいいんですが、他の yum で入る ant 等の Java 製ソフトウェアを利用しようと思うと、Sun から入手した JDK パッケージと yum で入る OpenJDK パッケージが同居して、気持ちが悪いです。 幸い、CDH の SRPM も入手できるので、こいつを OpenJDK パッケージを利用する形でパッケージングしなおしました。 http://svn.mizzy.org/publi
DevOps - mizzy.org - Trac
DevOps: Why Silos Suck And How To Break Them というエントリをたまたま目にして、「DevOps」という見なれない言葉が出てきたので、気になって調べてみたところ、自分が何となくやっていたことや、今までもやもやと考えていたことに一定の方向性が与えらえた気がしたので、整理してみることにします。 DevOps とは？ 簡単に言ってしまうと「開発者と運用者の間の壁を取り払うためのベストクラクティス」と言えそうです。 開発者と運用者の間の壁？ Flickr の中の人による 10+ Deploys Per Day: Dev and Ops Cooperation at Flickr という Velocity 2009 でのプレゼンスライドには「Devs versus Ops」という章があり、以下のような言葉が載っていました。 "It's not my mach
OpenSourceProvisioningToolchain - mizzy.org - Trac
DevOps に関する理解を深めるために、資料にあたってまとめてみるシリーズ。 今回は Velocity Online Conference - March 17, 2010 でのプレゼン Provisioning Toolchain から。スライドのタイトルは「OpenSource Provisioning Toolchain」となっている。 昨日のエントリでいうと、「インフラの自動化」や「ワンステップビルド＆デプロイ」に関連する話。 Toolchain というのは何らかの目的を達成するためのソフトウェアの集まり、ってことなので、Provisioning Toolchain は、プロビジョニングを行うためのソフトウェアの集まり、ってことですね。つまり OpenSource Provisioning Toolchain は、プロビジョニングを行うためのオープンソースソフトウェアの集まり、と
KindleJapaneseTitle - mizzy.org - Trac
Kindle Store で樋口一葉、芥川龍之介、夏目漱石らの日本語書籍が出てたのは以前から知っていたのですが、最近 Amazon Kindleで日本語のコンテンツが読める！ 日本語電子書籍「想隆社文庫」創刊！一般向けおよび図書館向けに提供を開始 といったプレスリリースが出てたので、どんなものか確認するために、実際に購入してみました。 結論から言うと、「6インチ Kindle 上では薄くて読みづらい。お金出して買う価値なし。今出てるタイトルなら、青空キンドルを使っとけ。」といったところでしょうか。 以前から出てた日本語タイトルのスクリーンショット。 最近プレスリリースが出ていた、「これまでの電子書籍と異なり、従来の紙の本好きが違和感なく読めることを重視。書籍DTPを行う職人による組版を採用し、版面の美しさを追求しました。」と謳われているもののスクリーンショット。 青空キンドルのスクリーンシ
LsyncdRsyncTargetDirectory - mizzy.org - Trac
lsyncd が rsync する対象ディレクトリを調べてみた inotify + makuosan でいい感じのリアルタイムミラーリング で、lsyncd は結局は rsync を裏で呼び出してるので、差分チェックの呪縛からは逃れられない、的なことを書いてたんですが、ふと、「もしかして、inotify から rsyncを呼び出すときに、同期対象となるファイルは、指定したディレクトリ以下のもの全部ではなく、変更があったファイルがあるディレクト以下のものだけ、なんて動きをしてくれるのかな？」と気になったので、実際に試してみました。結果から先に言うと、想定通りの動きとなってます。これって常識なんですかね？以下、試した時のログ。 ログを確認するために、lsyncd をフォアグランドで起動。 $ ./lsyncd --no-daemon /tmp/lsyncd localhost:/var/tmp
PowerDNSTest - mizzy.org - Trac
前回のエントリ のつづき。今度は BIND + DLZ との比較ではなく、PowerDNS 単体、実サーバ上でパフォーマンス測定したり、長時間負荷かけてみたり、更新かつキャッシュパージしながら参照したり、といったテストをした時の記録。こちらもやはり2年ちょいぐらい前に作ったモノ。 目次Starting Points テスト環境について DNSサーバ AMD Athlon(tm) 64 X2 Dual Core Processor 4600+ 2GB メモリ MySQLサーバ AMD Athlon(tm) 64 X2 Dual Core Processor 4600+ 2GB メモリ テスト用 DNS クライアント AMD Athlon(tm) 64 X2 Dual Core Processor 4600+ 2GB メモリ テストデータの投入 テスト用ゾーンデータを SQL 形式で準備 具体
BindDlzVsPowerDns - mizzy.org - Trac
とある IRC チャネルで DNS ソフトウェアの話になって、当然 BIND や djbdns があがってくるわけなんですが、うち PowerDNS つかってて、ベンチマークとった資料とかあるよ、と言ったら、あんま事例ないと思うのでブログで公開するとうれしい人が多いかも、と Ficia を アツく語る人 から言われたので公開します。2年ちょいぐらい前につくった資料で、細かいこと忘れちゃってますし、社内向けに書いたものを公開するので、マズいところは省いたりしてます。 まずは VM 環境で、BIND + DLZ と PowerDNS（どちらもバックエンドに MySQL を使用）のパフォーマンス比較した資料を公開します。 BIND + DLZ のパフォーマンス /etc/named.conf dlz "Mysql zone" { database "mysql {host=localhost d
KvmOnCentOS54 - mizzy.org - Trac
CentOS 5.4 から KVM が正式にサポートされたようなので、試してみた。 KVM が動く環境をつくる まずは既存の 5.3 環境から 5.4 にアップグレード。 $ sudo yum -y upgrade 不要になった kernel-xen は削除。 $ sudo yum -y remove kernel-xen kmod-kvm, kvm をインストール。 $ sudo yum -y install kmod-kvm kvm /boot/grub/menu.lst 修正。 title CentOS (2.6.18-164.el5) root (hd0,0) kernel /vmlinuz-2.6.18-164.el5 ro root=/dev/vg00/lv_root vga=773 initrd /initrd-2.6.18-164.el5.img 再起動する。 Cobble
ChefFirstImpression - mizzy.org - Trac
Puppet 作者 Luke Kanies 氏のブログエントリ にて、Puppet の競合となる Chef というソフトウェアについて触れられていた。 ソフトウェアのポジション的にも、使われている用語的にも、かなり Puppet を意識している模様。開発言語が Ruby という点も Puppet と同じ。 Luke 氏としては、Puppet を散々使っていながらあまりコードに貢献することなしに、新しいプロジェクトを立ち上げるってどうなのよ、とか、競合が存在するのはいいことなんだけど、 そんなたくさん競合がある分野じゃないんだから、もっと色々話してくれてもいいのに、といった不満があるみたい。 また、名前が SEO 的にまずいよね、自分もそれで苦労した、といったことや、Puppet が外部 DSL なのに対し、Chef は内部 DSL なんだけどそれってどうなのよ、的なことも書いてますね。自分
HowToRpmizeCpanModules - mizzy.org - Trac
Wassr で ZIGOROu さん や hidek さん とやりとりした内容をまとめてみます。 CPAN モジュールの rpm パッケージ作成なんですが、自分はRPM::Specfile に付属している、cpanflute2 を基本的に使ってます。 cpan2rpm の方がメジャーだとは思うんですが、オリジナルのダウンロード用FTPサイトが接続できないのと、吐き出す SPEC ファイルが微妙な感じがするので、なんとなくイヤで使ってないんですが、それ以外はそんなに明確な理由もなく、cpanflute2 の方を使ってます。 ただ、cpanflute2 には以下の問題点があります。 依存関係を自動的に解決してくれない（これは cpan2rpm も同じ） モジュールの tar ball を自分で取得しないといけない（cpan2rpm はsearch.cpan.org から取得してくれる） なので
ScalableStorageWithOSS05 - mizzy.org - Trac
ずいぶん間があいちゃいましたが、OSS だけでスケーラブルなストレージを安価に構築する方法 #4 のつづき。今回は DM-MP により束ねられた仮想的なブロックデバイス（/dev/mapper/mpath0 と /dev/mapper/mpath1）を、更に CLVM でひとつの論理ボリュームにし、GFS2 でフォーマットした後、実際にマウントしてみます。今回が最終回です。 CLVM のインストールと設定 client0, client1 双方でインストールと設定。 $ sudo yum -y install lvm2-cluster /etc/lvm/lvm.conf を編集し、locking_type を 3 に設定。 locking_type = 3 clvmd を起動。 $ sudo /etc/init.d/clvmd start 物理ボリューム/ボリュームグループ/論理ボリュー
SetupRemedie - mizzy.org - Trac
本当に15分で Remedie を始めるための資料 overlast さんのこれから15分で Remedie を始めるための資料 に即発されて書いてみました。こっちは CPAN モジュールをインストールする時間も入れて15分。ただし限定された環境のみ。 Remedie 用に CPAN モジュールの RPM パッケージ作ったので、これプラス Puppet を利用します。ただし、RPM パッケージを CentOS 5 x86_64 でビルドしてるので、この環境限定。SRPM はあるので、他の環境の方はこいつをビルドして使ってください。 まずは Puppet をインストールするための yum リポジトリ設定。以下の内容で /etc/yum.repos.d/dlutter.repo を作成。 [dlutter] name=lutter baseurl=http://people.redhat.co
XenSummitTokyo2008Libvirt - mizzy.org - Trac
Xen Summit 2008 Tokyo で発表した、「Operating Xen domains through LL(Perl/Python) with libvirt」の資料を SlideShare にアップしました。 libvirt という仮想化システムを操作するためのライブラリがあるんですが、それをつかって Perl/Python で Xen を管理するプログラムを書く、ということにフォーカスした内容です。 Perl/Python での libvirt プログラミングだけではなく、libvirt そのものの概要やアーキテクチャ、Avahi という mDNS 実装との連携で、libvirtd が動いているホストを自動で発見する Perl コードのサンプル、Func の virt モジュールは裏で libvirt を使ってる、といったような内容が含まれています。 Xen Summi
ScalableStorageWithOSS04 - mizzy.org - Trac
OSS だけでスケーラブルなストレージを安価に構築する方法 #4 OSS だけでスケーラブルなストレージを安価に構築する方法 #3 のつづき。今回は Device-Mapper Multipath をつかって、DRBD によりミラーされている2つのブロックデバイスを、仮想的にひとつに見えるようにします。 まずは client0 と client1 に device-mapper-multipath がインストールされていなければ、インストール。 $ sudo yum -y install device-mapper-multipath /etc/multipath.conf を修正。デフォルトでは blacklist の devnode に * が指定されていて、すべてのデバイスに対して無効になっているので、blacklist をコメントアウト。 # Blacklist all devic
ScalableStorageWithOSS03 - mizzy.org - Trac
OSS だけでスケーラブルなストレージを安価に構築する方法 #2 のつづき。今回はストレージサーバ側で GNBD によりブロックデバイスをエクスポートし、クライアント側でインポートするまでの手順を紹介します。 ストレージクラスタ 用途的にはクラスタリングする必要はないのですが、GNBD でエクスポートする際に、cman(Cluster Manager) を動かす必要があるため、まずは cman をインストール、設定、起動して、ストレージクラスタを構成します。 といっても、クラスタリングは本来の趣旨とははずれるので、設定は適当。 まずは storage0a と storage0b をクラスタリング。最初に storage0a で cman をインストール。 $ sudo yum -y install cman storage0a で ccs_tool を実行し、/etc/cluster/cl
ScalableStorageWithOSS02 - mizzy.org - Trac
OSS だけでスケーラブルなストレージを安価に構築する方法 #2 OSS だけでスケーラブルなストレージを安価に構築する方法 #1 のつづき。 Xen インスタンスの作成 ここは詳しく解説しません。好きなように作成してください。自分は Cobbler/Koan を使ってます。インスタンスは6つ作成。 client0, client1（ストレージをマウントするインスタンス） storage0a, storage0b（ストレージを構成するインスタンスセットその1） storage1a, storage1b（ストレージを構成するインスタンスセットその2） 全体的な構成概要については、前回のエントリ を参照してください。 エクスポート用ブロックデバイスの作成 storage[01][ab] 上で、GNBD によりエクスポートするブロックデバイス（ディスク）を作成。 ディスクイメージを作成。テスト用
ScalableStorageWithOSS00 - mizzy.org - Trac
OSS だけでスケーラブルなストレージを安価に構築する方法 #0 TLUG Meeting 2008/09 で発表した How to build a scalable storage system with OSS なんですが、発表では概要しか触れてなくて、じゃあいったいどうやって構築するのよ、という部分が全然ないので、ぼちぼちこのブログで書いていくことにします。 で、スケーラブルというだけだと曖昧なので、以下のような要件を満たすものを、スケーラブルなストレージと想定することにします。 特殊なソフトウェアを必要とせずに、OS からファイルシステムとしてマウントできるもの。なので MogileFS、Hadoop Distributed File System、Google File System 等は対象外。（FUSE 使えばやれないこともないけど…） 容量をオンラインでダイナミックに追加で
ScalableStorageWithOSS01 - mizzy.org - Trac
OSS だけでスケーラブルなストレージを安価に構築する方法 #1 OSS だけでスケーラブルなストレージを安価に構築する方法 #0 のつづき。 サーバ構成概要 TLUG 発表資料 で触れた、全体的な構成のおさらい。構成図は以下のような感じ。 この構成について説明すると、以下のようになります。 DRBD により、2台一組でブロックデバイスをミラーリング /dev/gnbd0 と /dev/gnbd1 がセット /dev/gnbd2 と /dev/gnbd3 がセット GNBD でブロックデバイスをエクスポート /dev/gnbd0, /dev/gnbd1, /dev/gnbd2, /dev/gnbd3 がネットワーク越しに見える クライアント側で GNBD でエクスポートされたブロックデバイスをインポート /dev/gnbd0, /dev/gnbd1, /dev/gnbd2, /dev/g
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
