YAPC::Asia 2012 で発表してきました！日本よ、これが #yapcasia だッ！！ - blog.nomadscafe.jp
５．６！５．６！５．６！ 今年も無事にYAPC::Asiaに参加と発表させて頂く事が出来ました。牧さん、941さん、JPAの皆様、ボランティアの皆様、参加した全てのPerl Mongersに感謝です。 今年の発表は、去年のこの時期にやっていたlivedoor Blogのサーバ集約作業とその為につくったツールや自動化について紹介させて頂きました。 質問でも出てきた「作成した移行スクリプトの検証」ですが、メンテナンス時間内にデータベースのコピーが完了するかどうかの検証とあわせて、実際に実行して確認していました。今にして思えばdry-runモードを作ってテストケース書いて確認するぐらいやってもよかったかもしれません。次回（があれば）チャレンジしたいです。 もう一つ言い忘れてましたが、mysql40dumpはMySQL 5.1、5.5でも検証済みで弊社でもヘビーにサーバ運用に使っています。自動でm
この一年のブログエントリまとめ - 2011 - blog.nomadscafe.jp
去年に引き続き、今年も書いてみる。 今年を振り返って公私共に影響が大きかったのは、やはり3/11の東北関東大震災。幸い家族には影響なく過ごしていますが、まだまだ被災された方は大変な思いをされていると思います。今自分ができることを少しだけでもつづけて行きたいと思います 当日は交通手段がすべてストップしてしまったので、新宿から横浜まで歩いて帰ってきました。 3.11 新宿から横浜まで歩いて帰ってきた このあと自宅作業期間や、ノーエンジニアデーがあり、リモートで仕事できる環境が整いました。最近は朝はカフェで仕事しています。 山の8月/9月 今年のブログ記事を振り返って行くと、9月だけまったく記事がない。9月に何をやっていたかというと、一つは沖縄へ旅行行ってたことと、もう一つは大規模メンテナンス。 [完了報告][9/14] メンテナンスのお知らせ この裏側では記事のデータベースを一気に移動する作業
GrowthForecastというグラフ表示ツールで捗る話 - blog.nomadscafe.jp
追記 2012/06/22 公式ページを作りました。そちらも参考にしてくださいませ GrowthForecast - Lightning fast Graphing / Visualization http://kazeburo.github.com/GrowthForecast/ Kansai.pmのLTでも紹介したんだけど、APIを叩く事でグラフを更新するツールを書きました。話の発端としては「cloudforecastのグラフを外からAPIで更新したい」ということでしたが、cloudforecastではグラフの追加が重い処理になってしまうので、別のプロダクトとしています。 サーバの負荷などのメトリクスを収集し、グラフ化することで、システムに掛かっている負荷を把握し、パフォーマンスに影響がでるまえに対策をうったり、改善の結果を知る事ができますが、同じ事はシステムだけではなく提供しているサ
Software Design 2011年9月号に運用エンジニアに関する記事を寄稿しました - blog.nomadscafe.jp
Software Design 2011年9月号にて『運用エンジニア「攻め」の仕事術」という特集の最初の章を担当させて頂きました。 運用エンジニアとはどんな職業で、何をすべきなのかを10年ぐらい前の昔話や前職の経験、今の職場で感じることなど自分の経歴を含めて書かせて頂きました。 今回の特集は、自分の他に@riywoさんや馬場さん(@netmarkjp)などの方々も記事を書いています。Mobageの半年で10億PV以上増えた話やアツい運用話、馬場さんの専業ならではの監視運用の話も非常に参考になりました。 中でも、馬場さんの記事中の、「障害対応のときに冷静でいる為のポイント」が参考になったので引用します 否が応でも心拍が早くなるので、心拍が早くなっていることを確認して自覚する 「冷静に」を心がける。心がけても冷静でいられないから、余計に心がける 呼吸、口調、タイプスピードを意図的にスピードダウ
Re: @kazuho: handlersocket plugin や mycached を使えば memcached は不要か、それとも使うべきケースがあるか。考察せよ [10点] - blog.nomadscafe.jp
handlersocket plugin や mycached を使えば memcached は不要か、それとも使うべきケースがあるか。考察せよ [10点] kazuho (Kazuho Oku) http://twitter.com/kazuho/status/21477219149 考えて答えてみる。 HandlerSocketやmycachedを利用し、MySQLへの接続数が数万単位で行えるようになったり、より多くのクエリ数が発行できるようになっても、memcachedは不要ではないし、使うべきケースもあります。 memcachedは単なるKVSではなく、ExpiresとLRUがついたキャッシュサーバです。キャッシュオブジェクトには期限を付ける事ができ、期限が過ぎたキャッシュは無効にされ、またアクセスがされていない不要になったオブジェクトは削除され、空いたスペースは新しいキャッシュオ
株式会社ミクシィを退職しました - blog.nomadscafe.jp
昨日tweetした通り、株式会社ミクシィを退職しました。正確には今月末までとなり、今は少ない有給消化期間です。次の会社は既に決まっていて、6月1日から新しい会社となります ミクシィにはちょうど4年間在籍しました。その間mixiはPVにして10倍以上という驚異的な成長をし、会社としてのミクシィも上場をするなどさまざまな経験をさせて頂きました。 自分だけでやったことではなく、もちろん他のエンジニアの協力のもとで行ったことですが、4年間の間に自分のミクシィでやっていたことをBlog等ですでに紹介したものを中心にいくつか書くと アプリケーションレベルでのDBのフェイルオーバ Apache modproxybalancerの導入 デプロイツールの作成 サーバ設定のバージョン管理化 Squid COSSの検証導入 プロフィール画像などSquid CARPを利用した分散構成対応 Nginxの検証 Var
Kickstart内蔵、自動仮想マシン作成スクリプト - blog.nomadscafe.jp
cobbler/koanを使えば良さそうなんだけど、DHCP/PXEが必要となりそうで、それらを使えない場所で簡単に仮想マシンを作成するスクリプトを書いてみた。動作する環境はCentOS 5.4でKVM。ネットワークはブリッジで設定されていることが前提です。 依存するモジュールはEPELを使うと簡単にインストールできる $ sudo yum install perl-HTTP-Server-Simple perl-Regexp-Common スクリプトの実行は以下 $ sudo perl ./build-virt.pl --private 仮想マシンのプライベートIP スクリプトを実行すると、kickstartを配布するためのwebserverをforkして、virt-installを実行します。OSイメージはftp.iij.ad.jpから取得するように固定で書いてしまっています。 scr
YAPC::Asia 2009で発表した件をブログに書いた件 - blog.nomadscafe.jp
YAPC::Asia 2009で大規模画像配信とPerlについて発表しました。 会社のブログの方に資料公開しましたので、 このブログでも紹介です 一部パワポのアニメーション機能使っている部分が抜けていますので 会社ブログの方で公開しているPPTファイルも参照して頂けると幸いです 資料の中で、Image::Magickのベンチマークをしているのですが、その際画像サイズの変更のアルゴリズムについては触れていませんでした。 確かに画質は悪くなりますが、変換のアルゴリズムを変更するとスピードがあがります。 ImageMagickの画像の拡大縮小のアルゴリズムについては以下のページが参考になります。 りゃくえふ » Blog Archive » ImageMagickの画像の縮小 しかし実際、Image::Magickが重たいのは画像loadの時です。 Image::MagickのReadだけと、I
RemedieはIPv6でListenしたほうがいいんじゃないかの話 - blog.nomadscafe.jp
AnyEventとかCoroあたりを知るために、RemedieのMacのbinary版を入れてみたりしているのですが、1つ気になった点がありました。 RemedieはBonjourをサポートしているので、起動すると自動でSafariのブックマークのBojourメニューに現れます。 ただ、ここからアクセスすることは出来ませんでした。 Bonjourに登録されたアドレスは、 http://kazeburomp.local.:10010/ Safariからでは接続ができなかったようです。 そこでtelnetを用いて、接続をできるか、確認すると、 % telnet kazeburomp.local. 10010 Trying fe80::21c:42ff:fe00:0... telnet: connect to address fe80::21c:42ff:fe00:0: Connection r
mod_libmemcached_cacheでApacheのcacheをmemcachedに保存する : blog.nomadscafe.jp
mod_libmemcached_cacheでApacheのcacheをmemcachedに保存する Apacheのmod_cacheのキャッシュ保存先にmemcachedが使えればいいのにと長年思ってきましたが、mod_libmemcached_cacheがそれを実現してくれました。 しかも、libmemcachedを利用しているので、性能も高く、またConsitent Hashingも使えますし、バイナリプロトコルもばっちりです。 図にするとこんな感じ。revserse proxyのcacheがmemcachedになるので、cache効率が上がり、またApplicationサーバからも同じmemcachedが参照できるのでcacheを変更したりできるかもしれません。 導入 mod_libmemcached_cacheはgithubから入手できます http://github.com/a
Image::Sizeで読めないjpegファイルへ対応するpatch : blog.nomadscafe.jp
Image::Sizeで読めないjpegファイルへ対応するpatch このページにあるようなjpegファイルがImage::Size(3.1.1)でうまく認識ができないので対応patch書きました。 WX310SA(など)で映した写真の場合、jpegのヘッダ中でmarkerであるffが並ぶところがあるようで、Image::Sizeでそれを扱えません。ただ、普通の場合、Image::SizeがImage::Magickを呼ぶので気付きにくいかもしれません。サービスで使う時に、Image::Magickを呼ばれたくないので無理矢理切っていたため気付いた次第です。 ↓patch --- lib/Image/Size.pm.orig 2008-12-12 18:13:39.000000000 +0900 +++ lib/Image/Size.pm 2008-12-12 18:18:53.00000
Cache::Memcached::Fastを試す : blog.nomadscafe.jp
Cache::Memcached::Fastを試す Perlの新しいmemcachedクライアント「Cache::Memcached::Fast」がでていたので試してみた 結論から言うと、これは使えそう。 まず、C::M::Fastはmemcached-1.2.4でサポートされた、append, prepend, cas, gets, gets_multiをサポートする唯一のPerlクライアントです。また、常に問題となるCache分散にKetama consistent hashing algorithmをサポートしているためCacheの組み替えを最小限にしてCacheサーバの追加が行えます。 手元のベンチマークでは50%〜80%、処理によりますが300%以上高速化されてます インストールは普通にCPANから行えます。ただし、memached-.1.2.4が動いていないとmake test
Tugela Cacheを使ってみる : blog.nomadscafe.jp
Tugela Cacheを使ってみる Tugela Cacheとは、MediaWikiの人がつくったMemcachedのストレージをBerkeleyDBに入れ替えたCache Serverです。 使っているとか聞いたことがないですし、情報もすくないです 特徴としては、 既に書いたけど、BDBにデータを保存 Cache切れの値を削除するプログラムが別にある Memcachedとプロトコル同じ あたりでしょうか インストールには、libeventとBDBのライブラリが必要です。 そんなに迷わないと思われます $ svn checkout http://svn.wikimedia.org/svnroot/mediawiki/trunk/tugelacache $ cd tugelacache $ make $ sudo cp tugela /usr/local/bin $ sudo cp tug
高速Webサーバ Nginxの組み込みPerlを使ってみる : blog.nomadscafe.jp
高速Webサーバ Nginxの組み込みPerlを使ってみる NginxというWebサーバがあります。 ロシアの方がつくったもので、rambler.ruでも使われてます。 日本語情報がほぼ皆無ですが、このあたりで紹介されています。 機能的には、epoll,kqueueやsendfileなどがサポートされ、 rewrite, header書き換え deflate FastCGI SSL シンプルな負荷分散付きreverse proxy 等すでにLighttpdと比較しても遜色ない十分な機能が実装されてます。 パフォーマンス的にもLighttpdと同等かそれ以上でます。 珍しい機能として、「perlインタプリタの組み込み」があるので早速試してみます。Fedora Core6ではnginxはyumでインストールできます。perl_moduleも有効になってます perl関連のドキュメントはここ。
Deployツール : blog.nomadscafe.jp
Deployツール 会社でYAMLでDeployのPlanを書いて、実行できるDeployツールを作成中 common: proxies: - proxy1 - proxy2 plans: - name: mod_proxy concurrency: 2 base: ModProxy method: - rsync - httpd_graceful rsync_exclude: - .svn/ rsync_src: /mod_proxy rsync_dest: /var/proxy hosts: c{proxies} - name: mod_perl concurrency: 1 base: ModPerl method: - proxy_drop - httpd_stop - rsync - httpd_start - proxy_add balancers: c{proxies} ba
Load Balancer ManagerにアクセスするPerl Module : blog.nomadscafe.jp
Load Balancer ManagerにアクセスするPerl Module mod_proxy_balancerのLoad Balancer ManagerにアクセスするPerl Moduleなんかも作っていたりするので、簡略版を載せてみる。 my $manager = BalancerManager->new( manager => 'http://proxy/lbman', balancer => 'test', # balancer://testの設定 ); $manager->enable('http://foo:8000'); #balancermanagerに登録してあるuri $manager->disable('http://foo:8000'); enable/disableの戻り値は画面のまんまで、Ok or Dis or Err。 該当しない場合は、「-」になる。
CGI::Application::Plugin : blog.nomadscafe.jp
CGI::Application::Plugin 完全な思いつき＆パクリ。 package CGI::Application::Plugin; use 5.006; use strict; use attributes (); our $VERSION = 0.01; # Code stolen from Class::DBI::Plugin # Code stolen from Simon Cozens (Maypole) our %remember; sub MODIFY_CODE_ATTRIBUTES { $remember{ $_[1] } = $_[2]; () } sub FETCH_CODE_ATTRIBUTES { $remember{ $_[1] } } sub import { my $class = shift; my $caller = caller; no str
mixi入社しました : blog.nomadscafe.jp
mixi入社しました 6月1日、株式会社mixiに入社いたしました。 どうかよろしくお願いします。 前職をやめてから、様々な方にありがたいお声をかけていただいて、 感謝しております。期待に添えますよう、mixiにてがんばっていきたいと思います。
mod_secutiryを使ってApacheでTrackback Spamを弾く : blog.nomadscafe.jp
mod_secutiryを使ってApacheでTrackback Spamを弾く MTのTrackback Spam対策にmod_securityを使って英数字のみのTrackbackを弾くようにしてみた。 mt-tb.cgiが動く前にApacheとかProxyとかでSPAMを判定できるとサーバに優しいし、かなり良いんじゃないかと思う。 mod_secutiryを # apxs -cia mod_security.c でインストールして、 <Files "mt-tb.cgi"> SecFilterEngine On SecFilterScanPOST On SecFilterDefaultAction "deny,log,status:406" SecFilterSelective POST_PAYLOAD "^[\x00-\x7F]+$" </Files> と設定。 フィルタリングされて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
株式会社ライブドアに入社しました - blog.nomadscafe.jp