はてなブックマーク

「第3回 MongoDB 勉強会 in Tokyo」 : ATND 先週土曜日（2011年5月14日）にフューチャーアーキテクトさんのセミナールームにて行われたMongoDBの勉強会に行ってきました。 MongoDBの仕様・機能などの体系的な話からチューニングの話、開発に利用する話、プロダクションとして運用している話と、バランスよくまとまっていてとても勉強になりました。 RDBとの違いや特有の挙動をきちんと把握して利用すれば、十分プロダクションで利用出来るというビジョンが見えました。 詳細は各発表者の方のスライドを見るとわかると思いますが、当日会場でメモしたものでダイジェスト的にまとめました。 MongoDB勉強会は毎月開催（予定）しているそうなので、興味を持たれた方は是非参加して見てください。 MongoDBコミュニティー：MongoDB JP | Google グループ 【発表1】Mo

最近仮想OSばかり触っているので、たまにいじったサーバーのOSアップグレードメモです。 アップグレードするサーバーにはDVDドライブが付いていたので、DVDブートで挑戦してみました。 CentOS5.5のISOを落としてDVD化 ISOはこちらから落としました。 http://ftp.riken.jp/Linux/centos/5.5/isos/i386/CentOS-5.5-i386-bin-DVD.iso DVDでブートして上書きインストール ブートして通常通りインストールを進めていくと、インストーラーが既存のOSをチェックして「CentOS4.8に上書き」 or「再インストール」とたずねてくるので、上書きを指示します。 その後、DVDからハードディスクへファイルのコピーが始まります。コピーするファイル数、合計のバイト数、その途中経過を表示しながら進んでいきます。 トラブル1「インスト

CPUとメモリは連動で、4×4の16パターンの料金体系があり、月途中でスペックを変更した場合は、その月で最もハイスペックだった料金が請求される仕組みです。 転送量に対する課金もありませんし、稼働時間に対する課金もありませんので、料金が非常に明確になります。 利用可能なOSは以下の通りです。 CentOS ver5.5 32bit CentOS ver5.5 64bit Ubuntu ver10.04 32bit Debian ver5.0(lenny) 32bit Debian ver5.0(lenny) 64bit Debian ver6.0(squeeze) 32bit Debian ver6.0(squeeze) 64bit 実際に使ってみて 現在、4CPU/4GB+80GB(¥5,800)、CentOS5.5 64bitのサーバーを3台契約しています。 ホームページ上では最短5分以

先週金曜日（12/2）にクックパッドインフラ勉強会に参加しまして、そこで同社の成田さんから「今日からできるApacheモジュール開発と運用」という発表がありました。 リアルタイム画像変換モジュールの「TOFU」を開発するに至った経緯と、Apacheモジュール開発についてのお話でした。 TOFUは、S3に置かれたマスターとなる画像ファイルを取得し、与えられたパラメータでリアルタイム（オンザフライ）にリサイズ・トリミングを行うモジュール（mod_tofu）です。 料理を楽しくする画像配信システム 実際は、モジュールによる画像取得・変換をベースに、キャッシュや配信までも含めた一連の画像配信システムと言えそうです。 この仕組みをNginxを使って実装できないかと考えて、リアルタイム変換の仕組みをNginxだけで実現する方法を実験してみました。 準備するもの HttpImageFilterModul

Flareのフェイルオーバー機能をテストしてみました。 ノード監視 + フェイルオーバー (インデックスサーバにより各サーバを監視し、ダウンした場合にはサービスアウトします。また、masterサーバがダウンした場合はslaveサーバのうち1台がmasterサーバに昇格します) Flare – GREE Labsより 今回は後半のmasterサーバーがダウンした場合のテストです。 実際にダウンしてしまうというよりも、メンテナンスのためにを故意にダウンさせるケースを想定しています。実際の挙動を確認しておくことで、本番環境で自信を持ってmasterサーバーを落とすことができます。 設定ファイル インストールは公式ドキュメントをご覧いただくとして、各サーバーの設定から。 1台のサーバーにインデックスサーバー*1、各ノードサーバー*3を立ち上げるため、ポートを変えて起動します。 インデックスサーバー

Twitter Client Ranking by Streaming APIの構成は、 PHP5.3.3(with APC) + MongoDB1.6.1 + Apache2.2.3で、フレームワークにsyfmony1.4.6を利用しています。この構成が動く最低限の環境を構築した際のメモです。 さくらのVPSはサービスはほとんど入っていませんでしたが、gccやautoconfは既に入っていました。 #Apache sudo yum install httpd.x86_64 #PHPのコンパイルに必要（パラメータによる） sudo yum install httpd-devel.x86_64 sudo yum install libxml2-devel.x86_64 sudo yum install openssl-devel.x86_64 sudo yum install curl-de

データを継続的に保存するのにHDDが20GBと心許ないので古くなったデータはどんどん削除していく必要がありそうです。一方でデータ転送量が無制限となっているので、APIからの取得に（料金的な意味で）気を使う必要はなさそうです。 OSは最新のCentOS5.5で、サービスはsendmailとssh以外は何も入っていないので、httpdなどを自由に追加して利用します。また、ポートはすべて公開状態なのでiptablesを設定、有効にすることも必要です。 Twitter Streaming API Twitter Streaming APIのstatuses/sampleメソッドを利用します。sampleメソッドは公開タイムラインの1%未満がサンプリングされたデータとなります。実際にアクセスをしてみると1分間に350〜650ツイート取得でき、量にかなりムラがあることがわかりました。 HDDの容量を考

セキュリティーの問題がクリアできれば、独自ドメインでメールアドレス（サーバー）を運用するのにGoogle Apps（Gmail）を利用しない理由はないと思います。 無料版であるStandard Editionでは 無料（広告が表示されるだけ） で1アカウント7GBのメールボックスが独自ドメインで作成できる 50アカウントまで作成可能 Gmailと同じUI、同等の機能（検索、スパムフィルター、POP/IMAP対応、携帯・iPhone対応など） といった目に見える特徴と、なんと言ってもサーバーを保守する必要がないという絶大なメリットがあります。 そこで、メールサーバーとしてGoogle Appsを利用する際に行った設定（主にDNS）と、自戒を込めて、アプリケーションサーバーでメールを送信する場合のポイントを書きたいと思います。 ※Google Apps の導入手順のステップ 4: ユーザー ア

クラウドのホスティングサービスは、一定リソースの時間極課金＋通信トラフィックの従量課金が一般的です。 CPUやメモリなどのリソースは、1%しか使わなくても100％使っても時間内の料金は同じです。 一方で通信料は使った分だけGB単位などで段階的に課金される仕組みです。 この料金体系では、なるべくリソースを使い切って、且つ通信料を抑えることが最も費用対効果のある利用方法となります。 サーバーからクライアントへのレスポンス、特にブラウザーのロードとレンダリングを高速化させるために、Yahoo!のYSlowやGoogleのPage Speedを使ってチューニングを行うのと同じようなアプローチで、なるべくCPUに仕事をさせて、トラフィックを減らしてみたいと思います。 キャッシュ機能を最大限利用する Expires Apacheのmod_expiresを有効にすることで、レスポンスヘッダーにExpir

先週金曜日（12/2）にクックパッドインフラ勉強会に参加しまして、そこで同社の成田さんから「今日からできるApacheモジュール開発と運用」という発表がありました。 リアルタイム画像変換モジュールの「TOFU」を開発するに至った経緯と、Apacheモジュール開発についてのお話でした。 TOFUは、S3に置かれたマスターとなる画像ファイルを取得し、与えられたパラメータでリアルタイム（オンザフライ）にリサイズ・トリミングを行うモジュール（mod_tofu）です。 料理を楽しくする画像配信システム 実際は、モジュールによる画像取得・変換をベースに、キャッシュや配信までも含めた一連の画像配信システムと言えそうです。 この仕組みをNginxを使って実装できないかと考えて、リアルタイム変換の仕組みをNginxだけで実現する方法を実験してみました。 準備するもの HttpImageFilterModul