Kazuho@Cybozu Labs: 既製品の管理ツールを使わないことでウェブサービスの TCO を下げる話について hbstudy#8 で話してきた件
昨日、hbstudy#8 で話をする機会をいただくことができたので、Nagios や Amanda といった既製品の管理ツールやバックアップツールを使わずに内製したことで「パストラック」の運用コストを下げた、という話をしてきました。 もちろん、「既製品を使わない」というのもひとつの手段にすぎませんから、それを無闇にお勧めするつもりはありません。ただ、小回りの効くツールを組み合わせる手法にも十分な競争力があるという点、あるいはその事例として参考になれば幸いです。 スライドはこちら。hbstudy 運営の皆様、話を聞いてくださった皆様、ありがとうございました。
サーバ仮想化環境でのお薦めストレージ構成 at nkjmkzk.net
A Place to discuss Oracle VM, Linux and Other Great Software.サーバ仮想化環境では「リソースプール」という概念を実現するために共有ストレージ構成が多く採用されます。しかし、そもそも現在のCPU性能とDISK I/O性能を鑑みれば、そもそもDISK I/O性能はCPU性能の進化に追いついておらず、共有ストレージ構成とすれば追い打ちをかけるようにそこがボトルネックとなります。多くの環境ではサーバ仮想化環境では「共有ストレージ型前提。しかしこれまでの何倍ものI/O性能が必要」という要件に対応するため、ミドル〜ハイエンドのストレージ装置を採用するという選択を行っています。その結果初期導入費用が高価なのはもちろんですが、そのあとも莫大な保守費を支払うことになります。そして拡張できるものの、拡張するためのパーツがまた高価、というスパイラルに陥
The Art of Mixi-mobile-appli Capacity Planning | Carpe Diem
2009年も残すところあと僅かになりました。今年のネット業界にはたくさんのことが起きましたが、国内でもっともインパクトがあったのは日本最大の SNS サイト mixi がついに OpenSocial 対応になったことだと思います。 今日現在、PC 版とモバイル版の2種類が提供されており、PC 版は企業と個人、モバイル版は企業のパートナー契約を結んだ会社のみ開発して公開できるようになっています。 さて、mixi のモバイル版が公開された直後は、アクセス殺到にて軒並みモバイル版のアプリケーションを提供しているパートナー企業のサーバに大きな負荷がかかって、ほとんどの mixi のモバイルアプリが使えない状況になったのは記憶に新しいです。3日で約60万人ユーザも集める人気アプリも数多く登場した様子です。 今日は、もし仮に僕が 2010年1月1日に mixi モバイル版アプリを提供することになったこ
Comet servers/frameworks collection
Just a note for myself, but could be useful: Orbited Python, long-poll, XMPP, STOMP, *MQ nginx_push_module nginx module, long-poll, Basic HTTP Push Relay Protocol cometd java, python, perl, Bayeux protocol PoCo-Server-Bayeux perl, POE, Bayeux nodecast javascript, v8, node.js, long-poll webstreamr python, twisted, long-poll Compp Ruby, XMPP Shooting Star Ruby, Rails Stardust Perl, Coro, long-poll T
［速報］AmazonクラウドがMySQLサービス開始、パッチもバックアップもおまかせ
Amazon Web Servicesがクラウド上でMySQLをホスティングする「Amazon Relational Database Service (Amazon RDS)」のβ公開を開始しました。 インストール不要でMySQLの利用を開始でき、パッチ当てやバックアップなどもAmazonクラウド側で実行してくれるため、MySQLの導入や運用の手間を大幅に削減可能です。 MySQLのインスタンスは規模に応じて5種類が用意されています。 Small DB Instance : （1時間あたり0.11ドル） 1.7 GB memory, 1 ECU (1 virtual core with 1 ECU), 64-bit platform Large DB Instance : （1時間あたり0.44ドル） 7.5 GB memory, 4 ECUs (2 virtual cores with
dstat が便利 | Carpe Diem
dstat という vmstat, iostat, netstat, nfsstat, ifstat 用の置き換えとして使える多機能ツールがあることを知ったので、CentOS でさっそく試してみました。 まず、インストール方法ですが、公式に dstat パッケージが提供されているので yum 一発でインストールすることができます。 $ sudo yum install dstat /usr/bin/dstat にインストールされます。 dsat は多機能ツールですが、使い方は dstat –help するとたくさん表示されます。 まず、オプションを指定しないで実行してみます。 $ /usr/bin/dstat —-total-cpu-usage—- -dsk/total- -net/total- —paging– —system– usr sys idl wai hiq siq| read
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン - （ひ）メモ
MySQLで、レプリケーションベースのHAな構成について考えたメモです。 3台(というか2台＋1台)がいいかなぁと思っていて、前半はその理由を、後半では{マスタ,スレーブ}が{再起不能になった,ちょっとダウンしてすぐ復帰した}場合のリカバリプランについて書きます。 今のところはこれがベストかなと思っているのですが、「こうしたほうがいいと思う！」「ここがおかしい！」などなどのご意見はコメント、TBなどでいただけるとうれしいです。 ゴール マスタが落ちてもぐーすか寝ていられるようにしたい リカバリの作業はできるだけ単純に、かつ、短時間で完了するようにしたい めんどくさいのはいや 基本構成、方針 2台＋1台 サービスで使うのは2台 (db1, db2) もう1台は管理用 (db3) スレーブを多数並べる構成にはしない 台数増えると管理コストが上がる マスタダウン時のフェイルオーバとそのフェイルバ
Facebookが大規模スケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題
Facebookが大規模スケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題 全世界で3億人を超える会員を抱え、世界最大のSNSとなったFacebook。同社の巨大なシステムは、3つのデータセンターにある約3万台のサーバと、PHP、C++、Memcache、MySQLなどのソフトウェア群によって支えられています（同社のデータセンターの巨大さは、記事「3億のユーザーを抱えるFacebookのデータセンター。移動は自転車、希望は100Gbイーサネット 」を参照）。 同社の技術担当バイスプレジデント Jeff Rothschild氏は、Facebookが実現している大規模なスケーラビリティを、いかにしてこれらのソフトウェアで実現しているのか、10月8日に米カリフォルニア大学サンディエゴ校で行ったセミナー「High Performance at Mas
livedoor Techブログ : 第ニ回 ライブドア テクニカルセミナー・ログ
2009年9月25日（金）に開催されました 第2回 ライブドア テクニカルセミナー の発表資料と動画を公開致します。 まったく役に立たない力学シミュレーション（薬袋 貴志） データセンター移設は突然に（平井 壮） pixivのインフラを支える技術（上薗 竜太氏） ユビキタス時代のユーザインタフェース（増井 俊之氏） まったく役に立たない力学シミュレーション 株式会社ライブドア メディア事業部 薬袋 貴志（30分） 力学エンジン・3Dレンダリングエンジン等、とても便利で面白いオープンソースがある中、あえて自前で簡単な力学シミュレーションをやってみる。そして、自前ロジックと Box2Dと Papervision3Dとのハイブリッドデモ。 データセンター移設は突然に 株式会社ライブドア ネットワーク事業部 平井 壮（30分） part1 part2 2003.12 にデータセンターを移転
Kazuho@Cybozu Labs: パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ (BPStudy#25発表資料)
先週金曜日、BPStudy#25で、「パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ」という題目で話をさせていただきました。その際に使用した発表資料は以下のとおりです。 1. Happy Optimization 最初に、最適化の考え方として、上限値を予測し、それを元にリソース配分を考える、という手法を説明しました。
DELL OMSA | Carpe Diem
DELL から OMSA(OpenManage Server Administrator) という Linux 向けに DELL サーバを管理ツールがあるが、CentOS 5.3 x86_64 でインストールできる人がいるので、もう一度初心に返って試してみた。 まず、セットアップする方法は、DellLinuxWiki を参照した。この Wiki をみると、CentOS は「You must have missed the note under “Supported Operating Systems” 🙂 」とあるが RHEL 5 Update 2 がサポートされているので動くはず。 $ wget -q -O – http://linux.dell.com/repo/hardware/latest/bootstrap.cgi | sudo bash srvadmin-all というパッケ
サーバーエンジニアが入れておくと便利なFirefoxアドオン７選 - Unix的なアレ
サーバーエンジニアといえど、ページ表示のパフォーマンスチューニングなどブラウザで確認したりすることはよくあると思います。 自分自身のメモもかねて、そんな際に自分がよく使用しているアドオンを紹介したいと思います。 firebug JavascriptやCSSのコーディングをやる方にはおなじみですね。firebugです。私はjavascriptのDebugだけでなく、各コンテンツの取得時間を見る際にも使用しています。 https://addons.mozilla.org/ja/firefox/addon/1843 Yslow firebugに付加機能として追加できるyslowです。これもパフォーマンスチューニングの際には効果を発揮します。 expireの期間や、gzipしているかなどからそのページのパフォーマンスのランクを表示してくれます。 https://addons.mozilla.org
仮想化についての雑感 | Carpe Diem
現在、サーバを仮想化 (Virtualization) して運用することがあたりまえになっている。個人的には、VMWare ESXi、業務では Xen、を導入しているので、仮想化することのメリットとデメリットをまとめてみる。 メリット 仮想マシンごとに一つの役割だけをあたえることで、個別サーバの設定が単純になる 普通は同じサーバに同居できないようなソフトウェアを、それぞれ仮想マシンにすることで物理的には一台に済む_(実際には、MySQL で同じデータベース名で異なるデータを格納している場合に仮想化を行っているが、4Gbps 本に mysqld-safe を使う方法がのっていたのでこちらの方がよいかも) 仮想マシンの OS ごと含めた設定をまるごろコピーして他の物理サーバへ展開できる（いわゆるライブマイグレーション、使ったことはない） 消費リソースが異なるサーバをうまく組み合わせて仮想化する
naoyaのはてなダイアリー - サーバーを増やせばいいんじゃない、サーバーを増やすだけで解決できるように努力するのだ
ライブドアの技術の話について書いた、その記事のコメント欄。最初は感情的な批判などがあって話題とは別の方向で炎上し気味だったんでうーんと思ってたんですが、後半になってきて少し面白い議論が出てきました。 こんな反応があった。 アクセス数が増加している段階で、ApachやAppServerのスレッド数をいじろうが、ヒープサイズを増やそうが、DBのパラメータをいじろうが、はてまたアプリを書き直そうが、性能要求にミートするには相当のワークが発生しますし、どう最適化、チューニングしても追いつきません。そのようなチューニングにお金をかけるならサーバーを追加したほうが安く上がるのではないかと思うのですが、如何でしょう? それに対する僕の返信は、 確かに何千万もするファイルサーバーとか、ロードバランサーとかで問題が解決できる機会っていうのは存在すると思います。なので ”負荷が高ければ、結局サーバーを単純に増
Linux上でのIPエイリアスの設定方法について教えて下さい。…
Linux上でのIPエイリアスの設定方法について教えて下さい。 192.168.10.12が割り当てられているマシン上で、 # ifconfig eth0:0 192.168.10.16 としたところ、外部から192.168.10.16宛のpingが通りました。 しかし、マシンを再起動すると設定が消えてしまいました。 静的なファイルで設定していなからだと思うのですが、再起動しても問題ないようにIPエイリアスの設定をするにはどうしたらよいのでしょうか?
livedoor Techブログ : 1000台の子供達 - livedoorを支えるサーバ群 -
自己紹介 私はライブドア（以下LD）で働いております安保サニーと申します。勤務地はLDのデータセンターこと「DATAHOTEL」です。前職はウェブディレクターを2年程やっており、Linuxの黒い画面て何？というレベルから、かれこれ3年が経とうとしてます。つまり技術的には、まだ若輩者です。 livedoorのメインサービスとも言える、「ポータル用サーバ」を、この2年間で1000台以上の台数を作成してきた私が、その流れを紹介したいと思います。 (注）基本的には流れ作業ですｗ 月に何台？ Alexaランキングでもトップ100に入る程のトラフィックを支えるサーバですが、大体ひと月にセットアップするサーバは40〜50台くらいです。ただし毎月増え続けているわけではなく、リプレースや仮想化による圧縮などがあるので、平均すると常に3000台くらいのサーバが、サービスを支えています。 標準的なサーバおよびO
CentOS+OpenSSL(自己署名証明書) - とあるネットワーク管理者の苦悩
OpenSSLを使って秘密鍵と証明書を作成しhttps通信を行う。 社内サイトなどの暗号化したいけど認証機関の証明書は必要ないというときに利用。 (いわゆるオレオレ証明書) 1)秘密鍵の作成(openssl genrsa) 2)RSA秘密鍵のパスフレーズ削除(openssl in out) 3)証明書要求(CSR)の作成(openssl req) 4)10年間有効な自己署名証明書の作成(openssl x509) 5)httpd.confの編集してapacheの再起動 [root@centos ~]# yum -y install mod_ssl [root@centos ~]# openssl genrsa -des3 1024 > /etc/pki/tls/private/server.key Generating RSA private key, 1024 bit long modu
LVS DSR の環境で、複数の SSL 証明書を設定する方法 | Carpe Diem
LVS DSR の環境で、複数の SSL 証明書を設定しようとして、かなりはまってしまったのでその方法を書いておきます。 リアルサーバ側の環境はいつものとおり、OS は CentOS 5.3 x86_64、Apache HTTP Server 2.2.11 with mod_ssl です。 LVS DSR を実現する場合、リアルサーバ側にグローバル VIP の宛先でパケットが届くので、リアルサーバ側で lo:0 でエイリアスするか、iptables -j REDIRECT でリアルサーバでパケットを受け入れる必要があります。詳しくは、DSAS 開発者の部屋を参照してください。 僕の環境の場合、LVS DSR を実現するために後者の iptables を使っています。今回設定する複数のサイトの VIP を IP アドレス 1.2.3.4 と 5.6.7.8 とすると、リアルサーバ側の ipt
グーグルの最新のデータセンターは非常識なほど進化している
昨日はITpro主催のイベント「ユーザー企業のためのエンタープライズ・クラウドフォーラム」に参加してきました。 日経コンピュータ 中田敦記者のセッション「みえてきたクラウドのコスト」では、グーグル、アマゾン、マイクロソフトの最新データセンターの動向を紹介してくれたのですが、これが非常に興味深い内容でした。セッションの内容からトピックを2つほど紹介します。 大規模データセンターは7倍効率がよい 1つ目は、日経コンピュータ2009年7月8日号で同記者が記事としても書いていることなのですが、データセンターの規模の経済について。1000台クラスの中規模データセンターと、5万台クラスのデータセンターを比較すると、大規模データセンターのほうが7倍も効率がよいというデータが示されています。 つまり、ユーザーがある大きさのコンピュータリソースを調達しようとするとき、大規模データセンターは中規模データセンタ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
YAPC::Asia 2日目 「はてなブックマークのシステムについて」 - naoyaのはてなダイアリー
