分散Key-Valueストア「kumofs」を公開しました！ - Blog by Sadayuki Furuhashi
分散Key-Valueストア kumofs を、本日オープンソースソフトウェアとしてリリースしました！ kumofs@SourceForge kumofs関連資料まとめ kumofsとは？ kumofs（クモエフエス）は、実用性を重視した分散データストアです。レプリケーション機能を備え、一部のサーバーに障害が発生しても動作し続けます。単体でも高い性能を持ちながら、サーバーを追加することで読み・書き両方の性能が向上する特徴を持ち、低コストで極めて高速なストレージシステムを構築・運用できます。 kumofsの大きな特徴は、システムの構成の簡単に変更できる点です。システムを止めることなく、簡単な手順でサーバーを追加したり復旧したりできます。アプリケーションには一切影響を与えません。 またkumofsは、広く利用されている分散キャッシュシステムの「memcached」と互換性のあるプロトコルを実装
scale out の技術 (in UNIX magazine, April 2009)
scale outの技術 首藤 一幸 Last-updated: January 5, 2010 注: このページの文章は以下の記事の元原稿です。 首藤一幸, "スケールアウトの技術", クラウドの技術, pp.88-101, (株)アスキー・メディアワークス, ISBN978-4-04-868064-6, 2009年 11月 6日 アスキー・メディアワークス社の 書籍紹介ページ Amazon.co.jp の ページ 首藤一幸, "スケールアウトの技術", UNIX magazine 2009年 4月号, pp.78-91, (株)アスキー・メディアワークス, 2009年 3月 18日 データベースに求められる性能を試算したところ、 十台、百台…数万台のサーバが必要になった。 クラウドを構築する側はこういう問題に直面し、解決しようとしてきた。 台数に比例した性能を引き出すこと、つまりsca
コンテナ型データセンターは日本に根付くか？
コンテナ型データセンターは日本に根付くか？：Architecture for Modular Data Centers（1/2 ページ） コンテナ型データセンターという日本ではまだなじみが薄いソリューションが持つ可能性について論じてきた本連載も今回で最終回となる。今回は、コンテナ型データセンターの事例を中心に紹介するとともに、その課題について考えます。 はじめに 本稿で紹介する論文「Architecture for Modular Data Centers」は、ジェームズ・ハミルトン氏が2007年1月に発表した、コンテナデータセンターの優位性を示すものです。同氏は、Microsoftにおけるデータセンターアーキテクチャの責任者を務め、その後、Amazonの役員に就任した人物です。移籍の後も、AFCOMやGoogle Data Center Summitで講演するなど、未来のデータセンター像
Kazuho@Cybozu Labs: crontab を使って効率的にサービス監視する方法
監視とは継続的なテストである、という話 (もしくは cronlog とテストスクリプトを組み合わせた監視手法について)に続きます 今日ようやく、積ん読状態だった「Software Design 2010年1月号」を手に取ったのですが、特集が「今日から使えるスクリプト満載！ [プロ直伝]お手軽サーバ監視術」。興味深く拝読したのですが、もっと楽ができるのにと思うところも。ちょうど、昨年末に運用しているサービス「パストラック」のサーバを移転し、crontab と perl で書かれたスクリプト群を使った監視環境を構築したところなので、そこで使っているスクリプト cronlog を紹介したいと思います。 特集の前書きにも書かれていることですが、サーバやネットワーク機器が多数ある環境なら、Nagios を始めとする、専ら監視のために作られたソフトウェアを使って、監視システムを構築すべきです。逆に小規
%26utm_content%3Dlivedoor)
データベースサーバを複数台構成とか2010年代には流行らない - blog.nomadscafe.jp
奥一穂さんの「ウェブアプリケーションサーバを複数台構成とか2010年代には流行らない」にフォローのような感じで。 例によってタイトルは煽りです。 奥一穂さんのエントリーでは、「5,000万PV/Month」という見積もりでアプリケーションサーバの台数を1台と計算していますが、これからは「1,000万PV/Day」を超えるサイトが多く生まれてくると予想しています。どんなサイトかというと、mixiアプリやモバゲーなどにソーシャルゲームを提供するサイトです。 ソーシャルゲームサイトのキャパシティプランニングについては中澤さんのエントリーが参考になります。 The Art of モバゲー Capacity Planning The Art of Mixi-mobile-appli Capacity Planning 最も人気がでた場合には数千万から数億PV/Dayという数字がならんでいます。怖い怖
ウェブアプリケーションサーバを複数台構成とか2010年代には流行らない - kazuhoのメモ置き場
タイトルは煽り入ってますが。 仮に動的ページを生成するのにかかる時間が1秒、そのうちデータベースやmemcached等リモートサーバへの問い合わせ時間を除くいたCPUの処理時間が0.1秒とする。また、ピークのリクエスト処理量は、平均の２倍とする。 そうすると、クアッドコアのアプリケーションサーバで処理できるリクエストは、 4 core * 10 reqs/sec * 86,400 sec/day * 30 day/mon / 2 = 51,840,000 reqs/mon と、約5,000万PV/月を１台で捌けることになる。 CPUが動いている時間は全処理時間の10倍と仮定したわけだから、アプリケーションサーバの最大同時接続数は 4 core * 10 = 40 程度あればいいことになる。実際には、安全係数を２倍かけて 80 とか。リクエストの処理に必要なメモリ量を 100MB とすると、
スケールアウトからスケールアップへの回帰:Kenn's Clairvoyance
これを書こうと思ったキッカケは、奥一穂さんの「ウェブアプリケーションサーバを複数台構成とか2010年代には流行らない」っていう、最近モヤモヤと感じていたことをうまく説明してくれてる記事をみたこと。 年始からちょくちょくサーバの運用環境を物色しながら考えていたことと見事にシンクロした。だいたいの要旨はTwitterのほうでも書いたのだけれど。 ムーアの法則でどんどん向上する技術にくらべ、人間のキャパシティは変化しない定数項として考えていい。だとすれば、そうやって向上する性能を、人間の労力を削減する方向で使えてはじめて、「技術が競争優位性を生む」といえるだけの破壊的な価値がでてくるということになる。 では、現在の技術トレンドを活用することで減らせる「人間の労力」とは何か。 それは、過去10年あまりで定着した、これまでの（そして今なお）Webアプリケーションの定番構成である、「ロードバランサ、ア
livedoor Techブログ : 1000台の子供達 - livedoorを支えるサーバ群 -
自己紹介 私はライブドア（以下LD）で働いております安保サニーと申します。勤務地はLDのデータセンターこと「DATAHOTEL」です。前職はウェブディレクターを2年程やっており、Linuxの黒い画面て何？というレベルから、かれこれ3年が経とうとしてます。つまり技術的には、まだ若輩者です。 livedoorのメインサービスとも言える、「ポータル用サーバ」を、この2年間で1000台以上の台数を作成してきた私が、その流れを紹介したいと思います。 (注）基本的には流れ作業ですｗ 月に何台？ Alexaランキングでもトップ100に入る程のトラフィックを支えるサーバですが、大体ひと月にセットアップするサーバは40〜50台くらいです。ただし毎月増え続けているわけではなく、リプレースや仮想化による圧縮などがあるので、平均すると常に3000台くらいのサーバが、サービスを支えています。 標準的なサーバおよびO
後悔なき公開 - 書評 - 4Gbpsを超えるWebサービス構築術 : 404 Blog Not Found
2009年08月13日15:00 カテゴリ書評/画評/品評iTech 後悔なき公開 - 書評 - 4Gbpsを超えるWebサービス構築術 ライブドア櫛井様より献本御礼。 4Gbpsを超えるWebサービス構築術 伊勢幸一 / 池邉智洋 / 栗原由樹 / 山下拓也 / 谷口公一 / 井原郁央 元取締役であるという立場を離れて言う。本書の内容は、すごいものが本当に多すぎる。本書を紹介しているだけの本エントリーに対して、対象となっている本を読まずに、批判コメントや自分の意見を書くのは、4Gbpsを超えるWebサービスを構築してからにしろ。 本書「4Gbpsを超えるWebサービス構築術」は、日本を代表するWebサービスプロバイダー、livedoorの手口公開。「親バカ」を差し引いても、その凄さは「[24時間365日]サーバ/インフラを支える技術」を凌駕すると言える。 目次 - ソフトバンク クリエイ
遠隔地からハングしたサーバの電源ON/OFFやBIOS操作が可能なリモートマネジメントカード「Lights-Out 100」を使ってみた
サーバが遠隔地にある場合に一番困ることのひとつが、サーバのOSがハングアップして何もコマンドを受け付けなくなり、「サーバの電源ボタンを押すしかない！」という状態に陥った場合。わざわざサーバがある場所まで行くのは時間もかかりますし、特に夜中や休日だと気が重くなってしまいます。そこで、こういう緊急事態を回避するためにも、今回HP ProLiant ML150 G5を買ったついでに、リモートマネジメントカード「HP Lights-Out 100」(定価2万4150円)をオプション品として購入してみました。 使えると思った機能は主に2つ。1つ目は「ウェブブラウザから仮想電源ボタンを利用して電源のON/OFF」、もう1つはJAVAを使って「OSに依存せずにコンソールを操作」できるという点です。この2つの機能によって、安心して遠いところにサーバを設置できるだけでなく、システムの温度・電圧・ファンの動作
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
