VMware仮想化ソフトと連携するロードバランサ：ITpro
Equalizer GXシリーズは、仮想環境の管理ソフト「VMware vCenter Server」と連携して仮想サーバーの負荷分散が可能なロードバランサである。すべての通信ポートが1Gビット/秒イーサネットに対応しており、スループット600Mビット/秒のエントリーレベルから同1.8Gビット/秒のハイエンドまで4機種がある。 レイヤー4での負荷分散と、ソースIPアドレスによるセッション維持、およびレイヤー7でのコンテンツスイッチングをサポートする（最下位機のEqualizer E250GXはレイヤー4の負荷分散のみ）。WebブラウザからWebサーバーへ送られるリクエストヘッダー（User-Agentなど）の内容に従って処理サーバーを切り替えるほか、携帯電話からの接続を特定のサーバーに割り当て、セッションを維持することも可能。割り当てサーバーが停止したときは、お詫びページの表示やHTTPリ
０円の広域負荷分散システムCloudFlareが素晴らしい件 | fladdict
fladdictの非公式プロジェクト（いわゆる裏dicct）に、posemaniacs.com というサービスがある。 絵のデッサン素材を無料配信するサイトだけど、いつのまにやら老舗サイトに。気がついたら1日の転送量が30〜40GBまで膨れ上がっていた。あまりの負荷にホスト元のhetemlさんでアクセス規制、あわや閉鎖の危機の大ピンチ。わりと本気で、Pixivとか星海社とかマール社にサービス譲渡とかしようか悩んだ今日この頃でした。 そんな折、@ku_suke さんのご了解で導入してみた、CloudFlareというサービスが、全ての危機を救ってくれた。マジ多謝です。 どういうサービス？ CloudFlareはCDN（広域負荷分散システム）。世界5カ所にデータセンターを有し、データをキャッシュして各地に配信するこで負荷分散してくれる。いわゆるAkamaiの同類だけど、ものすごい特徴が１つある。
Twitter、分散フレームワーク「Gizzard」を公開 | gihyo.jp
2010年4月6日、Twitterは独自に開発した分散フレームワーク「Gizzard」をGitHubにオープンソースとして公開しました。Gizzardは「シャーディング」と呼ばれる、1台に格納するとパフォーマンスに影響を及ぼす大容量なデータベースを複数台に分割することで解決を図る手法をサポートするフレームワークです（図1）。TwitterのバックエンドにScalaが使われていることが以前話題となりましたが、このGizzardもScalaで書かれています。 図1 Gizzardのシステム構成モデル 出典：http://github.com/twitter/gizzard Gizzardはミドルウェアとして動作し、RailsやPHPなどで動くWebフロントエンドからのリクエストを受け取り、My-SQLやRedisのようなインメモリDB、Luceneなど各種データストアへ渡します。Twitt
mixi Engineers’ Blog » Tokyo Tyrantによる耐高負荷DBの構築
連休中はWiiのマリオカートをやりまくってやっとVR7000越えたmikioです。愛車はマッハ・バイクとインターセプターです。さて今回は、分散ハッシュデータベースサーバTokyo Tyrantでmixiの最終ログイン時刻を管理するようにした時の苦労話を書きます。 ログイン処理は負荷地獄 mixiでは、全てのユーザについて、各々の最終ログイン時刻を管理しています。「マイミクシィ一覧」や「お気に入り」などの画面で、友人が近い時間にログインしていてコミュニケーションがとりやすい状態にあるかどうか確認できるようにするためです。 mixiのほぼ全てのページはログインしないと見られないページなので、ほぼ全てのページにアクセスされるたびにログイン確認が行われます。したがって、最終ログイン時刻はほぼ全てのページにアクセスされる度に更新されることになります。mixiの中で最も重いデータベースのひとつとして「
グリーCTOが語る、大規模ソーシャルゲーム開発の舞台裏
9月1日、ゲーム開発者向けカンファレンス「CEDEC 2010」において、SNS「GREE」を運営するグリー株式会社（以下 グリー）が『大規模ソーシャルゲームのつくりかた ～60分でわかるサーバサイド技術～』と題するセッションを講演した。 一日あたり億単位のトラフィックを捌くインフラはどうなっているのか。技術者2名が解説したインフラ構築のノウハウや、ソーシャルゲームと一般のオンラインゲームとの違いについて紹介する。 オンラインゲームとソーシャルゲームとの違い 最近テレビCMでも目にする機会が多くなってきたSNS（ソーシャルネットワーキングサービス）の「GREE（グリー）」。2010年6月時点の数字で、会員数2059万人、月間353億ページビューという言わずとしれた大人気サイトだ。中でも携帯電話向けソーシャルゲームが特徴的で、専用機向けのゲームと比べるとコアゲーマー以外のプレイヤーも多く、利
repcached-2.0リリースのお知らせと、超簡単なサンプルコード : DSAS開発者の部屋
repcached-2.0(memcached-1.2.5ベース) をリリースしましたのでお知らせします。 http://lab.klab.org/modules/mediawiki/index.php/Repcached (日本語) http://repcached.lab.klab.org/ (英語) 今回の目玉はマルチマスタ構成のサポートです。 以前のバージョンはマスタ/スレーブ構成だったので、必ずマスタへ書き込まなければいけませんでした。そのため、接続先のサーバがマスタなのかどうかをクライアントが判別しなければいけなかったり、keepalivedなどと併用するなどの工夫が必要でしたが、今回のバージョンではその必要がなくなります。両方のサーバに対してデータを書き込むことができるようになったので、かなり使いやすくなったと感じています。 repcachedはパフォーマンスを最重視している
Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理
安全、かつ効果的にデータを配信する·PubSubHubbub MOONGIFT
フィードがブログやCMSで当たり前のように使われるようになっており、さらにWeb APIなどを公開したことによって人が使う以外のシステムからのアクセスが非常に多くなっている。一見しただけではDOSアタックと見分けがつきづらいくらいアクセスしてくるものも存在する。 配信システムのコンテンツ作成 そのような過負荷なやり取りを一つのサーバで行うのは無理がある。そこで提言されているのがPubSubHubbubだ。 今回紹介するオープンソース・ソフトウェアはPubSubHubbub、オープンなコンテンツ配信、購読プロトコルだ。 PubSubHubbubは全部で3つの技術からなる。一つは配信サーバ、もう一つは購読システムそして最後にハブだ。ハブは配信サーバと購読システムに間に立つ。購読システムは常にハブに対して購読の申し込み（Atom形式）を行う。 購読システムの設定 その後がちょっと変わっており、ハ
「はてな流大規模データ処理」を見てきた - もぎゃろぐ
KOF2008：関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク
KOF 2008 の発表資料 - naoyaのはてなダイアリー
KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/081108huge_data.ppt 一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。 環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。 追記 SlideShare にアップロードしました。 081108huge_data.pptView SlideShare presentation or Upload your own. (tags: linux mysql) 追記: メモリはディスクの 150 倍について
mod_cluster登場、mod_jkやmod_proxyよりも優れたロードバランシング | エンタープライズ | マイコミジャーナル
jboss.org: community driven JBoss Web ProjectおよびJBoss AS Clustering Projectから興味深いプロジェクトが発表された。その名もmod_clusterだ。現在のところ1.0.0.Beta1が公開されている。名前のとおりApache HTTP Serverで動作するモジュールで、背後で動作するTomcatやJBoss Web、JBoss ASなどのアプリケーションサーバへのコネクションを担当する。ロードバランシングの機能とプロクシの機能を備え、mod_jkとmod_proxyの双方の機能をもったような仕組みになっている。 mod_jkやmod_proxyとの大きな違いは、アプリケーションサーバからHTTPサーバへのバック通信をサポートしているところにある。HTTPメソッドでアプリケーションサーバからmod_clusterモジ
[書評] 24時間365日 サーバ/インフラを支える技術 - Happy Unhappy
同業者として、そして同系統の設計と運用を担当する者として読まずにはいられない一冊。 [24時間365日] サーバ/インフラを支える技術 ?スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ) 作者: 安井真伸,横川和哉,ひろせまさあき,伊藤直也,田中慎司,勝見祐己出版社/メーカー: 技術評論社発売日: 2008/08/07メディア: 単行本（ソフトカバー）購入: 133人 クリック: 2,259回この商品を含むブログ (283件) を見る 本書は主に、OSSを用いて高い可用性(耐障害性)と拡張性を実現するインフラを構築することを主眼としてる。まえがきの言葉を借りれば「『冗長化』されていて『スケーラビリティ』もあるインフラを作る」ことが目的だ。 この種類の技術は、本書でも触れられているがあまり世間には流通していない。その意味で大変貴重な一冊といえる。
![[書評] 24時間365日 サーバ/インフラを支える技術 - Happy Unhappy](https://cdn-ak-scissors.b.st-hatena.com/image/square/dd79b4356d8c30b36baa70589cba84da25584507/height=288;version=1;width=512/http%3A%2F%2Fecx.images-amazon.com%2Fimages%2FI%2F51uK4ACymiL.jpg)
サーバ/インフラ Tech Meeting［開催概要］：WEB+DB PRESS plusシリーズ新刊発売記念，サーバ/インフラ勉強会開催
来る2008年8月，WEB+DB PRESS plusシリーズの新刊，『［24時間365日］サーバ/インフラを支える技術 ……スケーラビリティ，ハイパフォーマンス，省力運用』（伊藤直也，勝見祐己，田中慎司，ひろせまさあき，安井真伸，横川和哉）の発売が決定いたしました。 (株)はてな，KLab(株)の6名の執筆陣による新刊発売を記念して，下記の要領で勉強会を開催いたします。 今回の勉強会への参加お申し込みは，2008年7月24日（木）に受け付け開始の予定です。 ぜひご参加ください。 ※ 勉強会は終了しました。ご参加ありがとうございます。 ストリーミング配信のご案内 勉強会当日、以下のチャンネルで勉強会の様子を配信予定です。 http://www.ustream.tv/channel/24svr-techMTG （実施期間：2008年8月8日（金）18:30-21:00）
新興企業のGnip、ウェブサービスの仲介サービスを開始
創業まもない新興企業にとって大きな心配事の1つは過負荷だ。自社のデータに利用者からのアクセスが集中した場合もさることながら、コネクティングサービスからの通知やデータ応答も大量であり処理するのは容易ではない。 新興企業のGnipは、この問題を仲介によって解決しようとしている。例えば、Twitterのように膨大な数の外部サービスがアクセスしてくるようなサービスが、新規情報をGnipに送っておけば、アクセスは自社ではなくGnipに向かい、利用者数にかかわらず自社のサービスは良好な状態で運用できる。ReadWriteWebではこれを「ソーシャルウェブのためのグランドセントラル駅」と呼んでいる。 理想的には、この仕組みを利用するサービスはAPIを一部公開することでサービスを広げることができるだろう。サードパーティーがその情報を利用して高速なツールを提供すると期待されるからだ。利用者にとっても通知を素
MySQL :: Memcached for MySQL
購入に関するお問い合わせ 0120-33-9096 03-5717-5033 (携帯電話用) 【電話受付時間】 平日 9:00-11:45、13:00-17:00 USA - Toll Free: +1-866-221-0634 USA - From abroad: +1-208-327-6494 USA - Subscription Renewals: +1-866-830-4410 UK: +44 845 399 1124 Ireland: +353 1 6919191 Germany: +49 89 420 95 98 95 France: +33 1 70 61 48 95 Sweden: +46 730 207 871 Benelux: +358 50 5710 528 Italy: +39 06-99268193 Israel: +358 50 57
P2P分散ストレージ「Cagra」 - Blog by Sadayuki Furuhashi
id:nyaxt氏との共同開発の分散ストレージ「Cagra」（かぐら）のアルファ版をリリースしました。 cagra α3リリース cagra テクニカルデモ α２リリース 分散ストレージエンジンテクニカルデモ α版リリース cagraのα版試してみたよ - takumalog Cagraは以下のような特徴を持った（目指した）P2P分散ストレージです。 Zeroconf マルチマスタでレプリケーションするWrite 高速な分散Read オプションで高速な非同期Write インターネットレベルよりもLANレベルのマシン台数に特化 巨大データサポート 高速イベント駆動システムコール＋軽量スレッド 超アジャ〜イルな開発体制 まだα版で全部が実装されているわけではないですが、とりあえず動きます。 Zeroconf UDPマルチキャストでノードを自動的に発見するので、一切設定ファイルを書かずに動作せる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PHPで大規模ブラウザゲームを開発してわかったこと
Amazon.co.jp: 4Gbpsを超えるWebサービス構築術: 伊勢幸一, 池邉智洋, 栗原由樹, 山下拓也, 谷口公一, 井原郁央: 本
24svr-techmtg‐ニコニコ動画(夏)
mixi Engineers’ Blog javascript