2010/11/22 mysqlのテーブルの「のれん分け」 二週連続でこんにちは。夜は炭水化物は控え、朝はカレーが食べたいhiroshiです。 DECOLOGもそうでしたが、サービス開始するときに、たいがいのWEBサービスは大規模になることを前提としたインフラ構成は採りません... 続きを読む
9月1日、ゲーム開発者向けカンファレンス「CEDEC 2010」において、SNS「GREE」を運営するグリー株式会社(以下 グリー)が『大規模ソーシャルゲームのつくりかた ~60分でわかるサーバサイド技術~』と題するセッションを講演した。 一日あたり億単位のトラフ... 続きを読む
Linode Library Home :: Web Servers :: Hosting Websites with Nginx :: Nginx Configuration :: Use Nginx for Proxy Services and Software Load Balancing The nginx web server is a popular platform for deploying HTTP resources on a network. In addi... 続きを読む
先週金曜日、BPStudy#25で、「パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ」という題目で話をさせていただきました。その際に私用した発表資料は以下のとおりです。 1. Happy Optimization 最初に、最適化の考え方として、上限値を予... 続きを読む
シングルマスタの非同期レプリケーション機能では、マスタサーバーが1台に限定され、マスタからスレーブへの複製は非同期で行なわれるため遅延が生じ、短時間のスケールで見ると全スレーブとの同期が保証されない。しかし、その反面スレーブの台数を増加させて... 続きを読む
こんにちはオークション事業部プラットホーム技術のチャックです。 オークションでは一部サービスに RDBMS の MySQL を使ってサービスをご提供させていただいております。 オークションでは多くのお客様よりアクセスを頂いておりますので、大量の更新、参照の処... 続きを読む
Slideshow Transcript Slide 1: 関西オープンソース 2008 (株) paperboy&co. 宮下 剛輔 2008/11/7 Slide 2: アジェンダ 自己紹介 30days Album 紹介 サーバソフトウェアまわりの話 運用まわりの話 Slide 3: 自己紹介 宮下 剛輔と申します ... 続きを読む
KOF2008:関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 #ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデ... 続きを読む
社内ではインフラを触るエンジニアが少なく、とても寂しい思いをしているarashoです。夏本番で夏バテしています。 表題のテーマで勉強会を開催しました。といっても、webアプリケーションプログラミングの話ではなく、今回はロードバランサについてです。 ロー... 続きを読む
an Open Source framework for horizontally partitioning MySQL systemsHiveDB | an Open Source framework for horizontally partitioning MySQL systems HiveDB is an open source framework for horizontally partitioning MySQL systems. Building scalabl... 続きを読む
『Linuxロードバランサ構築・運用ノウハウ』を公開します! これはWEB+DB PRESS Vol.37の特集記事としてDSASチームが執筆したもので、技術評論社様の許可を得て今回公開するはこびとなりました。 一口でいうと、「Linux+IPVS+keepalivedを使って、冗長構成(Ac... 続きを読む
分散P2P技術を使ってWebサーバーへの極端な負荷を軽減できる無料のコンテンツ配信ネットワーク(CDN)をニューヨーク大学が開発し、30日に正式公開した。無料で利用でき、日本語サイトでも問題なく使用可能だ。 このサービスは「Coral:The New York Universit... 続きを読む
「こんなに簡単! Linuxでロードバランサ」のシリーズでは、 こんなに簡単! Linuxでロードバランサ (1) 〜 LVS + NATで負荷分散をしてみよう こんなに簡単! Linuxでロードバランサ (2) 〜 keepalivedでWebサーバのヘルスチェック こんなに簡単! Linuxでロー... 続きを読む
昨晩はライブドアで開催されたテクノロジーセミナーで軽くはてなのシステムや開発体制についてしゃべってきました。資料を以下に置いておきます。http://bloghackers.net/~naoya/ppt/061214livedoor_hatena.ppt (ppt, 286k)昨晩の感想、資料を読んでの感想など... 続きを読む
まるごとPerl! Vol.1 で執筆させていただいたはてなブックマークのシステムに関する記事が ThinkIT で読めるようになりました。記事全体を何回かにわけて掲載していただいています。まるごとPerlの記事なのですが、実は Perl のことはあまり触れていなくてはて... 続きを読む
Ruby makes Rails, Javascript makes Ajax, Dr Nic makes Magic Magic Multi-Connections: A “facility in Rails to talk to more than one database at a time” Posted by Dr Nic on April 12, 2007 At this point in time there’s no facility in Rails to... 続きを読む
ITpro会員向けの新サービス「MyITpro」が本日(2007年5月18日)中にはオープンできる運びとなりました。MyITproのサービス内容などについては,「MyITproについて」のページを参照して頂くことにして,ここではMyITproサービスを提供しているシステムの構成など... 続きを読む
■ デュアルコア 09:25 以下は Core 2 Duo で物理的に1個のCPU でコア2個の場合。prefork の mod_perl サーバを動かして負荷がかかってる状態。1個目/2個目のコアで負荷にかなりばらつきがある。 % sar -P 0 | head Linux 2.6.18-8.1.1.el5 (bifue.hatena.ne.jp... 続きを読む
Post to Twitter Post: How to scale your web app From: Georgio_1999, 2 years ago How to scale your web appView SlideShare presentation or Upload your own. (tags: barcamplondon2 scale) Scaling web applications, as present at Barcamp London 2 b... 続きを読む
DSAS開発者の部屋で、いかにして多重化+負荷分散されたシステムを構築しているかという仕組みが公開されました。必見(+必聴)です。「DSASのあれこれ」の資料を公開します VIVER的に重要なのは、dsas.conf。ネットワークブートすると、すべてのマシンの構成... 続きを読む
「Diggの立ち上げにかかった費用は2000ドル。サーバーのホスティング料金は月額99ドルに過ぎなかった」──。米国の人気ソーシャル・ニュース・サイト「Digg」の上級ソフトウエア・エンジニアで共同創立者でもあるOwen Byrne氏(写真)が,米国サンフランシスコ... 続きを読む
■[Linux]csync2でクラスタ環境でのファイル同期 DRBDを見てたら、csync2にリンク貼られていたので、チェックしてみたら、面白そうなので試してみました。 csync2 はクラスタ環境でのファイル同期に使うものです。sync したら action を実行とかもできる。また... 続きを読む
最近、2.0な方々の間でTwitterが話題になってる。で、そのTwitter自体も面白いんだけど、TwitterについてDHHがブログを書いてRailsでの大規模サイト構築が話題になってるのが面白い。 Twitter trouble (Loud Thinking - DHH) まずTwitterの高負荷について言及、... 続きを読む
TheC10kProblem - 「C10K問題」(クライアント1万台問題)とは、ハードウェアの性能上は問題がなくても、あまりにもクライアントの数が多くなるとサーバがパンクする問題のこと 目次 この文書について C10K 問題 関連サイト まず読むべき本 I/O フレームワーク ... 続きを読む
→ Ruby on Rails → ActiveRecords WARNING Despite the 1.0.0 version number, various people have experienced problems using this tool. I haven’t yet found a solution (I haven’t really been looking though), so please subscribe to the forum or... 続きを読む
Dr Nic Ruby makes Rails, Javascript makes Ajax, Dr Nic makes Magic Magic Multi-Connections: A “facility in Rails to talk to more than one database at a time” Posted by Dr Nic on April 12, 2007 At this point in time there’s no facility in R... 続きを読む
このページが表示された場合は、お探しの情報は移動または削除されていることがあります。 お手数ですが次のいずれかの方法でお求めのページをお探し下さい。 サイトマップからお探し下さい。 サイト内検索よりお探し下さい。 トップページからお探し下さい。 U... 続きを読む
_ [Ruby][イベント] 日本 Ruby 会議 2007 チケットを予約 すぐ近くにはローソンがないのでウェブで予約しました。 _ [Ruby][イベント] 日本 Ruby 会議 2007 予約枚数終了 今(13:50) ウェブ予約で調べたところ「予定枚数終了」になってました。10:20 くらいまで... 続きを読む
負荷分散ソフトウェアとは、複数のハードウェアデバイスを用いて作業を分散させ、その結果として速度的なパフォーマンスを向上させるためのものだ。Linuxネットワーク向けの負荷分散ソフトウェアとしてはLinux Virtual Serverが最も有名だが、また別の選択肢と... 続きを読む
webチープなDNSラウンドロビンは高価なロードバランサの座を奪い返せるか つっこみどころが満載スギなのは脇においておいて、金をかけないなら、DNSラウンドロビンじゃなくて、せめて、件の記事でも紹介されているApache 2.2のmod_proxy_balancerか、Apache 2.2... 続きを読む
先日発表してきた、グリーさんの 第9回 オープンソーステクノロジー勉強会 『DSASのいろいろ』の発表資料と音声を公開しました。 発表資料 (PDF, 2,294 KB) 音声 (mp3, 32,151 KB) 発表はこんな内容です。 自己紹介 [0:22] (1) DSASの特徴の紹介 [6:34] 設計思... 続きを読む
- About/Features - Datasheet - References - Download - Documentation - Examples - Example 1 - Example 2 - Example 3 - Example 4 - Example 5 - Example 6 - Example 7 - Example 8 - Example 9 - FAQ - Tips+Tricks - Configs - Pricing+Order - Licens... 続きを読む
« brainf*ck でマジメに素数探索 | メイン | Brainf*ck で動的リスト » 2006年06月29日 DNS ラウンドロビンと高可用性 (High Availability) ウノウラボ Unoh Labs - ベンチャー流サーバ構築のススメ(ネットワーク編) について。 おもしろく読ませていただきまし... 続きを読む
■ LVS#5 17:56 んー、グローバルIPな環境で試してみてるけどやっぱルーティング絡みかな、うまくいかず。 この際なので現状を詳しく記す。構成図を描くとこんな感じ。1.1.1.1 / 2.2.2.2 / 3.3.3.3 はグローバルアドレス。 LVS + DSR で Client に応答を返した... 続きを読む
昨日書いたの通り,記事を寄稿したWEB+DB PRESS Vol.37が,今日発売になりました.それを記念して(?),記事の内容が簡単に実験できるパッケージを公開します. これは,VMWareを使って,だれでも直ぐにロードバランサの実験を始められるパッケージになっていま... 続きを読む
調べごとをしたので blog に書いて理解を深めようのコーナーです。長文です。Linux でシステム負荷を見る場合にお世話になるのが top や sar (sysstat パッケージに同梱されてるコマンド) などのツールです。top ではシステム統計のスナップショットを見ること... 続きを読む
LustreでもAFSでもないと思って探した結果、見つけたのがGfarmだった。これはかなりすてきな分散ファイルシステムで、なぜこれがこんなに知られていないのかさっぱりわからない。どこかのメジャーな技術系ブロガーが記事一本書けばブレイクするんじゃないかと思... 続きを読む
_ 負荷対策概論 Webアプリケーションに負荷は付き(憑き)モノです。 負荷対策を行っていないため, 悲惨な目にあったプロジェクトを今までいくつも見てきました。*1 ここではそんな憂き目に遭わないよう, 今までの備忘録も兼ねて負荷対策ノウハウを書き残したい... 続きを読む
ここ3日間ぐらい超絶な重さだったのはサーバに物理的トラブルが発生したからではなく、単純に閲覧者数が満員御礼となり、各時間で倍増したためです。LoadAverageはひどいときで15分間の平均値「27.1」程度。瞬間最大風速だともっと高いです……明らかにまずい。... 続きを読む
というわけで、再び負荷を下げる方法を模索した、戦いの記録。 1.MySQLの設定を変更して高速化 2.Zend Optimizer 3の導入 3.ionCube PHP Acceleratorの導入 4.テンプレートの見直しでクエリーを減らす 5.robots.txtでクロールする間隔を制御する 6.MySQLの設定... 続きを読む
Web屋のネタ帳 Webビジネスに必要な「戦略」「システム」「デザイン」の3要素とそれらをまとめる「マネジメント」について現場の実感と独自の観点でお送りするコラム・・・のはずなんですが、要するにWebがらみのシステム&デザイン業界に関する小ネタと... 続きを読む
DSASはいかにして可用性を高めているか、ちょっと紹介したいと思います。 今回は概略ということでざざざっと説明します。個別の構成についてはまた回を改めて紹介したいと思います。 │ │ ┌┴┐ ┌┴┐ │ │ │ │ISPの上位ルータ └┬┘ └┬┘ │ │ 〜〜... 続きを読む
id:hirose31くんがロードバランサについてあれこれ書いてる.そんなわきゃない>DNS RRはロードバランサの座を奪い返せるかこの間彼から教えてもらったんだけどLVS(LinuxVirtualServer)は結構すごいという話.「でも安定性がぁ」とか「ASICには勝てないよね」とい... 続きを読む
連載:ロードバランサの本質(1) パケットフローから負荷分散の基本を理解する 〜NAT/コネクションテーブル/MAT〜 F5ネットワークス 上谷 一 今野 徹 2003/2/5 負荷分散装置(ロードバランサ)のニーズは現在も高まる一方です。従来はWebサーバのみを主な... 続きを読む
あとで書く、と言った手前なので書くとします。DSASの中の人がすごい勢いで LVS の話を書いてくれてます。この辺。LVS を使うと Linux と箱でロードバランサが作れちゃいます。普通に買ったら数百万とかしちゃうやつ。DSAS の中のひとに感謝しつつ、いい機会な... 続きを読む
Web屋のネタ帳 Webビジネスに必要な「戦略」「システム」「デザイン」の3要素とそれらをまとめる「マネジメント」について現場の実感と独自の観点でお送りするコラム・・・のはずなんですが、要するにWebがらみのシステム&デザイン業界に関する小ネタと... 続きを読む
DSASのロードバランサは高価なアプライアンス製品ではなく、LinuxのLVS (Linux Virtual Server)を利用しています。 安価、というか、ハードウエア以外は金銭的コストがゼロなので、一般のクライアントからのアクセスを受ける外部ロードバランサのほかに、内部サ... 続きを読む