The spider storage engine enables tables of different MySQL instances to be treated like a table of a same instance. Because xa transaction and partitioning is supported, it can do decentralized arrangement to two or more servers of data of s... 続きを読む
2010-04-13 快適スケールアウト生活への第一歩。SPIDERストレージエンジンを使ってみよう! 先月、Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジンというエントリでSPIDERストレージエンジンによるスケールアウトが凄い!と... 続きを読む
Pylot is a free tool for testing performance and scalability of web servicesPerformance & Scalability Testing - Web Services What Is It? Pylot is a free open source tool for testing performance and scalability of web services. It runs HTTP lo... 続きを読む
Twitterが分散フレームワーク「Gizzard」公開! Scalaで書かれたShardingを実現するミドルウェア Twitterは独自に開発した分散フレームワークの「Gizzard」をオープンソースとして公開しました。GizzardはScalaで書かれたJavaVM上で動作するミドルウェアで、PHP... 続きを読む
Twitterの大規模システム運用技術、あるいはクジラの腹の中(前編)~ログの科学的な分析と、Twitterの「ダークモード」 先週の6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」が開催... 続きを読む
By Ben Sandofsky (@sandofsky) and John Adams (@netik) Have you found yourself waiting in line at a supermarket and the guy in front decides to pay by check? One person can slow everyone down. We had a similar problem at Twitter. Every server ... 続きを読む
How do you scale a viral Facebook app that has skyrocketed to a mind boggling 65 million installs (the population of France)? That's the fortunate problem BuddyPoke co-founder Dave Westwood has and he talked about his solution at Wednesday's ... 続きを読む
It’s been a while since I’ve released a new Scaling Rails Screencast, but this morning I’m happy to announce that three new screencasts have been produced and the first one is being released today. In these screencasts I’m going to introd... 続きを読む
ConsistentHashing - コンシステント・ハッシュ法 目次 この文書について コンシステント・ハッシュ法 実例 実装 用途 コンシステント・ハッシュ法 この文書について "Tom White's Blog: Consistent Hashing" の日本語訳です. http://weblogs.java.net/blog/tom... 続きを読む
What is EventMachine? EventMachine is a library for Ruby, C++, and Java programs. It provides event-driven I/O using the Reactor pattern. EventMachine is designed to simultaneously meet two key needs: Extremely high scalability, performance a... 続きを読む
Facebookが大規模スケーラビリティへの挑戦で学んだこと(前編)~800億枚の写真データとPHPのスケーラビリティ問題 全世界で3億人を超える会員を抱え、世界最大のSNSとなったFacebook。同社の巨大なシステムは、3つのデータセンターにある約3万台のサーバと、P... 続きを読む
Click here for more info and video from Calit2 続きを読む
近年(でもないか)、言語内に実装された軽量スレッド/軽量プロセスを利用することで、OSが提供するスレッド機能の限界を超えた数の並列処理を行うことが容易に出来るようになって来ています。PerlのCoro、RubyのFiber、Erlangのプロセスなどです。Perlについては... 続きを読む
更新日: $Date: 2006/03/16 05:59:46 $ UTC ($Revision: 1.8 $) 公開日: 2005/09/20 この文書は、技術評論社刊『WEB+DB PRESS Vol.22』に執筆した記事を技術評論社の 許可を得てWWWで公開しているものです。 このWWW版は校正前の原稿を元にしている点、WWW公開... 続きを読む
Ruby makes Rails, Javascript makes Ajax, Dr Nic makes Magic “Reads -> slaves, writes -> master” plugin Posted by Dr Nic on April 15, 2007 Another solution to multiple connections in Rails has been put together by the Revolution Health team.... 続きを読む
最近、2.0な方々の間でTwitterが話題になってる。で、そのTwitter自体も面白いんだけど、TwitterについてDHHがブログを書いてRailsでの大規模サイト構築が話題になってるのが面白い。 Twitter trouble (Loud Thinking - DHH) まずTwitterの高負荷について言及、... 続きを読む
Introduction ActsAsReadonlyable adds support of multiple read-only slave databases to ActiveRecord models. When a model is marked with acts_as_readonlyable, some of AR finders are overridden to run against a slave DB. The supported finders ar... 続きを読む
Master/Slave Databases with Ruby on Rails Posted by Robby Russell Thu, 15 Nov 2007 22:02:00 GMT 5 comments Latest by Chu Yeow Fri, 23 Nov 2007 03:13:00 GMT Not terribly long ago, I announced Active Delegate, which was a really lightweight plu... 続きを読む
RightScale enables companies to create Web solutions running on cloud computing providers such as Amazon EC2 that are scalable, reliable, easy to manage, and affordable.Cloud Management Platform and Support RightScale™ enables companies to c... 続きを読む
こんにちはオークション事業部プラットホーム技術のチャックです。 オークションでは一部サービスに RDBMS の MySQL を使ってサービスをご提供させていただいております。 オークションでは多くのお客様よりアクセスを頂いておりますので、大量の更新、参照の処... 続きを読む
web2.0 時代のジョブキューサーバー Gearman と TheSchwartz の関係について - TokuLog 改めB日記に書かれているとおり、Gearmanは仕事を投げられたらすぐやって返す前提になっていて今やりたくないけどあとでやるみたいなのができません。 たとえば、10分後に... 続きを読む
HowFriendFeedUsesMySqlToStoreSchemaLessData - FriendFeed では MySQL を使いどのようにスキーマレスのデータを保存しているのか 目次 この記事について FriendFeed? では MySQL を使いどのようにスキーマレスのデータを保存しているのか 背景 概観 詳細 一貫... 続きを読む
Background We use MySQL for storing all of the data in FriendFeed. Our database has grown a lot as our user base has grown. We now store over 250 million entries and a bunch of other data, from comments and "likes" to friend lists. As our dat... 続きを読む
Why 5 of these aren’t suitable What I’m really looking for is a low latency, replicated, distributed key-value store. Something that scales well as you feed it more machines, and doesn’t require much setup or maintenance - it should just w... 続きを読む
By Antonio Cangiano, Software Engineer & Technical Evangelist at IBM Antonio Cangiano February 26th, 2009 Within the Rails community, New Relic is a company that doesn’t need any introductions. They are synonymous with performance and reliab... 続きを読む
The next two videos of the Scaling Rails screencasts are now out. As I mentioned before, these screencasts look awesome on an iPhone. Once you’ve done as much Page/Action/Fragment/Object caching you can do, and you’re still looking to impro... 続きを読む
2008/12/01 楽天は11月29日、東京・品川の本社で開催した技術系イベント「楽天テクノロジーカンファレンス2008」において、近い将来に同社のEコマースサービス「楽天市場」を支える計画があるRubyベースの大規模分散処理技術「ROMA」(ローマ)と「fairy」(フ... 続きを読む
A secure, scalable and easy to manage framework for orchestrating complex processes in the Cloud. Cloud-Agnostic Vertebra is designed to be cloud-agnostic. It can be run on your own infrastructure, or on third-party providers' like Amazon's E... 続きを読む
本日 (11/27) 開催の Shibuya Perl Mongersテクニカルトーク#10 で、ウェブサービスの SSD 化について話しました。スライドを置いておきますので、開発しているウェブアプリケーションフレームワーク NanoA について話してきました とあわせてご覧いただければ... 続きを読む
Scaling Ruby - The Informative, 40 Minute Screencast Earlier this month, Rails Envy's Gregg Pollack gave a talk at RubyConf08 called Scaling Ruby (without the Rails). He answered questions like "How do existing Ruby applications use Threads/P... 続きを読む
Today marks a milestone in the short history of NeverBlock. We have pushed a new release with lots of new features, mainly: NeverBlock now supports Ruby1.8. NeverBlock support for Thin and Mongrel servers. NeverBlock now supports Ruby on Rail... 続きを読む
12:51 | 今年もMySQL Conference 2008に行ってきました。社内向けの報告資料と雑多なメモですが、よろしければ参考にしてください。*1 概要MySQLがSunに買収されて始めてのConference 8セッション並列で、OSCONの規模にだいぶ近いMySQLが扱うトラフィック量・デ... 続きを読む
[Originally posted to the AdPickles blog.] Last month, an old entrepreneurial colleague dropped me a note regarding some speed bumps he's hit while courting potential investors and partners... "I've heard a few people mention that they heard ... 続きを読む
Dare Obasanjo aka Carnage4Life Smoke like a hippie, drink like a pirate and code like a hacker Navigation for Dare Obasanjo aka Carnage4Life - Google Scalability Conference Trip Report: MapReduce, BigTable, and Other Distributed System Abstra... 続きを読む
We started High Scale is measured relative to your requirements. As long as you can scale enough to solve your problem then you have scale. If you can handle the number of objects and events required for your application then you can scale. I... 続きを読む
TheC10kProblem - 「C10K問題」(クライアント1万台問題)とは、ハードウェアの性能上は問題がなくても、あまりにもクライアントの数が多くなるとサーバがパンクする問題のこと 目次 この文書について C10K 問題 関連サイト まず読むべき本 I/O フレームワーク ... 続きを読む