グーグルが「Evolution and Future Directions of Large-Scale Storage and Computation Systems at Google」（グーグルにおける、大規模ストレージとコンピュテーションの進化と将来の方向性）という講演を、6月に行われたACM（米国計算機学会）主催のクラウド... 続きを読む

• www.publickey1.jp
• テクノロジー

かなりながーいエントリになる予定なので,結論だけ最初に書くとこんな感じ.最速配信研究会 - 「コネクションプーリング都市伝説」はほんとに都市伝説?（その1)この話題については自分も あとで書く と言って書いてなかったので書いてみますよ。2006年の下期にも... 続きを読む

• d:id:naoya
• テクノロジー

商品の説明内容紹介 サーバを単に増やすだけでは解決しない(?!)。 大規模サービスの難所は、サービスの成長に伴い巨大化するデータの処理です。 データ量の変化は緩やかには推移せず、突然目の前に現れる大規模化の壁。 そこで求められるのは、いかにして「デー... 続きを読む

• www.amazon.co.jp
• テクノロジー

Big Data in Real-Time at Twitter - Presentation Transcript Big Data in Real-Time at Twitter by Nick Kallen (@nk) Follow along http://www.slideshare.net/nkallen/qcon What is Real-Time Data? • On-line queries for a single web request • Off-li... 続きを読む

• www.slideshare.net
• テクノロジー

Tim Bray has a wonderful interview with Casey Forbes, creator of Ravelry, a Ruby on Rails site supporting a 400,000+ strong community of dedicated knitters and crocheters. Casey and his small team have done great things with Ravelry. It is a ... 続きを読む

• highscalability.com
• テクノロジー

mysqlMySQL4.1でMyISAMを使っていて、ふと気づいたら1つのテーブルに4千万件のレコードを挿入してしまいました。MyISAMで4千万行のテーブルを作るとどうなるかというと、 INSERT -> やや重いけどいける UPDATE -> やや重いけどいける TRUNCATE/DROP -> 一瞬 DEL... 続きを読む

• blog.mirakui.com
• テクノロジー

ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセ... 続きを読む

• www.atmarkit.co.jp
• テクノロジー

2010-04-13 快適スケールアウト生活への第一歩。SPIDERストレージエンジンを使ってみよう！ 先月、Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジンというエントリでSPIDERストレージエンジンによるスケールアウトが凄い！と... 続きを読む

• nippondanji.blogspot.com
• テクノロジー

2010-03-23 Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジン Webサービスでは、世界中からのトラフィックを捌く必要があるため、いくらチューニングしようとも一台のRDBMSでは捌ききることが出来ないのが常だ。MySQLは最初... 続きを読む

• nippondanji.blogspot.com
• テクノロジー

勉強会, Perlあっという間に募集定員に達してしまった大人気イベントに運良く枠内に入り、行ってきました。DeNA Technology Seminar #1 : ATND 話聞きながらとっていたメモ。結局出来の悪い板書写しみたいになってしまった orz#denatech - Twitter Search が良... 続きを読む

• d:id:sugyan
• テクノロジー

読み込み＞書き込みなデータベースだと、実体化ビュー (materialized view) を使って読み込み速度を上げるってのは有効な手法 ちなみに MySQL や PostgreSQL だと実体化ビューはトリガーを使って書く *1 では、トリガーベースの実体化ビューを後から追加した場... 続きを読む

• d:id:kazuhooku
• テクノロジー

スケーラブルなデータベースを実現する手段として「Sharding MySQL plus memcached」がよく知られる方法だとは、1つ前の記事「MySQL+Memcachedの時代は過ぎ、これからはNoSQLなのか、についての議論」で紹介しました。 ちなみに「Sharding」（シャーディング）... 続きを読む

• www.publickey.jp
• テクノロジー

Twitterを利用していると、ときどきクジラの絵の画面が表示されることがあります。これはTwitterの処理能力がパンクして一時的に利用不可になったときに表示されるお馴染みの画面。 2月9日にTwitter Engineeringブログにポストされたエントリ「The Anatomy of a... 続きを読む

• www.publickey.jp
• テクノロジー

先日、分散Key-valueストア kumofs を公開しました。多く方から反響とフィードバックをいただいています。ありがとうございます。 今回は、kumofs はなぜスケールするのか、なぜスケールすると言えるのかーということについて紹介したいと思います。 ところでス... 続きを読む

• d:id:viver
• テクノロジー

railsmemcachedで快速アプリケーション − ＠IT上記の記事で、こんなことが書いてありました。以下に、Railを使用する際に用いられる一般的なパフォーマンス向上方法を紹介しよう。O/Rマッパーを介さずに直接SQL文を発行する→ActiveRecord::Base::find_by_sql... 続きを読む

• d:id:willnet
• テクノロジー

scale outの技術 首藤 一幸 Last-updated: January 5, 2010 注: このページの文章は以下の記事の元原稿です。 首藤一幸, "スケールアウトの技術", クラウドの技術, pp.88-101, (株)アスキー・メディアワークス, ISBN978-4-04-868064-6, 2009年 11月 6日 アスキ... 続きを読む

• www.shudo.net
• テクノロジー

Amazon CloudWatch を使ってみた 2009-05-19 (Tue) 5:01 Amazon EC2 Amazon EC2で、Amazon CloudWatch(インスタンス監視サービス)、Amazon Elastic Loadbalancer(ロードバランサー), Amazon AutoScaling(自動スケールアウト機構)がリリースされました。 New Fea... 続きを読む

• kzk9.net
• テクノロジー

昨年末にMIJSのコンソーシアム内での交流会があり、前回のはてな伊藤さん講演に続き、理事会の方から講演者の選定とコンタクトを依頼されたので、今回はマイクロソフトの萩原さんに「クラウドの時代のデータモデリング」の講演をお願いした。 今回萩原さんに講... 続きを読む

• blog.livedoor.jp:lalha
• テクノロジー

タイトルは煽り入ってますが。仮に動的ページを生成するのにかかる時間が1秒、そのうちデータベースやmemcached等リモートサーバへの問い合わせ時間を除くいたCPUの処理時間が0.1秒とする。また、ピークのリクエスト処理量は、平均の２倍とする。そうすると、ク... 続きを読む

• d:id:kazuhooku
• テクノロジー

はじめに　｢人類が使うすべての情報を集め整理する｣　この壮大なミッションを掲げ設立されたGoogleは、そのミッションを遂行するべく、マシン・ネットワークなどのインフラ環境に莫大な金額を投資し、独自の技術を開発し続けています。Googleは検索エンジンだけ... 続きを読む

• codezine.jp
• テクノロジー