Twitter、進化するアーキテクチャ
原文(投稿日：2009/6/26)へのリンク Twitterサービスチームの主任エンジニアであり、主に最適化とスケーラビリティを担当しているEvan Weaver氏が、QCon London 2009においてTwitterのアーキテクチャ、とりわけ過去一年にわたって行ってきたウェブサイトの最適化について語った。 Twitterで使われているツールの多くはオープンソースである。そのスタックは、フロントサイドにRails、中間のビジネス層にC、Scala、Java、データストアとしてMySQLを利用してつくられている。すべてがRAM上に保持されており、データベースは単なるバックアップである。Railsのフロントエンドはレンダリング、複合キャッシュ、DBクエリ、同期的挿入を扱う。このフロントエンドは、MySQLクライアント、Memcachedクライアント、JSONクライアントなどの、多くはCで書
無いから作った人たち
データベース技術の世界に新顔が次々と登場している。米Danga Interactiveの「memcached」、ミクシィの「Tokyo Cabinet」と「Tokyo Tyrant」、楽天の「ROMA」、グリーの「Flare」などだ。いずれも半導体メモリーを使って大規模データベースを高速処理する技術である。面白いのは、4社ともIT製品を開発するメーカーではないことだ。 4社は、Webを使ったサービス事業を手掛ける企業であり、本来であればメーカーが開発した製品や技術を使う立場である。ところが、こうした「ユーザー企業」が自ら基盤技術を開発し、それを利用している。 memcachedやTokyo Cabinet/Tyrant、ROMA、Flareの中では、memcachedが一番古い。Danga Interactiveが自社のブログ・サービス「LiveJournal」を改善するために2003年に
Tokyo Cabinet
Our team of highly trained cybersecurity professionals provides expertise in compliance, tool assessments, threat hunting, incident response and more. Critical Start is leading the way in Managed Detection and Response (MDR) services. With a unique approach that treats every security alert as equal, Critical Start's proprietary Trusted Behavior Registry allows security analysts to resolve every al
Repcached - KLablabWiki
repcachedについて repcachedとは、memcachedにデータのレプリケーション機能を追加実装したものです。 memcachedは、以下のようなところによく使われると思います。 一時的なデータの保存場所として キャッシュを保存する場所として RDBMSのデータのキャッシュ 生成したページデータのキャッシュ いずれの場合も消えていいデータなので、万が一memcachedがダウンしても問題はないはずです。 しかし、影響が全くないわけではありません。 例えば、MySQLのデータをmemcachedでキャッシュしている場合、memcachedがダウンしている間は直接MySQLにアクセスがいくことになりDBサーバの負荷が上がります。また、memcachedを再起動してキャッシュが失われた場合は、再びキャッシュが溜まるまではDBサーバに負荷がかかることになってしまいます。 このように
key-value stores: Anti-RDBMS: A list of distributed key-value stores | Richard Jones, Esq.
Please Note: this was written January 2009 - see the comments for updates and additional information. A lot has changed since I wrote this. Perhaps you’re considering using a dedicated key-value or document store instead of a traditional relational database. Reasons for this might include: You're suffering from Cloud-computing Mania. You need an excuse to 'get your Erlang on' You heard CouchDB was
「キー・バリュー型データストア」開発者が大集合した夜
「発表者が自分よりも若い人ばかりだ」。外見が20代にしか見えない東京工業大学の首藤一幸准教授（1973年生）の驚くさまが、少し面白かった。2009年2月20日の夜、多くのWeb企業が注目する「キー・バリュー型データストア」を開発する若手技術者が、東京・六本木のグリー本社に一堂に会した。 キー・バリュー型データストア（またはキー・バリュー型データベース）は、大量のユーザーとデータを抱え、データベースのパフォーマンス問題とコスト高に頭を悩ませるWeb企業が注目する技術である。記者は同日に開催された「Key-Value Store 勉強会」に参加させてもらった。午後7時から11時まで、キー・バリュー型データストアを開発・研究する若手技術者が立て続けに登場し、1人15分の持ち時間で成果を発表し、議論を重ねるという集まりだ。 呼びかけ人であるプリファードインフラストラクチャー（PFI）最高技術責任者
【レポート】Facebookのデータセンターに見るMySQL活用事例 - MySQLカンファレンス (2) 大規模事例におけるMySQL/キャッシュサーバの構成例 | エンタープライズ | マイコミジャーナル
Facebookの環境 キーノートにおいて、Facebookの環境は以下のようになっていると発表された。 アクティブユーザー数…7,000万人 ユーザー数の増加率…多いときで4日で100万人くらいのペース Webサーバ台数…1万台 memcachedサーバ台数…805台 MySQLサーバ台数…1,800台(マスター/スレーブ各900台ずつ) Webサーバへのリクエスト量…毎秒2,000万回 memcachedのヒット率…95% MySQLサーバへのSQL文発行量…毎秒50万回 memcachedのメモリ搭載量…15TB MySQLサーバのメモリ搭載量…25TB MySQLのバージョン…5.0.44 Enterpriseをベースに改変(後述) ユーザー数や台数、クエリ量、メモリ量などは桁違いに多いのがわかる。memcachedのヒット率95%や、memcachedとMySQLサーバの台数/メ
memcachedの驚愕の事実。
MixiやFacebook、Wikipediaなど、大規模なサイトでmemcachedを利用する例が増えている。マイコミジャーナルのレポートでFacebookの事例紹介があるのだが、なんとmemcached用のサーバは805台で、メモリ容量は15TBにもなるそうだ。ディスクではなくメモリだけで15TB！である。アクティブユーザーの数は7000万人もいるそうだから、それを捌くとなるとハードウェアも凄い規模にならざるを得ないのである。 このように大規模サイトを支えるmemcachedであるが、そのプログラムの中身は一体いかなるものなのであろうか。memcachedはhttp://www.danga.com/memcachedでソースコードが配布されている。現時点での最新版は1.2.5である。ぜひダウンロードしてみてほしい。そしておもむろにファイルサイズを確認してみてほしい。するとあることに気づ
第2回 mixi、ニコニコ動画、Livedoorの各システム構成とmemcached | gihyo.jp
WEB+DB PRESS Vol.47の特集2「mixi、ニコニコ動画、livedoor ［実例から学ぶ］memcachedベストプラクティス」で掲載した内容の元となった座談会の様子を動画でお送りします。 第2回は、mixi、ニコニコ動画、livedoorの各システム構成の概要と、それらシステム構成に対して、どのようにmemcachedが利用されているかを紹介していきます。 ニコニコ動画：https://www.nicovideo.jp/watch/sm4960083 座談会の模様 mixiのシステム構成についてやり取り。左から、前坂さん、長野さん、正野さん ニコニコ動画のシステム構成について説明する、福冨さん（一番右） スライドで触れていなかった部分を直接ホワイトボードに描いて説明する、池邉さん 第2回終了時のホワイトボード
第3回 memcachedの導入検討、利用の仕方、ライブラリ | gihyo.jp
WEB+DB PRESS Vol.47の特集2「mixi、ニコニコ動画、livedoor ［実例から学ぶ］memcachedベストプラクティス」で掲載した内容の元となった座談会の様子を動画でお送りします。 第3回は、最初にmemcachedをなぜ利用するに至ったのかという、mixi、ニコニコ動画、livedoorそれぞれのいきさつが語られます。その後、実際に利用している、具体的なmemcachedのライブラリについて説明されます。 ニコニコ動画：https://www.nicovideo.jp/watch/sm4993156 座談会の模様 memcachedのライブラリの説明時 第3回終了時のホワイトボード
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
moved
GREE Engineering
第1回 座談会メンバーの自己紹介、座談会の経緯と目的 | gihyo.jp
Executing scripts on a remote machine - Marigan's Weblog