RedisサーバのCPU負荷対策パターン - ゆううきブログ
Redisは多彩なデータ構造をもつ1インメモリDBであり、昨今のWebアプリケーションのデータストアの一つとして、広く利用されている。 しかし、一方で、性能改善のための手法を体系的にまとめた資料が見当たらないと感じていた。 実際、最初にCPU負荷が問題になったときにどうしたものかと悩み、調査と試行錯誤を繰り返した。 そこで、この記事では、自分の経験を基に、RedisサーバのCPU負荷対策を「CPU負荷削減」「スケールアップ」「スケールアウト」に分類し、パターンとしてまとめる。 背景 RedisのCPU負荷対策パターン CPU負荷削減 multiコマンド Redisパイプライニング Luaスクリプティング Redisモジュール(夢) スケールアップ スケールアウト 参照用スレーブ 垂直分割 水平分割 Redis Clusterによる水平分割 その他 スライド資料 あとがき 参考資料 背景 R
suz-lab.com - suz lab リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
データセンターを進化させるためにeBayが行っていること
ほぼ同じ処理性能を発揮する3つのクラスタ、2.9GHzのCPUを積んだサーバ2000台と、1.6GHzのサーバ3663台、3.46GHzのサーバ1694台。どれが最もトータルコストが安いのか？ eBayのDean Nelson氏は、こうした緻密な試算を積み重ねてデータセンターの構成を決定していることを、スイスで開催された「2011 European Data Centre Summit」のセッションで解説しています。 最新のデータセンターはどのような設計思想の上に成り立っているのか。公開されているセッションのビデオから紹介します。 What have we learnd in our Data Centers eBayのDean Nelson氏。 まずはeBayの基本的なデータを紹介しよう。eBayは1日に2ビリオンページビューのWebサイトで、23ミリオン行のソースコード、1日に75ビリ
WEB+DB PRESS連載の『スケーラブルWebシステム工房』の記事を公開しましたっ！ - （ひ）メモ
だいぶ前の記事(2007/04〜2008/2の連載記事)ですが、WEB+DB PRESSで連載していた拙著の『スケーラブルWebシステム工房』の記事を公開しました。ふと、思い出したので。 連載目次 第1回 いろんなものをロードバランス ― MySQL、SMTPサーバ… 第2回 DRBDとkeepalivedで、障害性の高いストレージサーバの構築 第3回 監視にまつわるエトセトラ 第4回 LinuxとVLANで作る、シンプル＆スケーラブルネットワークの極意 第5回 止まらないネットワークの極意 ― bonding × リンクアグリゲーション × スパニングツリー 第6回 見逃さない通知の極意 これらの文書は、ソフトウエアの名称、バージョン、設定項目、社名などの固有名詞などなどは当時のまま掲載しています。 ですので、インストール手順や設定内容は最新版のドキュメントを参照していただき、この文書か
グーグルが構築した大規模システムの現実、そしてデザインパターン（4）～デザインパターン編
グーグルが「Evolution and Future Directions of Large-Scale Storage and Computation Systems at Google」（グーグルにおける、大規模ストレージとコンピュテーションの進化と将来の方向性）という講演を、6月に行われたACM（米国計算機学会）主催のクラウドコンピューティングのシンポジウム「ACM Symposium on Cloud Computing 2010」で行っています。 講演の内容を4つの記事（MapReduce編、BigTable編、教訓編、デザインパターン編）で紹介しています。この記事は教訓編の続き、デザインパターン編です。 大規模システムデザインの指針 よりよく使ってもらうためのインフラのデザインと開発方法を考えてみよう。 インフラに対する機能の要望についてさまざまなグループと話すと、多くのリクエ
いきあたりばったりのアーキテクチャと教訓
スライドの作者であるGleicon Moraesは、これらの図を示した上で、リレーショナルデータベースはガムテープのようにつぎはぎで使えるような万能薬ではない。シャーディングや非正規化などは検討すべきよい選択肢であり、またリレーショナル以外のデータベースも選択肢としていれるとよいだろうと説いています。 そして次のような「リレーショナルデータベースの間違った使い方10項目」を示しているのです（訳は前述の記事「データベースの間違った使い方10項目」から）。 Dynamic table creation（動的なテーブルの作成） Table as cache（テーブルをキャッシュとして使う） Table as queue（テーブルをキューとして使う） Table as log file（テーブルをログとして使う） Distributed Global Locking（分散したグローバルなロック）
Spider DeNA Technology Seminar #2
12. テーブルリンク Spider Storage Create table tbl_a ( tbl_a tbl_a col_a int, Engine’s table col_b int, primary key(col_a) DB1 ) engine = Spider Other Storage Connection ‘ 2.Get data tbl_a host “DB1”, Engine’s table table “tbl_a”, user “user”, password “pass” ‘; tbl_a tbl_b Local DB 3.Join 1.Request select tbl_a.col_a, tbl_b.col_c 4.Response from tbl_a, tbl_b where tbl_a.col_a = 1 and tbl_a.col_b = tbl_b
Fusion io
3. FusionIO SSD （ NAND 型フラッシュデバイス）を束ねて並列構成 メモリ コントローラ OS 側 ドライバ バッファ ファイルシステム OS 側のメモリも使用してバッファなども行う
セッション3 「MｙSQL環境におけるFusion-IO検証結果とDeNA（モバゲー）における価値」DeNA松信氏
2010年10月15日に開催された「次世代データセンターソリューションセミナー」 セッション3 DeNA松信さん（元MySQL)のプレゼン実況まとめ
Registration: Machine learning & data conference | O'Reilly Strata
We’ve made the very difficult decision to cancel all future O’Reilly in-person conferences. Instead, we’ll continue to invest in and grow O’Reilly online learning, supporting the 5,000 companies and 2.5 million people who count on our experts to help them stay ahead in all facets of business and technology. Come join them and learn what they already know. Become an O’Reilly online learning member
DeNAによる大規模なMySQLノンストップ運用の裏側にある、フェイルオーバー自動化ツール
4月11日から米サンタクララで行われた「MySQL Conference & Expo 2011」。このイベントでDeNAの松信嘉範（まつのぶよしのり）氏が、同社の大規模なMySQLの運用を支えている技術とツールについてのセッション「Automated, Non-Stop MySQL Operations and Failover」を行いました。 プレゼンテーションの中で、社内で利用しているフェイルオーバーの自動化ツールをオープンソース化することにも触れています（英語のドキュメントも作成中とのこと）。 MySQLの大規模運用における自動フェイルオーバーは、特にクラウドでのMySQLの利用が増えるにつれてニーズが高まる分野と思われます。セッションのスライドが公開されていますので、そのポイントを紹介していきます。 自動化されたノンストップなMySQLの運用 ソーシャルゲームでは高可用性が強く求
HandlerSocket plugin for MySQL
1. handlersocket plugin for mysql 2010/06/29 Tech セミナー @ 代々木 株式会社 DeNA システム統括本部 IT 基盤部 樋口 証 <higuchi dot akira at dena dot jp> 2. Who am I? DeNA IT 基盤部 システムのパフォーマンス最適化 障害の分析 ミドルウェア開発 IPA 未踏 スーパークリエータ (2005 年 ) 1993 年ころから GNU/Linux 利用 Fedora: yum install KoboDeluxe Debian: apt-get install kobodeluxe サーバソフトウェアを多数開発
Facebookが高効率データセンターの技術を公開、「Open Compute Project」発足
米Facebookは米国時間2011年4月7日、米オレゴン州プラインビルに建設したデータセンターを公開するとともに、業界全体における高効率データセンター構築を推進する取り組み「Open Compute Project」を発表した。 プラインビルのデータセンターは同社が運営するSNSサイト「Facebook」用に独自設計したもので、既存のデータセンターと比べエネルギー効率を38％向上し、費用を24％削減するという。IT機器の省電力化などに取り組む業界団体「Green Grid」が定めた電力効率の指数（PUE）は1.07と、優れた値を示した。 Open Compute Projectでは、プラインビルのデータセンターで採用している仕様やベストプラクティスを他の企業と共有できる場を提供する。同データセンターのサーバー、電力供給、サーバーラック、電源バックアップシステム、建築設計などに関する技術仕
DeNA流エンジニア主導ソーシャルアプリ開発秘話 #sac2010 メモ - 130単位
DeNA流エンジニア主導ソーシャルアプリ開発秘話 : ATND http://atnd.org/events/4857 Social Application Seminar on USTREAM http://www.ustream.tv/channel/social-application-seminar フジイさん ソーシャルメディア事業本部 ソーシャルゲーム開発部 2005年ディー・エヌ・エー入社 2009年「セトルリン」開発 現在は新規ソーシャルアプリの開発を担当 内製ソーシャルアプリ 怪盗ロワイヤル、アクアスクエア、セトルリン、戦国ロワイヤル、農園ホッコリーナ、海賊トレジャー アジェンダ 開発について 体制、開発プロセス 開発環境について Flash Liteについて 運用について インフラ構成 負荷対策事例 Yahoo!モバゲーの紹介 内製ソーシャルアプリの開発について 体制
『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011
『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011 2011/02/22 [登壇後エントリ] ：" 「モバゲーの大規模データマイニング基盤におけるHadoop活用」－Hadoop Conference Japan 2011 #hcj2011 で登壇してきました " http://d.hatena.ne.jp/hamadakoichi/20110222/p1Read less
How many physical/virtual servers does GitHub have?
Answer (1 of 2): As a language model, I do not have access to GitHub's exact server infrastructure details. However, it is known that GitHub uses a large-scale infrastructure with multiple data centers worldwide and employs various cloud services from providers like AWS and Microsoft Azure to hos...
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSを用いた耐障害性の高いアプリケーションの設計
AWS移行に向けたクックパッドの取り組み
データベース友の会 第2回 データ・ストレージ勉強会 ITに効く！SSD最先端
FOSDEM
