先月、Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジンというエントリでSPIDERストレージエンジンによるスケールアウトが凄い!という話を書いた。SPIDERストレージエンジンは凄いヤツだが、ノウハウがあまりウェブ上で見つからない。唯一見つかる日本語の記事は、ウノウラボによる「国産MySQLストレージエンジン「Spider」の作者、斯波健徳氏に聞く 」だけである。SPIDERストレージエンジンは斯波氏による単独の作品であるため、斯波氏は開発だけで手いっぱいであり、使い方の紹介記事を書くことまでは手が回らないのであろう。こんな凄いストレージエンジンをドキュメントが足りないせいで使って貰えないなんて勿体ない!! というわけで、今日はSPIDERストレージエンジンの基本的な使い方について紹介する。少し長いエントリであるが、最後までお付き
本ブログでも何度か取り上げたことのあるあのSPIDERストレージエンジンがさらにパワーアップして便利になった!8月にリリースされたバージョン2.22では次の2つの強化が行われている。 HA機能の追加(データノードの冗長化) LinuxおよびWindows用ビルド済みMySQLパッケージの配布 インストールが簡単になった!前回SPIDERストレージエンジンを紹介したときには、ソースコードからコンパイルする必要があり、なおかつMySQL本体にパッチを適用しなければならず、利用するまでの敷居が高かったように思う。しかし、バージョン2.22よりSPIDERを含んだビルド済みバイナリが提供されたことにより、SPIDERを利用する手間はぐっと少なくなった。しかもこのビルド済みのバイナリにはSPIDERだけでなく各種パッチと、さらにはVPストレージエンジンまで含まれているという気の利きようだ。コンパイル
こんにちは。中村です。 MySQLにはMyISAM、InnoDB、CSVなどのいくつかストレージエンジンがありますが、皆さんはSpiderというストレージエンジンを聞いたことはありますでしょうか。Spider Storage Engineは斯波健徳さんにより作成されたDatabase Shardingを可能にするストレージエンジンでMySQL 5.1で利用可能です。 先日、某集まりで斯波さんとお会いしたときにSpiderを作っているということを教えてもらったので、早速詳しい内容を教えてもらうことにしました。 ※Spiderについての説明資料はMySQLカンファレンス 2009にて斯波さんが発表されたときのスライドがあります。スライドの直リンク(zip) Spider Storage Engine について posted by (C)フォト蔵 Spider Storage Engineとは?
2/18にSkySQLが日本で第2回目となるMariaDB/MySQLのコミュニティイベントを開催します。 http://atnd.org/event/E0023540 海外からの講演者は、前回来日されたColin Charles氏、Michael Carney氏のほか、今回はMySQL ABの創業者のMicael“Monty”Widenius氏(MySQLの生みの親としても有名)とDavid Axmark氏も加わる豪華な顔ぶれです。 また、前回より時間枠が拡大し、株式会社ディー・エヌ・エー様、株式会社アシスト様、MySQLユーザー会堤井氏の講演が予定されており、私も本イベントで登壇させて頂くことになりました。 DeNA 樋口氏からは「Handlersocket 2.0」 DeNA 中谷氏からは「MySQLite: SQLiteデータベースを読み書きするMySQLストレージエンジン」 の講
The spider storage engine enables tables of different MySQL instances to be treated like a table of a same instance. Because xa transaction and partitioning is supported, it can do decentralized arrangement to two or more servers of data of same table. The new storage engine "Spider" does work for its strong scalability to access other storage engine of MySQL, to idea to the most considerations ar
前回のエントリで紹介したSpider Storage Engineがバージョンアップしたので、今更ながらインストールしてみました。 CentOS5.5でSPIDERストレージエンジンを使ってみた 今までは、ソースからSpiderを組み込まなければいけなかったが、バージョン2.22からSpiderを含んだビルド済みバイナリが配布されるようになったので、めちゃくちゃ導入が楽になりました。 パッケージはここで入手可能です。 Spider for MySQL / launchpad https://launchpad.net/spiderformysql 手順で作成するサーバ構成 [サーバA] ← SPIDERノード | -------------- | | [サーバB] [サーバC] ←データノード mkdir /home/src cd /home/src [サーバA]
MySQL5.5 + Spider 2.22をNifty Cloud環境にインストールしたレポートです。 使用環境はインストールテストということで、miniタイプを選択。miniタイプの構成要素は以下の通り。 CPU: 1vCPU(1GHz相当) メモリ: 512M ディスク: 30GB ちょっとテストしたいときに手軽なサーバー種別です。 OSは以下のものから選択できます。 CentOS 5.3 (32bit/64bit) Red Had Enterprise Linux 5.3 Microsoft Windows Server 2008 R2 ここではCentOS ?64bit plainタイプを選択。 Spiderは、今回はソースコードからビルドしましたが、バイナリモジュールも提供されています。ダウンロードサイトはこちら。 Spiderエンジンを含んだMySQLソースコードmysql-
なんか cmake 失敗するなーと思ったら、実行権限がないディレクトリが含まれててその中のファイルが読めないのでよしなに実行権限あたえて cmake してください。 cd /usr/local/src wget "http://launchpad.net/spiderformysql/spider-2.x/2.24-for-5.5.8/+download/mysql-5.5.8-spider-2.24-vp-0.13-hs-1.0.tgz" tar zxvf mysql-5.5.8-spider-2.24-vp-0.13-hs-1.0.tgz cd mysql-5.5.8-spider-2.24-vp-0.13-hs-1.0 chmod +x storage/spider/hs_client cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql-5.5
Webサービスでは、世界中からのトラフィックを捌く必要があるため、いくらチューニングしようとも一台のRDBMSでは捌ききることが出来ないのが常だ。MySQLは最初からマスター・スレーブ型のレプリケーション機能が搭載されており、スレーブをたくさんぶら下げることによって参照の負荷をスレーブに割り振るというスケールアウトによってその問題に対処してきた。スレーブによるスケールアウトは、参照(=PV)が多いWebサイトと非常に相性が良く、幾多のWebサイトにおいて実績を作ってきているし、まだまだ利用されている。 しかしながら、サイトのトラフィックが劇的に増加してくるようになると、レプリケーションによる負荷分散では追いつかなくなってきた。そこで人々がとった選択肢は、memcachedを利用することである。memcachedはインメモリ型の高速なKVSであり、参照・更新性能はMySQLより格段に高い。M
午後のセッション中心に聴講しました 新ストレージエンジンSpiderの紹介 これまでの高負荷に対応する更新系DBの分割は現実的にはアプリ側でのパーティショニングしかない Spiderストレージエンジンはこれまでより簡単な更新系DBサーバの分割方式とさらに足りないものをまとめあげた リモートDBに対してテーブルリンクを作成 更新系DBのクラスタリングができる XAトランザクションパーティショニング http://spiderformysql.com/ speekerの方が体だけスパイダーマンっぽい格好 特徴 高いスケーラビリティ 連携が高速 Data更新の同期を担保 既存システムへの導入に クライアントアプリケーション修正が少ない できること 異なるMySQLインスタンスのテーブルを同一インスタンステーブルとして扱うことが可能 同一TableのDataを複数サーバに分割してもつ アプリケーシ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く