maatkitを一通り使ってみたメモ - はまさき
#hbstudy11でid:marqsさんがMaatkitに関する発表をしていて，僕も仕事でちょこちょこ使っていたので ダイアリーあたりに書きますね と云ったきり，書く書く詐欺になっていたので，さすがに書こうと思います． 割とみなさん知っているツールだと思うのですが，ウェブ上で日本語の情報がなかなか見つからないので，何かのお役に立てればと思います．というか英語読めってことなのかもしれませんが． Mattkit 公式 MySQL Tools and Management Software to Perform System Tasks by Percona Maatkitは「実践ハイパフォーマンスMySQL」の著者であるBaron Scheartzによって作り始められた，MySQLやPostgreSQLのようなオープンソースのデータベースのための高品質なコマンドラインツールです． 実践ハイパ
データベースのスケーラビリティをどうやって向上させるか
これまでPublickeyではデータベースのスケーラビリティに関するさまざまなトピックを取り上げてきました。クラウド時代にはスケーラブルなデータベースのニーズがこれまでになく高まっているためです。 この記事では、これまで取り上げてきたデータベースのスケーラビリティに関する技術を少しまとめて紹介しようと思います。 従来のリレーショナルを拡張 従来のリレーショナルデータベースに対して、技術的工夫を凝らすことでスケーラブルなデータベースを実現しようというアプローチにも、さまざまなものがあります。 データベース研究者の大御所、マイケル・ストーンブレイカー氏は、リレーショナルデータベースは決して遅くないと主張。リレーショナルデータベースが遅い原因はロック、ラッチ、リソース管理にあるとして、それらを極力排除した「VoltDB」を開発しています。 NoSQLを上回る性能のVoltDB、そのアーキテクチャ
リレーショナルデータベースはNoSQLを取り込み始めた。NewSQLの登場とNoSQLの終わり、という予想
リレーショナルデータベースはNoSQLを取り込み始めた。NewSQLの登場とNoSQLの終わり、という予想 MySQLの次期バージョンとPostgreSQLの次期バージョンにどのような新機能が追加されるのか、昨日、一昨日の2本の記事で紹介しました。 MySQLの次期バージョンはMemcached APIを備える！ MySQL Conference & Expo 2011基調講演 PostgreSQLの現状と次期バージョン9.1の新機能。MySQL Conference & Expo 2011 この2つのデータベースの次期バージョンに共通しているのが、NoSQLの機能を取り込んでいることです。NoSQLに対するリレーショナルデータベースによる反撃が始まっています。 リレーショナルデータベースがNoSQLを取り込み始めた MySQLの次期バージョンであるMySQL 5.6に搭載予定の新機能の1
開発メモ: IndexDB: 転置インデックスのためのDB
大震災の時分に何だが、Kyoto Cabinetベースで検索エンジンの核となる転置インデックスを作るのに適したDBを実装したという話。 転置インデックスとappend操作 多くの検索エンジンの核となる転置インデックスとは、検索語に一致する表現がどこに出てきたかという位置情報のリストを保持するものであり、検索語をキーとして位置情報リストを値とする連想配列である（転置インデックスを使わない検索エンジンもあるが）。この位置情報リストをposting listとか呼んだりするらしい。転置インデックスにもいくつか流儀があり、検索語をどのように切り分けるかで単語（分かち書き）方式とか文字N-gram方式とか呼ばれるものがあったりするが、いずれにせよ、小さいキーと、非常にでかい値を保持する連想配列を作ることには変わりない。 で、素朴に転置インデックスを作ろうとすると、検索対象の文書を解析しながら、得られ
あえてNoSQLでクラウド上にエンタープライズアプリを作ってみる : 小野和俊のブログ
RDBMSとNoSQLを巡る議論でいつも私が違和感を感じるのは、RDBMSに固執しようとする人と、NoSQLに固執しようとする人と、それぞれが極端にどちらかを擁護し、極端にどちらかの長所や可能性に対して目を瞑ろうとしているように見受けられることである。 これまでRDBMSを業務で使ってきた人にNoSQLの制約の話をすると、大抵の場合、「そんなのじゃ業務には使えない」という反応が返ってくる。特に即時一貫性が保てないという話をすると「まったく使い物にならない」と脊髄反射的に拒否反応を示されることが多い。 私が思うに、クラウドがシステム構築で活用されていくのに比例して、これからは「RDBMSとNoSQLを適材適所で使い分ける」ことがこれからのアーキテクトに求められるのではないか。 これまではRDBMSがあったから何もかも一貫性が保障されていた。だが、本当にそこまですべてのデータに即時一貫性が必要
リンギオ - MongoDB で Sharding する
Sharding とは、 データを複数のサーバーに分割して保持することです。 これによりデータを小さい塊毎に処理することで処理性能の向上が見込めます。 最小構成は、３コンポーネント４台になります。 1. 2つ以上のshardサーバー ： 実際にデータが入ります 2. 1つ以上のconfigサーバー ： sharding のメタ情報が格納されます 3. mongos ルーティングプロセス ： sharding を司ります ということで、まずは shard サーバー を 2 台起動します。 $ bin/mongod --shardsvr --port 27017 --dbpath /var/mongodb/data/s0/ $ bin/mongod --shardsvr --port 27018 --dbpath /var/mongodb/data/s1/ 次に configサーバー を 1
MySQL互換クラウドRDBサービス「Xeround」が公開ベータへ
MySQL互換ながら独自のクラウド対応ストレージエンジンを搭載することで、スケーラブルなクラウド対応データベースサービスを実現する「Xeround」（ゼラウンドと発音するようです）が公開ベータを開始したことを明らかにしました。 Xeround MySQL Cloud Database Now on Amazon EC2 in Europe | Xeround MySQL Cloud Database Blog Xeroundはクラウド上のDatabase as a Service（DBaaS）として提供されるため、インストールやセットアップは基本的に不要。無料でベータ公開サービスを利用可能になっています。 MySQL互換のDatabase as a Service XeroundはMySQLのストレージエンジンアーキテクチャの上に構築されており互換性があるため、すでにMySQLを利用してい
ソーシャルゲームのためのデータベース設計
2. 自己紹介 MySQL/Linux周りのスペシャリスト 2006年9月から2010年8月までMySQL本家(MySQL/Sun/Oracle)で APAC/US圏のMySQLコンサルティングに従事 主な著書に「現場で使えるMySQL」「Linux-DBシステム構築/ 運用入門」「Javaデータアクセス実践講座」 DeNAでの主な役割 安定化/パフォーマンス/運用周りの中長期的な改善活動 L3サポート/運用/トラブルシューティング – 難度の高いMySQL周りの問題の根本原因の特定と解決 多くのプロジェクト支援 社内勉強会/トレーニング – MySQLやデータベース周りのベストプラクティスを社内で共有し、 技術スキルを底上げする 技術マーケティング – 国内外のカンファレンスや、技術雑誌等
ランキングのつくりかた:Kenn's Clairvoyance
遅ればせながら、あけましておめでとうございます。 先週には、ベイエリアの友人たちがやっているEchofonがPostUpに買収されるなど、幸先のよい新年のスタートとなりました。 さて、最近ホットなマーケットといえばソーシャルゲームですが、ゲームといえばリーダーボード。ハイスコアのランキングで友人や見知らぬ人たちと競うのは、ビデオゲームが誕生した1970年代から欠かせない要素でした。 ところが、インターネット経由で100万人規模のプレイヤーがつながるようになってきた現在、その全体をランキングづけするのは、技術的にも大きなチャレンジとなってきました。 今回は、そのリーダーボードのつくりかたについて、ぼくらの作っているソーシャルゲーム・プラットフォームであるPankiaの運用で得られた知見を共有したいと思います。 自分の順位を知る方法 リーダーボードの基本的な考え方はシンプルで、それはつまり「ユ
Scala用DBアクセスライブラリ Querulous の使い方 - hito_asaの日記
（この記事は Scala Advent Calendar jp 2010 の1日目です。） Scala用のScalaで書かれたDBアクセスのためのライブラリ、querulousについて書きます。 とりあえず読み方がよくわかりませんが、クゥエルァラス？？みたいな感じです。すごく言いにくいので「クエララス」ってことにしましょう。英語の形容詞で、意味は「不平たらたらの、不平をブツブツ言う」らしいです。ヒドイ名前ですね。 querulousは以前紹介したKestrelと同様、Twitterで作られて使われているものです。もう辞めちゃったらしいですが、元 TwitterのNick Kallen氏が作ったそうです。今はGithub上でtwitterというIDの中で管理されています。 （12/8 追記 Nick Kallen氏はまだ辞めてませんでした。すみません、Alex Payne氏と勘違い。kzys
XtraDB 5.5版 性能調整中
色々ありましたが、最近、やっと 5.5.x 版のXtraDBを開発中で性能を確認しています。 SSD で試したりもしているのですが、今まで気にしていなかったことが意外に重要なことに色々気づいたので覚え書き。 SSD で更新系が多い処理で高性能を出すコツ １．Linux native AIO を利用する。 (5.5 共通) SSDはIOが速いので（？）、今まで通りInnoDB内部のaioを使うとちょっと非効率で、運が悪いと暫く処理されないリクエストが出てくる可能性がありそうです。5.5 ではもう内部のaioにはパッチを当てずにデフォルト通り Linux native AIO を使うことを推奨します。使えない環境の人は、なんとか使えるようにしてからビルドしてください。。。 ２．圧縮機能を利用しない。 データページの圧縮機能はSSDの折角速いIOレスポンスを殺します。もしもデータの容量がSSDに
ヽ( ・∀・)ノくまくまー(2010-10-28) [Scala] neo4jで遊ぶ
エッジの追加はどうするの？ node1.createRelationshipTo(node2, relation) でnode1からnode2へrelationを表すエッジが作成されます relationて何？ エッジは単なる矢印でなく、それに種類を定義できます。 で、relationて何？ つまりノード間に意味が発生するので、そのつながり方を「関係」として捉えているのです どうやって定義するの？ DynamicRelationshipType.withName(name)で動的に作ることが出来ます nameには何を指定するの？ 関係を意味する文字列です。好きな文字列で構いません。ラベルと思ってOKです scala> import org.neo4j.graphdb.{Node,DynamicRelationshipType} scala> val love = DynamicRelati
Maatkitはtcpdumpを食べられる上，memcachedも咀嚼出来る． - はまさき
maatkitを一通り使ってみたメモ - ククラフト で紹介したMaatkitのMySQLのクエリ統計ツールmk-query-digest． mk-query-digest /var/lib/mysql/db.slow.logという風にして，MySQLのスローログを食べて # Query 73: 0.00 QPS, 0.00x concurrency, ID 0x2256C8F4C0666085 at byte 322977024 # This item is included in the report because it matches --outliers. # pct total min max avg 95% stddev median # Count 0 10 # Exec time 0 20s 2s 2s 2s 2s 0 2s # Lock time 0 0 0 0 0 0
Apache Tomcat 7 (7.0.x) - The Tomcat JDBC Connection Pool
The JDBC Connection Pool org.apache.tomcat.jdbc.pool is a replacement or an alternative to the commons-dbcp connection pool. So why do we need a new connection pool? Here are a few of the reasons: commons-dbcp is single threaded, in order to be thread safe commons-dbcp locks the entire pool, even during query validation. commons-dbcp is slow - as the number of logical CPUs grow, the performance su
【DB】【Twitter】Twitterにおける大規模リアルタイムデータの取り扱い方法いについて - goinger的日記
SlideShareで見つけておもしろかったので内容をざっとまとめてみました. 3 months agoとなっているので結構最近の資料ですね 内容はtwitterでのリアルタイムデータの取り扱い方法について、初期の実装手法 + 問題 + 解決方法 + 将来の実装 + 原則といった感じの順番でそれぞれの項目についてまとめている 始めに: Real Time Dataとは? 超low latency Latencyやスループットが重要 Hadoopなどのhigh-latencyなデータツールは利用せず メイン: Twitterにおける4つのリアルタイムデータの取り扱い手法について 1. Tweets 2. TimeLines 3. Social Graphs 4. Search Indices 1. Tweets 140 charのメッセージ + メタデータで構成されてる クエリとしてはid,
NoSQLを上回る性能のVoltDB、そのアーキテクチャとは
データベース研究者の大御所、マイケル・ストーンブレイカー氏が開発し、NoSQLデータベースをも上回る性能を発揮するリレーショナルデータベース「VoltDB」。前回の記事では、その特徴と、NoSQLデータベースのCassandraとのベンチマーク比較を紹介しました。 今回はVoltDBのアーキテクチャについて調べたことをご紹介しようと思います。基本的にはVoltDBのWebサイトやリンク先の内容を基にしています。また、ブログ「独り言v6」のエントリ「VoltDB登場 – RDBMSのようでRDBMSではない新システム」も参考にさせていただきました。 シェアドナッシングな分散インメモリデータベース VoltDBのアーキテクチャは、FAQのページで以下のように説明されています（英語を訳したものを引用しています。以下同じです）。 VoltDBは、シェアドナッシングなサーバ群から構成されるスケーラブ
独り言v6 » VoltDBは何故早いのかは問題ではない。何をするためのシステムなのかが問題だ
ちょっと小旅行に出ている間にアクセスが伸びていて、おかげさまで前回のVoltDBのエントリが大人気だったようだ。まだまだ書き足りない部分がいっぱいあったので、補足する意味も込めて書き足してみたい。それは、H-Storeが従来型RDBMSとどれほど異なったシステムか、ということだ。インターフェースの話や大まかな話はしたが、前提となる部分の話はずいぶん抜けてしまっていた。 NoSQLを超えるSQLデータベース「VoltDB」。Cassnadraとベンチマーク対決！ で、実際にCassandraと比べて検討している Key-Value Benchmarking という記事が紹介されていて興味深い。で、なおかつ勝っていると言うから痛快だ。まあ個人的にはこの勝負は高々３ノードしか使っていない時点でスケーラビリティに勝るKVSにずいぶん不利な内容だな、と言わざるを得ない。せいぜい12ノードぐらいでしか
NoSQLを超えるSQLデータベース「VoltDB」。Cassandraとベンチマーク対決！
「多くのOLTPデータベースは30年前の設計を基にしており、今日の“Webスケールな”データベースの負荷を想定していない。これら伝統的なデータベースは、処理時間の90％以上がログ、ロック、ラッチ、バッファ制御といったオーバーヘッドに費やされ、しかもそれらによって限られた性能やスケーラビリティしか実現できていない」 Ingresの開発者でありInformixのCTOなどデータベースベンダの要職を歴任したデータベース研究者の大御所、マイケル・ストーンブレイカー氏が開発したVoltDBはプレスリリースでこのように既存のリレーショナルデータベースの欠点を示した上で、インメモリデータベースをベースにこれらのオーバーヘッドを除去し、ACIDによるデータ一貫性を維持しつつ大きな性能向上とスケーラビリティを実現したと説明されています。 SourceForge.jpの記事「「NoSQL」を上回る性能を目指す
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://1978th.net/tech/promenade.cgi?id=86
SQLer 生島勘富 の日記