DBIx::ProfileManager で SQL Profiling | BLOG - DeNA Engineering
風邪を引きっぱなしで全然治らない山口です。恐らくネット上では zigorou と言うハンドルでご存知の方もいらっしゃるかもしれません。 まずは技術系のネタの第1弾です。 今回は実際にモバゲーオープンプラットフォームで用いている SQL Profiling の方法をご紹介致します。 DBI::Profile について モバゲータウン ではデータベースは MySQL を用いており、サーバーサイドプログラムから管理ツールまでのほとんどが Perl で書かれており、 当然ながら DBI モジュールまたはそれを利用したモジュールを使って DB アクセスをしています。 今回、オープンプラットフォームチームで作った OpenSocial RESTful API ですが、モバゲータウン内のデータベースに大量にアクセスする為に日々どのようなクエリが実行され、どれくらいの実行時間が掛かっているかは常に気になる
MongoDB Query Performance over Ranges & Indexes that Help | MongoLab - MongoDB Hosting
Greetings adventurers! If you’ve been travelling through MongoDB indexing territory for any amount of time, you may have heard or derived the following maxim: If your queries contain a sort/orderby clause, add the sorted field to the end of the index servicing the query. In many cases when querying for documents containing equivalent values, the above mantra is very helpful (by equivalency, I mean
CQL: SQL In Cassandra
CQL presentation from Cassandra NYC, December 6, 2011
PostgreSQL で大量データの中間一致検索するなら？
こんにちは、 chappie です。 以前投稿した記事にて PostgreSQL で大量データに対する中間一致検索(LIKE検索)するためのインデックス作成について簡単に触れました。そのとき、 pg_trgm (trigram, トリグラム)を利用するのが有力な候補であり、詳しくは別記事で、、、と書いたっきりでした。半年近く間が空いてしまって恐縮ですが、書くと言った以上、書かないと年が越せない気がするので、今更ながら当時調査した内容についてシェアします。 概要 日本語のテキストデータを含むカラムに対して中間一致検索をかけた場合、その程度のパフォーマンスが得られるのか調べました。1000万レコードの日本語テキストデータを準備し、以下の 3 つの手法による検索速度を比較します。 1. PostgreSQL の contrib である pg_trgm を使ったインデックスを作成する サイト「Le
A vendor-independent comparison of NoSQL databases: Cassandra, HBase, MongoDB, Riak
A vendor-independent comparison of NoSQL databases: Cassandra, HBase, MongoDB, Riak By Sergey Bushik, senior R&D engineer at Altoros Systems Inc., special to Network World October 22, 2012 04:26 PM ET "The more alternatives, the more difficult the choice." -- Abbe' D'Allanival In 2010, when the world became enchanted by the capabilities of cloud systems and new databases designed to serve them, a
パフォーマンス比較 Cassandra、Mongodb、SQLite、H2、MySQL、Postgres - cypher256's blog
下記のようなシステムでパフォーマンスが良さげな SQLite を使用予定ですが、もっと速いものが無いか確認のため他のデータベースのパフォーマンスを計測してみました。SQL 利用前提ですが、NoSQL が圧倒的な性能を出す場合は検討する必要があるので KVS も確認しました。 データ件数は 1 億件程度、JDBC SQL 利用可能 INSERT、UPDATE はバッチ SELECT は主キーアクセス性能を重視 将来スケールアウトのための分散はありえるが、スタンドアロンで遅いのはだめ データベースのパフォーマンス比較 計測したデータベース データベース名 タイプ 形態 評判 計測についての備考 SQLite RDB 組み込み ※2 おもちゃ、Android標準 JDBC操作 ※1 H2 RDB 組み込み ※2 組み込み最速 JDBC操作 ※1 Derby RDB 組み込み ※2 Java標準で
パーティショニング : 用途と利点 — Let's Postgres
NTT オープンソースソフトウェアセンタ 板垣 貴裕 パーティショニングとはデータを複数に分割して格納することです。データを分割することにより、性能や運用性が向上し、故障の影響を局所化することができます。巨大なデータを扱う場合にはパーティショニング機能を利用することも検討してみてください。 この記事ではパーティショニングの概要と用途について説明しています。PostgreSQL での具体的な使い方については『パーティショニング : 使い方』を参照してください。 パーティショニングの用途 パーティショニングには大きく分けて「テーブル間の分割」「ノード間の分割」の2つがあります。この記事では主にテーブル間の分割を扱います。 テーブル間の分割 巨大なテーブルを複数のテーブルに分割します。単純に複数のテーブルに分けて格納するだけでも効果はありますが、PostgreSQL は複数のパーティションを1つ
PostgreSQLの同期レプリケーションを検証してみた - Tech-Sketch
企業向けシステムのOS, Webサーバー, アプリケーションサーバーにオープンソースのソフトウェア（以下OSS）が普通に使われるようになってきていますが、データベースにOSSのPostgreSQL, MySQLを使うのが当たり前になった、とはまだまだ言えない状況です。 その理由の1つは「可用性を確保するソリューション不足」だと思います。実際、PostgreSQLやMySQLにOracle RACに匹敵する高性能、高可用性を実現するソリューションはなく、秒単位で停められないシビアな可用性を求めるシステムには商用製品のDBが今後も使われるでしょう。 ただ、世の中のシステムはほどほどの可用性を安価に実現したいケースが多く、OSSのデータベースを使ったソリューションが現実味を帯びてきます。例えば、PostgreSQLやMySQLに組込まれたレプリケーション機能を使えば、複数サーバー間のデータを同期
データベース負荷テストツールまとめ(5) - SH2の日記
というわけで、JPOUG> SET EVENTS 20120721 | Japan Oracle User Groupに参加して発表をしてきました。通常の勉強会と比べて発表者と聴講者の一体感を増すための工夫がなされていて、とても良かったと思います。有限コーヒーかと思ったら無限ビールだったのも驚きです。JPOUGの運営メンバのみなさま、会場を提供してくださった日本オラクルのみなさま、当日お越しいただいたみなさま、どうもありがとうございました。 私のセッションでは、データベース負荷テストツールまとめ(5)と題して過去4回分のまとめと自作ツールの紹介をさせていただきました。JdbcRunnerはOracle Database、MySQLとPostgreSQLの間でTPC-BとTPC-Cの性能比較ができる唯一のオープンソースソフトウェアですので、いろいろ試してみていただければと思います。試した結果
Slow Query Questions - PostgreSQL wiki
Guide to Asking Slow Query Questions In any given week, some 50% of the questions on #postgresql IRC and 75% on pgsql-performance are requests for help with a slow query. However, it is rare for the requester to include complete information about their slow query, frustrating both them and those who try to help. Please post performance related questions to the pgsql-performance mailing list or to
Reading PgAdmin Graphical Explain Plans - Postgres OnLine Journal
One of our favorite features of PgAdmin is the graphical explain plan feature. While a graphical explain plan is not a complete substitute for EXPLAIN or EXPLAIN ANALYZE text plans, it does provide a quick and easy to read view that can be used for further analysis. In this article, we'll walk thru using the explain plan to troubleshoot query performance. To use the graphical explain plan feature
DBアタマアカデミー 記事一覧 | gihyo.jp
最終回 治療としてのパフォーマンスチューニング―システムの病気はどう治す？（3） ミック 2011-04-01
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20121205 nosql(okuyama fs)セミナー資料
Nabble - Forum Not Found
Re: pg_trgm performance
Performance Tips :: Chapter 4. Performance :: Part I: General PostgreSQL Use :: Postgresql :: SQL :: eTutorials.org
Performance Testing on Partition Table In PostgreSQL - Part 3 - Mkyong.com
https://media.postgresql.org/sfpug/instagram_sfpug.pdf
https://www.oracle.com/technetwork/jp/content/parallel-exe-evening-100714-251722-ja.pdf
SQLアタマアカデミー 記事一覧 | gihyo.jp