"Mobage DBA Fight against Big Data" - NHN TE
Ryosuke Iwanga gave a presentation about fighting big data at Mobage DBA. He discussed how Mobage grew from 600 million page views per day in 2006-2008 to over 2 billion page views per day with the introduction of social games in 2009-2010. He defined big data as having over 500 database servers, storing over 100TB of data, and handling over 1 million queries per second at peak times. He described
スキーマレスについてちょっと考えてみた - As a Futurist...
このエントリはたぶんに煽り要素を含めていますが、意図的なものです。僕は NoSQL は素晴らしいと思います。 さて、NoSQL なんて言葉に踊らされてる人は置いといて、最近 RDBMS 以外のデータストアというのが色々でてきてます。今時点で見渡す限りにおいては、安定性、耐障害性、パフォーマンス、情報量、開発者の慣れ、全体のバランスで言えば RDBMS にかなうものはないわけですが、今後どうなっていくかはまぁ分かりません。 一方で、RDBMS がどうしても苦手とする分野というのは存在します。例えば 1 サーバに収まりきらない様な大容量データに対するバッチ処理、リアルタイムなランキング、アクティビティなどのフィード情報、そして構造化されたデータの取り扱い。何でもかんでも NoSQL に置き換えればいいなんて考えは現時点では到底受け入れがたいですが、例として挙げた様なピンポイントな部分ではそれに
MySQL Casual Talks vol.3 にいってきた＆しゃべってきた - たごもりすメモ
MySQL Casual Talks Vol.3 : ATND に行ってきた。実際にMySQLを使っている人がどう使っているのか、という話がすごく色々と聞けた、大変面白いイベントだった。主催の @myfinder さん、会場提供していただいた日本オラクルの方々、ほんとうにありがとうございました。 で、自分も超LT(1分！)の枠をもらったので、だいぶネタ寄りの方向だけどしゃべってきた。 Fluentd and MySQL View more presentations from tagomoris 最近なんでもFluentdの話になっていますが、そういう時期なのです、ご了承ください。このプラグインの話はあとで別途書く。 で、懇親会で飲みながらしゃべってたときに電撃的に思い出したんだけど、このネタを考えついたときには 「これでFluentdに入ったデータをMySQLに入れられるようになったので
MySQL Casual Talks Vol.3 Forcing Swap In
2. 自己紹介 • @kozy / FB:request.json • COLOPL, Inc. • Infra, Log, Develop, etc 3. SWAP INSANITY • Twitter MySQLで話題(?)のNUMAアーキテクチャに よるメモリアクセスが関連して、どうあがいても swapにいっちゃう症状現象 (Linuxでのお話) • 元の話題は↓このへん • http://blog.jcole.us/2010/09/28/mysql-swap-insanity- and-the-numa-architecture/ 4. SWAP INSANITY • ざっくりいうと、複数CPUある場合CPUごとに メモリがノード分割されるので、総メモリをき れいに利用してくれない • なので、InnoDB buffer pool sizeなどを適切な値 にしていてもswapしてし
MySQL Casual Vol.3 でちょっとだけ話をしてきました。 - marqs blog
昨夜開催された、MySQL Casual Vol.3でLTをさせて頂きました。 内容はMaatkitの後継ツールであるPercona Toolkitについてです。 めっちゃ久しぶりの勉強会でしたが、いろいろとお話が聞けてとてもよかったです。いくつか感想を書いておきます。 @mikedaさんのクエリ品質管理に関するtalk DevOps的観点の話もあり、個人的に昨日のベストプレゼンでした。 hatak(@hisashi)さんのMySQL運用話 自分もかなり同じようなことをやっていたので、ものすごく親近感を覚えました。 @lamanotramaさんや@n0tsさんの講演 かなり細かいオペレーションの話も出てきて素敵でした。 @glidenoteさんのgithub Pages+markdown2impressでプレゼンかとおもいきやしれっとkeynoteでプレゼン ログもんがかわいかったです。
「MySQL Casual Talks vol.3」に参加してきたよ、のメモ - 元RX-7乗りの適当な日々
4/19に、"カジュアル"ではなく"ガチュアル"と定評のある「MySQL Casual Talks」の第3回目に参加してきました。 尚、このイベントの過去の参加記録は以下。 「MySQL Casual Talks vol.1」に参加してきたよ、のメモ 「MySQL Casual Talks vol.2」に参加してきたよ、のメモ 今回は、すごくたくさん人がいたので、誰かがブログでまとめてくれるっしょー、とか思っていたのですが、ひょっとしたら誰もまとめていないんじゃないか疑惑、かもしれなかったので、重い腰をあげてエントリを書いてみることにしました。 駄菓子菓子！ 当日は皆さんスピード感あふれる発表が多かったのと、僕はTwitterに書いていたりしたので、手元のメモがあまりないんですよね...(*´σー｀)ｴﾍﾍ ということで、公開されている資料を集めて貼り付けた方がメモよりわかりやすいんじゃな
KAISAR328: Daftar Link Situs Slot Gacor Hari Ini Terpercaya 2024
Welcome to KAISAR328Pemeliharaan Terjadwal: Pinnacle pada 2023-08-08 dari 12.45 PM sampai 2025-06-03 12.30 AM (GMT + 7). Selama waktu ini, Pinnacle permainan tidak akan tersedia. Kami memohon maaf atas ketidaknyamanan yang mungkin ditimbulkan.Pemeliharaan Terjadwal: Pinnacle E-Sports pada 2023-08-08 dari 12.45 PM sampai 2025-06-03 12.30 AM (GMT + 7). Selama waktu ini, Pinnacle E-Sports permainan t
Replication Booster for MySQL を試す - blog.nomadscafe.jp
松信さんが作った Replication Booster for MySQL をデータサイズが大きいデータベースに対して使ってみました。 Yoshinori Matsunobu’s blog: Making slave pre-fetching work better with SSD github - yoshinorim/replication-booster-for-mysql Replication Booster for MySQL をものすごく簡単に説明すると、以下のようになるでしょうか。 MySQL でレプリケーションを設定した場合、マスターのバイナリログをIOスレッドが読み取り、relay-logへ記録します。そしてSQLスレッドがrelay-logから読み取ってテーブルを更新して行きます。Replication Booster を実行するとrelay-logを読み取り、更
MySQLにおけるJOINのチューニングの定石
MySQLのEXPLAINでは関連する各テーブルごとにそれぞれ情報が出力される。EXPLAINで表示されている順序がJOINの順序を表している。すなわち、ここではCountryテーブルが駆動表、Cityテーブルが内部表ということになる。SELECTで指定した順序とは逆になっているのは、オプティマイザによってSELECTで記述されたものとは異なる順序が選択されたという点に留意されたい。NLJではJOINの順序が重要なポイントであるが、EXPLAINを実行すればひと目で分かるのである。 次に読み取るべきなのは、NLJにおいてもうひとつのポイントであるインデックスに関する情報だ。上記の例では内部表はCityテーブルであり、JOINが効率的であるかを判断するにはCityテーブルがインデックスが効果的に使われているかどうかが判断基準となる。possible_keysフィールドは使用可能なインデックス
［GDC 2012］Mobageのサービスを支えるデータベースシステムについて，ディー・エヌ・エー松信氏が解説
［GDC 2012］Mobageのサービスを支えるデータベースシステムについて，ディー・エヌ・エー松信氏が解説 ライター：米田 聡 ディー・エヌ・エーの松信嘉範氏 GDC 2012では，日本のディー・エヌ・エーもいくつかのセッションを持っていた。本稿ではディー・エヌ・エーが展開するMobageのデータベースに関する「Scaling and Stabilizing Large Server Side Infrastructure」（大規模サーバーのスケーリングと安定化）と題されたセッションをレポートしてみたい。あまり派手な話題ではないので要点のみをお伝えするが，Mobageの裏にはこんな苦労があったのだ。 セッションを担当したのは，ディー・エヌ・エーの松信嘉範氏だ。松信氏の名はゲーム業界的には知られていないかもしれないが，Oracleエキスパートの称号を持ち，オラクルが手がけるデータベースサ
にひりずむ::しんぷる - MySQL で SELECT のときにユーザー変数を代入して使う
知らなかったのでメモ。 mysql> SELECT @foo := UNIX_TIMESTAMP(), FROM_UNIXTIME(@foo) +--------------------------+---------------------+ | @foo := UNIX_TIMESTAMP() | FROM_UNIXTIME(@foo) | +--------------------------+---------------------+ | 1331202141 | 2012-03-08 19:22:21 | +--------------------------+---------------------+ @variable := expr で変数に代入し、それをその場で使うことができる。いままでは SET @variable = expr してからしか使えないのかなーと思って
データベース負荷テストツールまとめ(2) - SH2の日記
データベース負荷テストツールまとめの第2回です。 前回はTPC-Bベース、TPC-Wベースのものから6つのツールをご紹介しました。今回はTPC-Cベースのものについて見ていきたいと思います。 tpcc-mysql 対応RDBMS：MySQL 対応OS：Linuxなど 言語：C 作者：Percona Inc. ライセンス：不明(ライセンスに関する記述がない) トランザクション仕様：TPC-Cベース URL：https://code.launchpad.net/~percona-dev/perconatools/tpcc-mysql tpcc-mysqlはMySQLのコンサル会社であるPercona Inc.によって開発されたベンチマークツールで、TPC-Cをベースとしています。TPC-Cの仕様やtpcc-mysqlについては以前のエントリで詳しく扱っているので、そちらをご覧ください。 tpc
MySQL 5.0のプロダクトライフサイクルが終了 - SH2の日記
あけましておめでとうございます。今年もよろしくお願いいたします。 新年最初から注意喚起ですが、2011年12月31日をもってMySQL 5.0のプロダクトライフサイクルが終了しました。今後MySQL 5.0に対して新たなバグ修正やセキュリティ修正は提供されませんので、現在MySQL 5.0を利用している方はバージョンアップを計画されることをおすすめいたします。 オラクル社による買収以降、ソフトウェア製品のサポートポリシーは以下のウェブサイトで確認できるようになっています。 Oracle Lifetime Support Policy for Oracle Software MySQL 5.0：2011年12月まで MySQL 5.1：2013年12月まで MySQL 5.5：2015年12月まで (Extended Supportは2018年12月まで) MySQL 5.0のプロダクトライ
データベース負荷テストツールまとめ(1) - SH2の日記
Webシステム開発において性能試験を行う場合、hp LoadRunnerやApache JMeterといったウェブブラウザをエミュレーションしてくれる負荷テストツールを用いるのが定番だと思います。そんななか、たまにデータベース単体での性能を測ってほしいと頼まれることがあるので、そうした便利なツールはあるのかなと思って調べてみました。 データベースに対する負荷テストツールは探すとたくさん出てくるのですが、案件で使用しているRDBMSに対応していなかったり、トランザクション仕様が希望と異なっていたり、微妙に作りが悪かったりと、ニーズに合致したツールはすぐには見つかりません。そんなときにこのエントリがツール探しの参考になればと思います。 pgbench 対応RDBMS：PostgreSQL 対応OS：Linuxなど 言語：C 作者：石井達夫氏 ライセンス：独自(BSDライセンスに近い) トランザ
MySQL 5.1のmysqldumpslowで快速チューニング - SH2の日記
MySQL 5.1のmysqldumpslowを使うとチューニングが楽になる！という話題です。 mysqldumpslowはもともとMySQLに付属しているツールで、スロークエリログを集計してくれるものです。これ自体はMySQL 5.1で特に変わったところはありませんが、スロークエリログ本体の方が機能強化されているため、組み合わせるとなかなか便利になっています。MySQL 5.1におけるスロークエリログの主な機能強化は以下の三点です。 long_query_timeに1秒未満の値を設定できるようになった。 出力先を設定できるようになった。 これらの設定をオンラインで変更できるようになった。 これでどうなるかというと、MySQLの性能分析をしたいと思ったときに、サーバを止めずにその場で mysql> set global slow_query_log = 1; mysql> set glob
これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（クエリ編）｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（クエリ編） こんにちは、インフラ担当新人の nob です。 サーバー監視ツールで MySQL を監視しているのにデータが多すぎて活用していない。という方はいませんか？その豊富なデータをパフォーマンス・チューニングに活用しない手はありません。今回はサーバー監視ツールのグラフを読み解いた実戦経験を元に、「これだけ見れば大丈夫」というツボをまとめてみました。 これだけ見れば大丈夫！ クエリ編 ３つのつぼと５つのグラフ （その１）監視ツールが何を見ているのか知る （その２）監視のキモ、グラフ３点セット (Questions, Lock Waits と Transaction Handler) （その３）グラフでチェックする SQL チューニング ( Select Type と Handler) シンプルでお勧め、サーバー監視グラフ化ツール
XtraBackupを使ってMySQLをバックアップしよう | さぶみっと！JAPAN
XtraBackupとは Percona社 が開発しているオープンソースのMySQLのバックアップツールです。InnoDB, XtraDBとMyISAMストレージエンジンをブロックすることなくバックアップをする事が出来ます。ライセンスはGPLv2で無料で使えます。 MySQLのバックアップ方法としてよく使われているmysqldumpというツールが有りますが、 大量のデータを保存しているデータベースからダンプしたデータをリストア（復旧）する時に非常に時間が掛かってしまうという欠点があります。 ここでは、mysqldumpとXtraBackupを使ってバックアップを取り、両者のバックアップとリストアのスピードの違いを比較してみます。 使用するサーバは以下の通りです サーバ さくらのクラウド プラン8 CPU仮想4コア メモリ24GB HDD100GB OS CentOS 5.7 64bit M
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://mysql-casual.org/2012/04/mysql-casual-talks-vol3-1.html
2012.4.19 MySQL Casual Talk #3
MySQL InnoDBストレージエンジンのチューニング（前編）