JdbcRunner - 汎用データベース負荷テストツール - dbstudy.info
戻る Overview JdbcRunnerは各種RDBMSを対象としたオープンソースの負荷テストツールです。スクリプトでトランザクションを定義して多重実行し、スループットとレスポンスタイムを測定できます。またJdbcRunnerにはOracle Database、MySQL、PostgreSQLを対象とした以下のテストキットが付属しており、ユーザーが独自にスクリプトを作成する以外にこれらを用いたベンチマークを行うことも可能です。 Tiny sysbench - sysbench OLTPベンチマークの移植版 Tiny TPC-B - TPC-Bの簡易実装 Tiny TPC-C - TPC-Cの簡易実装 Download JdbcRunnerはVectorからダウンロードできます。最新バージョンは1.3.1です。 JdbcRunnerの詳細情報 : Vector ソフトを探す！ ソースコー
The Art of Work：MySQL InnoDB Pluginのデータ圧縮機能 性能編 - SH2の日記
MySQL InnoDB Pluginのデータ圧縮機能の続きです。前回はInnoDB Pluginの独自機能であるデータ圧縮の仕組みを解説し、Wikipedia日本語版のデータが約半分にまで圧縮されることを確認しました。今回はデータ圧縮によって性能がどのように変化するかを、実際にベンチマーク試験を行って見ていきます。 試験の方針 データ圧縮による性能への影響は、以下の二点が考えられます。 メリット：データサイズが小さくなるため、ディスクI/Oが減る デメリット：圧縮・展開の処理が行われるため、CPU負荷が高くなる そこで、これらの特徴がよく分かるように試験パターンを工夫します。Wikipedia日本語版のデータはInnoDB上でおよそ5GBありますが、まず狭い範囲に絞って読み取り処理を行うことでディスクI/Oがあまり発生しないようにします。これでCPU負荷の傾向を確認することができます。次
MySQL InnoDB Pluginのデータ圧縮機能 - SH2の日記
InnoDB Pluginの面白い機能の一つに、データ圧縮機能があります。今回はその仕組みと効果について見ていきたいと思います。まずはグラフをご覧ください。 これはWikipedia日本語版のデータベースをダウンロードし、記事本文の格納されているtextテーブルをMySQL 5.1＋InnoDB Plugin 1.0の環境にロードしたものです。 元テキスト：今回利用したデータは2009/06/21版のものです(jawiki-20090621-pages-articles.xml.bz2)。元テキストはここからXml2sqlを用いてタブ区切りテキストを取り出したものを用いています。このファイルには1,167,411件の記事が格納されており、容量は3,436MBとなっています。 元テキスト gzip：元テキストをgzipコマンドで圧縮したものです。 MyISAM：記事をMyISAMのテーブルに
MySQL innodb_flush_method = O_DIRECTの検討 - SH2の日記
MySQL InnoDBのパラメータでinnodb_flush_methodというものがあります。これはUNIX/Linuxにおいてデータファイル、ログファイルの読み書き方式を指定するためのもので、マニュアルの13.6.3. InnoDB Startup Options and System Variablesによると以下の3種類の設定が可能とされています。 無指定(fdatasync)：デフォルトの設定です。特別なフラグなしでファイルをオープンし、書き込み時にfsync()を行います。 O_DSYNC：データファイルについてはfdatasyncと同じです。ログファイルについてO_SYNCフラグをつけてファイルをオープンします。 O_DIRECT：データファイルについてO_DIRECTフラグをつけてファイルをオープンします。ログファイルについてはfdatasyncと同じです。 今回はこのパ
Windows ServerにMySQLを入れてちょっとハマった事 | DevelopersIO
やろうとしていた事 データをDドライブに移動しようとしました。 ハマった事 ハマり1 設定が効かない 普通にMySQLのインストール先であるC:¥Program Files¥MySQL¥MySQL Server 5.6の直下を確認するとmy-default.iniがあるのでmy.iniに変更して、以下の設定を追加しました。 datadir=D:/MySQL/Data データの移行は、サービスを止めてから以下のコマンドを実行しました。 mkdir D:¥MySQL¥Data xcopy /s /e "C:¥Program Files¥MySQL¥MySQL Server 5.6¥data" "D:¥MySQL¥Data" サービスを起動してからMySQLへログインしてD:¥MySQL¥Dataのファイルを確認しますがタイムスタンプが変わりません。 ログインしてdatadirを確認すると my
zabbixに格納されているデータをsqlを操作して抽出
zabbixに格納されているデータはGUIからでも抽出できるのだがその数に制限がある。 データベースを参照して格納されているデータをエクスポートする。 バックエンドにはmysqlを使っているとする。 ユーザ名はzabbix, パスワードはpasswordとする。 ◆ 目的とするホスト名とアイテム名からのデータ参照方法 1. hostsテーブルからhostidの抽出 $ mysql -u zabbix -ppassword zabbix -e "select host, hostid from hosts" +-------+--------+ | host | hostid | +-------+--------+ | host1 | 10140 | | host2 | 10141 | 2. itemsテーブルからitemidの抽出 $ mysql -u zabbix -ppassw
MHA for MySQL の概要 - Gosuke Miyashita
MHA for MySQL の導入を検討していて、まずは社内の技術者向けに、MHA for MySQL の概要を伝えようと、主に オフィシャルなドキュメント からポイントを抜粋して社内向けの Wiki に書いてみた。本当なら、オフィシャルドキュメント全体に目を通してもらうのがいいんだけど、英語なので、はじめの一歩としては敷居が高く感じる人もいるだろう、ということで。 特に外に出してまずい情報があるわけでもないので、このブログでも曝しておきます。 MHA の概要 MySQL エキスパートとして世界的にも著名な松信嘉範氏による、MySQL マスターの HA 化を行うためのツール。Perl 製。 最小限のダウンタイムで、データの不整合を防ぎつつ、マスターのフェイルオーバーを行う、というのが主な機能。 また、既に動作している MySQL に影響を与えることなく導入できる。 機能は大きくわけると以下
MHA for MySQLとDeNAのオープンソースの話
5. 単一障害点を無くしたい Single Point of Failure: その箇所がダウンするとサービスが 止まる いかなる時にも緊急対応が必要になる 早朝だろうと深夜だろうと対応が必要 アプリの数が多ければ確率も上がる メンバーも疲弊する MySQLの世界では スレーブは冗長化によってSPoFでなくすことは簡単 マスターは1個しか無いから難しい 5 6. MySQLマスター障害対応の課題 ・MySQLのレプリケーションは非同期または Writer IP 準同期 master ・マスター障害時に、一部のスレーブ (あるいは全部のスレーブ)が id=99 最新のバイナリログを受け取っていない id=100 id=101 可能性がある id=102 ・スレーブ間で、バイナリログの転送状況に 1. Save binlog events that ずれが生じている可能性がある exist o
ConsulによるMySQLフェールオーバー - @ijin
先日(6/22/14)、6月なのにどういう分けか早めに開催されたJuly Tech Festa 2014でConsulについて発表してきた。そのユースケースの一つとしてMySQL failoverをちょっとだけ紹介したので、ここに詳しく書いておく。 MHA MySQLレプリケーションの障害時にフェールオーバーしたい場合、MHAを使うの結構ポピュラー（日本では）だと思います。MHAは最新binlogの適用、Slaveの昇格とレプリケーションの張替えまではやってくれますが、実際のフェールオーバーの部分はユーザに委ねられていて、master_ip_failover_scriptのテンプレートをカスタマイズするか独自実装する必要があり、一般的な実現方法としてはカタログデータベースの更新かVirtual IPの切替等があります。 Virtual IPだと居残りセッションの問題や切替の保証難しかったり
Yahoo!オークションでのMySQL 冗長化技術
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちはオークション事業部プラットホーム技術のチャックです。 オークションでは一部サービスに RDBMS の MySQL を使ってサービスをご提供させていただいております。 オークションでは多くのお客様よりアクセスを頂いておりますので、大量の更新、参照の処理速度に優れた MySQL を選択し、お客様にストレスなくサービスをご利用いただけるよう 日々業務に取り組まさせていただいております。 しかし、精密機器には故障がつきもので、サービス運用の観点からは 「機器が故障するのはしかたない、しかしそれをいかに早く復旧させるか」 といったことを念頭に入れております。 実際には、障害が起こってから復旧させるのではなく、障害が発生した場合に
MySQL 冗長化モデル
3. 1-1 DB（MySQL）の冗長化とは何 か MySQLはMaster・Slaveの構成を行いますが、これは『更新』と『参照』と 役割が異なっているだけであり、冗長化とは意味が異なります プログラム上で『更新』『参照』についてそれぞれの宛先（IP）を役割毎 にハードコートしており、どちらか片方に障害が起こるとサービスに影響 が出ます ⇒『更新（Master）』『参照（Slave）』を、それぞれ 冗長化する必要があります 4. 1-2 冗長化に向けた設計方針 サーバーHW障害に対し、サービスが継続できること 障害時のダウンタイムが限りなくゼロであること ⇒24h/365dサービスを目指すため、ボトルネックを可能な限り減らす 障害発生時には自動的にサービス復帰する ⇒運用の自動化により、運用の安定化及び省力化を目指す プログラムは障害対応を意識せずにコーディングで
vm.swappiness=0は重要 | Ore no homepage
あるMySQLサーバのロードアベレージが妙に高いなーと思って調査したらスワップしてるじゃありませんか。 同時期に構築した他のMySQLサーバ群の設定と見比べてもおかしいところはないし、topを見ても怪しいプロセスはいなかった。空きメモリも余ってるし・・・。 さらに調査を進めたらこのサーバだけvm.swappiness=0の設定が漏れていました。そういえばこのサーバ、他人に構築を依頼したものだった。人さまに頼んだ仕事はちゃんと事後確認しないとなー。 で、このvm.swappiness=0、DBサーバのときはいつも必ず入れるようにしているんですが、正直今までは「おまじない」としか思ってませんでした。しかし今回の設定ミスのおかげでだいぶ意味があるものだとわかりました。ちなみにvm.swappiness=0の効果なんですが、実メモリを使いきるまでスワップしなくなります(デフォルトはvm.swapp
トリガーを作成する(CREATE TRIGGER文)
CREATE TRIGGER trigger_name { BEFORE | AFTER } { INSERT | UPDATE | DELETE } ON tbl_name FOR EACH ROW trigger_body トリガーは対象となるテーブル( tbl_name )で指定した操作があった場合に実行する SQL 文( trigger_body のところで記述)を定義しておくものです。トリガーが起動する操作の種類は INSERT 、 UPDATE 、 DELETE の3種類があります。 INSERT トリガーはテーブルに行が追加される前または後に設定した SQL 文が実行されます。例えばテーブルに対して INSERT 文や REPLACE 文、 LOAD DATA 文が実行された時です。 UPDATE トリガーはテーブルのデータが更新される前または後に設定した SQL 文が実行さ
[ThinkIT] 第2回：MyISAMとInnoDB (1/3)
今回は、MySQLのストレージエンジンの中でも特に有名な「MyISAM」と「InnoDB」の2つを取り上げます。MyISAMはMySQLのデフォルトストレージエンジンで、ストレージエンジンを指定せずにテーブルを作成するとMyISAMが選択されます。もう一方のInnoDBエンジンは、MySQLに豊富なトランザクション機能を提供するストレージエンジンとして有名です。 まずはそれぞれのテーブルファイルの構造について解説し、最後にInnoDBのトランザクションについて解説します。 各ストレージエンジンのファイル構造を説明する前に、前知識としてMySQLのディレクトリ構造について説明します。 MySQLのデータベースディレクトリには、バイナリログと呼ぶデータベースの更新情報を格納するファイルと、2つのサブディレクトリが存在します（図1）。 「mysql」ディレクトリには権限テーブルと呼ばれるMySQ
Free Dynamic DNS(DDNS) by POP3,IMAP4,FTP,HTTP-BASIC for Home Server, VPS | MyDNS.JP
lightly.wjg.jp is not accessible... Sorry. I do not know why this site is not working. If you know Administrator of this site, please contact directly. You may be able to see it in Google cache. For administrator ... MyDNS.JP did not received IP address from you over One week. Please check your notify system. If you restart notification of IP address, MyDNS.JP will apply your IP address to DNS inf
Mac OS X Leopard に MYSQL をインストール - 転校生＠Hatena
デフォルトでは MYSQL はインストールされてません。そこで MYSQL 本体は MacPorts でインストール。Terminal にて以下のコマンドを叩く。その後は適度に設定。 $ sudo port install mysql5 +server DB の初期化 $ sudo mysql_install_db5 DB のパーミッションを設定 $ sudo chown -R mysql /opt/local/var/db/mysql5/ $ sudo chgrp -R mysql /opt/local/var/db/mysql5/ my.cnf を作成して編集 my-small.cnf をコピーして my.cnf を作成。 $ sudo cp /opt/local/share/mysql5/mysql/my-small.cnf /opt/local/etc/mysql5/my.cnfで
mytop - a top clone for MySQL
About mytop is a console-based (non-gui) tool for monitoring the threads and overall performance of a MySQL 3.22.x, 3.23.x, and 4.x server. It runs on most Unix systems (including Mac OS X) which have Perl, DBI, and Term::ReadKey installed. And with Term::ANSIColor installed you even get color. If you install Time::HiRes, you'll get good real-time queries/second stats. As of version 0.7, it even r
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ore no homepage | おれのホームページ
SQLの観点から「Oracle Database」「PostgreSQL」 「MySQL」の特徴を整理しよう！
mysqldumpでバックアップ＆復元 - phpspot