nabokov7; rehash : マイ・ブラックホール (2) - いかにして私はブラックホールに辿り着いたか
July 24, 200915:39 カテゴリmysqlプログラミング マイ・ブラックホール (2) - いかにして私はブラックホールに辿り着いたか ブログのアクセス解析用に使うストレージを選定するのに先だって，こんな条件下での速度比較をしてみた。 主な処理は，ブログ毎，あるいはページ毎のアクセス数のカウントアップ。つまり，ブログid & 記事id をキーとして，memcached なら set/incr, sqlなら insert 〜 on duplicate key update 〜 文の発行をする。200個のプロセスが，それぞれ平行して「あるキーのカウントアップ(書き込み) を行い，続いて別のキーの読み出しを行う」という処理を500回繰り返す。(合計10万回のカウントアップと10万回の読み出しに相当。)ストレージは，ベンチマークを行うスクリプトとは別のサーバ上にあり，必ずネットワーク
実録、ほぼ無停止なMySQLのフェイルオーバ (動画もあるよ) - （ひ）メモ
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン でも掲げたゴールである、「マスタが落ちてもぐーすか寝ていられるようにしたい」がほぼできたので、ほとんどサービスが停止することなく、フェイルオーバする様をスクリーンキャストに収めました。 埋め込みプレイヤーだと、小さくてわからないと思うので、リンク直接でみてください。 http://www.irori.org/pub/mysql-mm.mov 登場するホスト 登場するホストは2台、db901とdb902です。 最初は、db901が更新系クエリを受けるプライマリでdb900の浮動IPアドレスを持っています。 画面分割 画面は5分割しています。 左上 = 「select sysdate(),@@server_id」をdb900に対して(sleep 1しながら)延々と実行しまくりんぐ 右上 = ping -n
データベース負荷テストツールまとめ(2) - SH2の日記
データベース負荷テストツールまとめの第2回です。 前回はTPC-Bベース、TPC-Wベースのものから6つのツールをご紹介しました。今回はTPC-Cベースのものについて見ていきたいと思います。 tpcc-mysql 対応RDBMS：MySQL 対応OS：Linuxなど 言語：C 作者：Percona Inc. ライセンス：不明(ライセンスに関する記述がない) トランザクション仕様：TPC-Cベース URL：https://code.launchpad.net/~percona-dev/perconatools/tpcc-mysql tpcc-mysqlはMySQLのコンサル会社であるPercona Inc.によって開発されたベンチマークツールで、TPC-Cをベースとしています。TPC-Cの仕様やtpcc-mysqlについては以前のエントリで詳しく扱っているので、そちらをご覧ください。 tpc
(特にMyISAMを使っていた)ウェブ屋さんがInnoDBを使う場合の設定項目 - kazuhoのメモ置き場
InnoDBはMyISAMと比較して安全(OSクラッシュや電源断が発生してもテーブルが壊れない)分、書き込みが遅い。データベース屋さんからすると、それは当然のことでMyISAMがおかしいんだ、ということになり、だからバッテリバックアップ機能のついたRAIDカードを使うんだ、という話になる。でも、MyISAMを使っているウェブ屋さんの現場では、場合によって多少データが消えてもかまわないから、安いハードウェアで大量のアクセスを捌きたい... って乖離があるんじゃないかなーと思ってる。 そのような場合には、my.cnf の innodb_flush_log_at_trx_commit パラメータを調整することで、MyISAMに比肩する書き込み速度を得ることができる(そのかわり、クラッシュや電源断の場合は、設定によって直近１秒以内の変更が失われる)。 他のパラメータも含めて書いておくと、データベー
MySQL
MySQL HeatWave MySQL HeatWave is a fully managed database service for transactions, real- time analytics across data warehouses and data lakes, and machine learning services, without the complexity, latency, and cost of ETL duplication. It is available on OCI, AWS, and Azure. Learn More » MySQL Enterprise Edition The most comprehensive set of advanced features, management tools and technical suppo
MySQLでインデックスを使って高速化するならCovering Indexが使えそう - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年10月28日09:33 MySQL MySQLでインデックスを使って高速化するならCovering Indexが使えそう Linux-DB システム構築/運用入門 (DB Magazine SELECTION) 著者：松信 嘉範 販売元：翔泳社 発売日：2009-09-17 おすすめ度： クチコミを見る 最近、この本を読んでいます。非常に面白いし、参考になります〜。中でもインデックスについての記事が特に興味深かったので簡単にまとめてみます。 前提 ・インデックスは検索性能には効果があるが、更新性能は落ちてしまう ・MyISAM と InnoDB ではインデックスの構造が違う ・インデックスは B+Tree インデックスと呼ばれ、ルート、ブランチ、リーフの階層構造になっている ・インデックスはソートされた状態で作成されている まずは MyISAM と InnoDB でのインデックス
FathomDB: Databases-as-a-Service
FathomDB set out in 2008 to make working with databases easy. We were the first to launch a relational database-as-a-service, launching MySQL as-a-service on Amazon and Rackspace clouds. We were the first standalone XaaS product for a standard server, a model which has since become ubiquitous. We were among the first contributors to OpenStack, working to provide an open-source cloud, and contribut
MyISAMとInnoDBのどちらを使うべきか
Twitterで話題になってたので簡単にまとめました。 ●MyISAMにしか無い機能を使いたい場合はMyISAMを使うしかない ・全文検索 (TritonnやSphinx) ・GIS ●InnoDBの利点(MyISAMの欠点) ▲障害対応系 ・クラッシュしても再起動するだけでリカバリができる ・クラッシュリカバリにかかる時間はテーブルサイズに比例するようなことはなく、コミット済みのデータは修復できる (巨大なMyISAMテーブルのREPAIRには数日単位で時間がかかることがある) ・オンラインバックアップができる ・INSERTやLOAD DATAなどを実行している途中でCtrl+Cでその更新系SQL文を止めても、テーブルは壊れないし、中途半端な状態で更新されることも無いし、スレーブが止まることも無い ▲性能系 ・行レベルロックなので並列性が高い(MyISAMはテーブルロック)。またSEL
mysqld_multiで複数のmysqldの一括管理 - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年02月20日01:50 MySQL mysqld_multiで複数のmysqldの一括管理 現在、自サーバのmysqlは、勉強も兼ねてマスター x 1、スレーブ x 2という計3台の構成にしています。 そのため、起動させるときとか面倒です。 毎回、ほぼ同じコマンドを3回も叩いていました。。。 ↓ x 3 ....orz /usr/local/mysql/bin/mysqld_safe \ --defaults-file=/usr/local/mysql/conf/my.cnf \ -ledir=/usr/local/mysql/bin \ >> /var/log/mysql/mysqld_safe.log 2>&1 & めんどくさいよ！！そこで、mysqld_multiというものを試してみることにしました。 これは、同じサーバ内に複数のmysqlがある場合、それらを一括して起動し
MySQL :: MySQL 8.0 リファレンスマニュアル :: 4.3.4 mysqld_multi — 複数の MySQL サーバーの管理
mysqld_multi は、Unix ソケットファイルや TCP/IP ポートでの接続を待機する複数の mysqld プロセスを管理するためのものです。 サーバーの起動または停止、現在のステータスのレポートを実行できます。 一部の Linux プラットフォームでは、RPM または Debian パッケージからの MySQL インストールに、MySQL サーバーの起動と停止を管理するための systemd サポートが含まれています。 これらのプラットフォームでは、mysqld_multi は不要であるためインストールされません。 systemd を使用した複数の MySQL インスタンスの処理の詳細は、セクション2.5.9「systemd を使用した MySQL Server の管理」 を参照してください。 mysqld_multi は [mysqldN] という名前のグループを my.c
MacPortsのMySQLにQ4Mをインストールする方法
皆さん、こんばんは。笹亀です。 本日はブログを書くために環境をつくっているときに、間違えてMacPortでインストールしたものを削除してしまいました；； 悲しさとむなしさと戦いながらも本日のブログをお届けさせていただきます。 ※そのため、内容はちょっと少なめになっています。ごめんなさい 今年のPHPカンファレンスでもQ4Mの発表があり、いつか使う日が来るだろうと思い、 個人的にもとても興味があったので実際に使ってみたいくなりました。 Q4M (Queue for MySQL) は MySQL 5.1 のプラガブル・ストレージ・エンジンとして動作するメッセージキューであり、堅牢・高速・柔軟であるよう設計されています。(転載させていただきました 早速インストールをと思ったのですが、上記のこともあり、今回はインストールのみの紹介です。 特にMacPortsでMySQLをインスールしていて、そのM
Q4Mをソースからインストールしてみたメモ - download_takeshi’s diary
mysql5.1もようやくStableになったことですし、うれしいので話題のQ4Mをインストールしてみました。 今回はソースからコンパイルしてみました。 以下、その際のインストールメモです。 今回インストールするのは各々このバージョンです。 * mysql-5.1.30.tar.gz * q4m-0.8.3.tar.gz mysqlのインストール まずは mysql-5.1.30 です。適当にコンパイルしてください。 configreに渡すオプションは用途によって色々代わると思いますが、今回はこんなパラメータでconfigureしました。 $ ./configure \ --prefix=/usr/local/mysql \ --libexecdir=/usr/local/mysql/bin \ --sbindir=/usr/local/mysql/sbin \ --with-charse
バイナリ版Q4Mインストールメモ : blog.nomadscafe.jp
バイナリ版Q4Mインストールメモ バイナリ版のQ4Mをインストールしたときのメモ バージョンは、MySQL-5.1.26とQ4M-0.8.3。OSはFedora8@x86_64 MySQL オフィシャルのrpmを利用します。 MySQLのサイトだと5.1.28になっているので適当なミラーから5.1.26を探してくる。 http://ftp.iij.ad.jp/pub/db/mysql/Downloads/MySQL-5.1/ MySQL-client-5.1.26-0.glibc23.x86_64.rpm MySQL-server-5.1.26-0.glibc23.x86_64.rpm MySQL-shared-compat-5.1.26-0.glibc23.x86_64.rpm をダウンロードしてきてインストール Q4M Q4Mのサイトにファイルがあるので落としてくる http://q4
ウノウラボ Unoh Labs: 国産MySQLストレージエンジン「Spider」の作者、斯波健徳氏に聞く
こんにちは。中村です。 MySQLにはMyISAM、InnoDB、CSVなどのいくつかストレージエンジンがありますが、皆さんはSpiderというストレージエンジンを聞いたことはありますでしょうか。Spider Storage Engineは斯波健徳さんにより作成されたDatabase Shardingを可能にするストレージエンジンでMySQL 5.1で利用可能です。 先日、某集まりで斯波さんとお会いしたときにSpiderを作っているということを教えてもらったので、早速詳しい内容を教えてもらうことにしました。 ※Spiderについての説明資料はMySQLカンファレンス 2009にて斯波さんが発表されたときのスライドがあります。スライドの直リンク（zip） Spider Storage Engine について posted by (C)フォト蔵 Spider Storage Engineとは？
マスターInnoDB、スレーブMyISAMが勧められない理由
MySQLにおいて、マスターをInnoDBにして、スレーブをMyISAMにすると幸せになれるという主張をよく聞くことがあります。マスターは耐障害性の高いInnoDBにする一方で、スレーブは耐障害性が低くても大丈夫なので、InnoDBのかわりに高速とされるMyISAMを使えば、可用性と性能の両方をバランス良く実現できる、という考えです。 しかし、多くの場合これで幸せになることはできません。マスターとスレーブでストレージエンジンを合わせた方が無難です。その理由を以下に示します。 ●MyISAMはテーブルロックになる マスターへの更新結果はバイナリログに更新系SQL文として書かれ、スレーブのI/Oスレッドによってリレーログとして同じフォーマットで記録され、スレーブのSQLスレッドによってその更新系SQL文がそのまま実行されます。この更新系SQL文は、当然ながらスレーブに対して発行されるSELEC
Planet MySQL :: Planet MySQL - Archives - パーティショニングの使用例 - http ses...
今日もパーティショニングの話の続きである。 パーティショニングが非常にフィットする（たぶん昨日の例よりも）もう一つのケースは、数日間だけ必要なデータを蓄えておくような場合だ。例えば、HTTPセッションやログ情報などが良い例ではないだろうか。そういう場合には、日付を使ってRANGEパーティショニングをするのである。RANGEパーティショニングでももちろんPruningによって性能の向上は出来るのだが、それよりも何よりも高速に不要なパーティションを破棄できるというのが大きい。パーティションの破棄は、内部的にはテーブルのDROPとほぼ同じ扱いなのである。DROPのスピードはストレージエンジンによるが、InnoDBやMyISAM、NDB（MySQL Cluster）ならばいくらデータを含んでいても関係なくDROPは一瞬である。テーブルから大量の行を削除すると、フラグメンテーションが発生したり、イン
Kazuho at Work: Q4M Presentation Slides at MySQL Conference
Today at MySQL Conference & Expro 2009, I did a presentation introducing / explaining Q4M. Thank you to people who came to listen. The presentation slides I used can be found on slideshare (slideshare). Tomorrow (Apr 23) from 6:10pm, I will be doing another presentation at Percona Performance Conference, held at the same location, to describe the techniques (mainly MySQL UDFs) used to squeeze maxi
[mysqlのベンチマーク]MyBenchの設定
お疲れさまです。佐久間です。 最近、railsアプリケーションのDBとして使っている、mysqlのチューニングをしようと頑張っています。 今日、mysqlのベンチマークテストをしようと、MyBenchというテストツールの設定をしてみました。 MyBench自体はperlだったりします。rubyとは書き方や実行が違っていて、とりあえずインストールしてみてもよくわからない部分が結構あったりしました。 実行環境：ubuntu MyBenchをインストールしてみる # wget http://jeremy.zawodny.com/mysql/mybench/mybench-1.0.tar.gz # tar -vxf mybench-1.0.tar.gz mybench-1.0/ mybench-1.0/MyBench.pm mybench-1.0/Makefile.PL mybench-1.0
無料サービスを使え！ – 役立つ無料サービスのレビュー、まとめ、比較記事を紹介
コンテンツへスキップ 無料で使える！HubSpotの顧客リストの活用法 無料のアンケート作成ツール 比較／まとめ 無料「Excel」 テンプレート 比較／まとめ 無料で使えるノートアプリ比較 (Evernote / OneNote / Google Keep) おすすめの無料Web会議システム5選 WebP Converter 徹底解説！初心者でも直ぐに使える HubSpot は、マーケティング、セールス、サービスのためのCRM（Continue reading 多くの人の声を聞くことで改善できることも多い 企業や団体など運営していContinue reading 就職・転職には必須となる履歴書・職務経歴書 これから就職活動をスタートContinue reading 便利なノートアプリで効率的な仕事をしよう いつの時代も仕事をしていてメContinue reading 近年、リモートワーク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AndroidのNFC機能でFeliCaの読み書きをする | −ゆめログ− | ゆめみスタッフブログ