InnoDB plugin row format performance - II - Venu Anuganti
InnoDB plugin row format performance – II by Venu Anuganti April 25, 2008 This is a continuation post on InnoDB plugin row format performance with few more test scenarios to cover based on the feedback and questions that I got in my Inbox. This time the initial table looks like this <span class="kwrd">CREATE</span> <span class="kwrd">TABLE</span> `sbtest` ( `id` <span class="kwrd">int</span>(10) u
MySQLでサービス停止のないALTER TABLEの検討 - SH2の日記
MySQLでテーブルへのカラム追加、インデックス追加やテーブルの再編成などを行うと、その間テーブルに共有ロックがかかってしまいます。そのためこれらのメンテナンス処理は、通常利用者の少ない深夜早朝帯にサービスを止めて実施する必要があります。本日はそれを無停止、オンラインのままでできないかという話題です。 基本的なアイデア メンテナンス対象の元テーブルをコピーして、作業用の仮テーブルを作ります 仮テーブルに対して、カラム追加などの変更を加えます その間、元テーブルに対して行われる更新処理について差分を記録しておきます 仮テーブルの変更が終わったら、記録しておいた差分データを仮テーブルに反映します 差分データの反映が終わったら、元テーブルと仮テーブルを入れ替えます これと似たようなことを考えた方は結構いらっしゃるのではないでしょうか。ただ、言うは易し、行うは難しです。整合性がきちんと取れるかどう
mysqlでのバックアップ／リカバリについて - おもしろwebサービス開発日記
調べたことをメモメモ コールドバックアップ コールドバックアップとは、インスタンス停止して行うバックアップのこと。 コールドバックアップの方法 データファイルをtarなどで固めてどこか別の場所に置いておくだけ。 コールドバックアップのリカバリ方法 データファイルをデータディレクトリに戻してリストア。そこからバイナリログを適用してロールフォワードリカバリ。 バイナリログとは トランザクションのログ。mysqlではバイナリ形式で格納されているためバイナリログと呼ばれる。 バイナリログを確認するにはmysqlbinlogコマンドを使う。 バイナリログ中の#はコメント行。 バイナリログ中の#atから次の#atまでが一組。一組の単位をイベントと呼ぶ。 SET TIMESTAMPはSQL文を実行したときの現在時刻を設定。 SYSDATE文を使用したときに、バックアップ時とロールフォワードリカバリ時で値
MySQLレプリケーション設定 (unshiu)
概要データベース冗長化のためにDBをマスタとスレーブにわけ、更新はマスタで行い、参照はスレーブで行うことで負荷分散や高可用性を実現する機能です。 MySQLのレプリケーションは標準で搭載されており、非同期で行われマスタで更新されたログがスレーブへ送られます。 導入方法Mysql-5.1.26 インストール $ ./configure --prefix=/usr/local/mysql --with-charset=utf8 \ --with-extra-charsets=all --with-mysqld-user=mysql --with-innodb --with-partition $ make $ make install $ groupadd mysql $ useradd mysql -g mysql $ ./scripts/mysql_install_db --user=
WordPressを100倍速くする！ MySQLの調整やnginx proxy cache | KRAY Inc
[追記１] 最後で説明しているproxy cacheの設定を修正しました。 [追記２] nginx proxy cacheでキャッシュしない場合の処理を変更しました。 [追記３] スマートフォンや携帯で閲覧した時にキャッシュしない設定を追加しました。 はじめに 大げさな題名ですが、今回はWordPress単体を速くするのではなく、データベースやWebサーバなどの調整、またnginxのproxy cache機能を使って速くする話になります。 サイトの構成によっては、proxy cacheは使えないかもしれませんが、使わなくても5倍程度速くすることはできましたので、参考にしていただければと思います。 今回行うチューニング一覧 DBを最適化するプラグインを導入する APCを導入してPHPを速くする MySQLを速くする 重いWordPressプラグインを外す nginx+FastCGIにする W
そろそろnode.jsについて一言書いておくか | KRAY Inc
はじめに 毎年サーバーサイドJavaScriptが流行ると言ってるみなさんこんにちはダニーです。 ということで、node.jsをはじめてみました。 Twitter Streaming APIで取得したデーターをWebSocketで 接続したクライアントに出力するデモを作成したので紹介したいと思います。 今回のデモについて 今回作成したデモは node.jsのHttpClinetでTwtter Streaming APIでTwtterからデータを取得して、 node.jsのWebSocket Serverでそのデータを接続してきたWebSocket対応ブラウザに送信するということを やっています。 Twitter Streaming APIで取得できるようにする。 動かすのにhttp-basic-authが必要です。 npm install http-basic-auth streaming
第2回 Linux KVMで知る仮想マシンの概要 | gihyo.jp
第1回では、仮想マシンとは何か、その生い立ちや機能について簡単に紹介しました。今回から、x86システム仮想マシンがどのように実現されているのかを解説していきたいと思います。 x86システム仮想マシンには、VMwareによる仮想化製品をはじめHyper-V、Linux KVM、Xenなどがあることは、すでにご紹介したとおりです。この連載では、その中でも最近とくに注目を浴びているLinux KVMを中心に、x86仮想マシンの実装を見ていきましょう。今回は、Linux KVMの概要、および構成するソフトウェアについて解説します。 コンピュータを構成する3大要素 仮想マシンを理解するために、まず実際のコンピュータがどのような構成になっているかを知っておくと良いでしょう。コンピュータは、CPU、システムメモリ、I/Oデバイスの3つの要素から構成されています。 図1 コンピュータを構成する3大要素 C
InnoDBのリカバリ機能を検証してみる at nkjmkzk.net
Oracle, Open Source, Privateinnodbはクラッシュ時のリカバリ機能を実装しており、mysqldがクラッシュした場合やOS自体がクラッシュした場合にもしコミットされたデータがテーブルから失われていても再起動時にib_logfileからコミットされたトランザクションを読み出し、それが実データ（デフォルトだとibdata）に反映されていなければ反映させるという処理が走ります。MySQLはinnodb_flush_log_at_trx_commitの値により、1秒毎、またはコミット毎にトランザクションをログファイルにフラッシュします。 今回は以下２点について検証を行いました。 １．クライアント側から発行したクエリがクラッシュ後にどこまで復旧されているか ２．リカバリにかかる時間の測定（ログのファイルサイズとの因果関係にも言及） １の検証についてはinnodb_fl
Amazon EMR 2.x and 3.x AMI versions - Amazon EMR
AWS is updating the TLS configuration for all AWS API endpoints to a minimum version of TLS 1.2. Amazon EMR releases 3.10 and lower only support TLS 1.0/1.1 connections. After December 4, 2023, you won't be able to create clusters with Amazon EMR 3.10 and lower. If you use Amazon EMR 3.10 or lower, we recommend that you immediately test and migrate your workloads to the latest Amazon EMR release.
(新人向け) Unixオペレーションの注意点 - Magical Diary
主に新人向けとして、Unixサーバで作業をする際の注意点を書いておく。 ここに書いてある内容は絶対的なものではないし、会社や現場ごとにルールがあるので、適宜ルールに合わせて実践すれば良い。 ログを取れ 何をやったか、何をやらなかったか、というエビデンスのためにログは必ず残しておく。SSHクライアントによっては毎回自動的にログ取得する設定が可能なので、設定しておくと良いだろう。 作業後に問題が発生した場合に作業内容を確認するためにも使うため、必ずログは取得しておくこと。 (追記) 当たり前だが、コマンドとその出力をペアで取ることに意味がある。 set -x (set verbose) しろ ログを取得しても、コマンドラインを編集した際には以下のように非常に見づらいものとなってしまう。(がんばれば解析することは出来るが…) ESC[0mESC[27mESC[24mESC[JESC[1myasu
cassandra調査レポート
3. はじめに 現在 RDB が使われてきている部分に関して、 RDB 以外では出来ないのかを模索する noSQL（NotOnlySQL）と言う流れが急速に加速している。 特に Web アプリケーションにおいては RDB は冗長である傾向があり、 での sharding も RDB 限界がある。 そこで Facebook 社が開発した分散 DB「cassandra」について、実際どの程度使えるのかを 調査/検証してみた。 3 4. 概要 Cassandra は Facebook で作られた分散型 DB サーバである。 Dynamo 的な大規模分散管理と、HyperTable の様なカラム型データ構造を持った DB となっ ており、高可用性と冗長性を併せ持つ。 目標としては、これらを上手く利用することで今まで MySQL で行っているレプリケーショ ンとテーブル分割でサーバをスケール
Hadoop が起動する Live-USBを作成する -- Master Node 分散環境 編 - Guutaraの日記
USBで、ブートするだけで、Hadoopの分散環境がテストできる Live-USBを作成してみます。 今回は、マスターノードとなるUSBの基礎の部分に、Hadoop（CDH3）を インストールし分散環境の設定で、Live-USBを動かします。 Serverで、USBを使う場合ですが、接続後に、 dmesg | tail すればデバイス名（sdb1など）が、わかるのでマウントします。 作成に使用する環境など Mac OSX 10.6 のMacBook上に、VMWare Fusionを入れて作業します。 Hadoop が起動する Live-USBを作成する -- Master Node 疑似分散 編 - Guutaraの日記 で、作成したVM環境で作業します。 Hadoopの設定 構成ですが、スレーブを１０ノードまで登録しておきます。 まずは、confを変更します。 分散環境のconfは、co
MongoDBを使った開発のお供に。MongoDB版phpMyAdminとも言うべき「RockMongo」 | MOONGIFT | オープンソース・ソフトウェア紹介を中心としたITエンジニア/Webデザイナー向けブログ
RockMongoはPHP製のMongoDB管理インタフェース。 RockMongoはPHP製のオープンソース・ソフトウェア。NoSQLデータベースが注目を集めている。RDBMSに代わるとは思いがたいが、使いどころによってはNoSQLの方がパフォーマンスが高く、より高速なWebサービスを構築できるメリットがある。 ドキュメント一覧 そのNoSQLの一つして知られているのがMongoDBだ。ドキュメント指向データベースとしても知られ、複数サーバにまたがったようなスケーリングにも対応している。そんなMongoDBを扱う上で便利な管理インタフェースがRockMongoだ。 RockMongoはMongoDB用のPHP製管理インタフェースだ。MySQLで言う所のphpMyAdmin的存在だ。データベースの一覧、コレクションの一覧、ドキュメントの一覧など階層的に閲覧できるようになっている。もちろんコ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
