さくらインターネット移行記#2 VPN越しのMySQLレプリケーション
前回さくらiDCに移転し始めた、ということを書いたのですが、あれから一ヶ月ちょっとが経過しましてその後も順調に iDC への移転が進んでいます。すでにラックもいくつか借りて、サーバーも数十台がさくら iDC で稼動しています。回線がこれまでよりも高速なバックボーンに接続されつつ、帯域幅も大きくなったことから、移転したサービスによってはこれまでよりもパフォーマンスが出ているサービスもあります。うち比較的大きなデータを扱うフォトライフも移転を完了していますが、おかげさまで画像の読み出しがかなり速くなったのが体感できるぐらいスループットが向上しました。 既存サービスを移転するにあたって、どういった構成でそれを行っているかをちょっと紹介してみようと思います。 移転当初は、既存のはてなのサービスとはあまり関係していないサーバー群から手を付けました。例えば広告のシステムといった、はてなのデータベースを
ユメのチカラ: MySQLのマルチコアスケーラビリティとLinux
スラッシュドットの情報。FreeBSDとLinuxでsysbench(MySQLを利用している)の結果が出ている。結論から言うと8コアのAMD64のマシンでスレッド数を上げていくと8スレッドまではLinuxでの性能が良かったが、それ以上になるとがたっと性能が劣化して、FreeBSDのSMPngの実装が勝つ。 下記を参照してほしい。 http://jeffr-tech.livejournal.com/6268.html MySQL 5.0.2xではSMPスケーラビリティに問題があることは、われわれの性能評価でもあきらかになっていたが、(例：MySQLに対応した評価ツールDBT-1を利用したハードリソース変更によるパフォーマンスへの影響の考察を参照)、OSのSMPスケーラビリティ問題というよりMySQLの実装上の問題だと考えていた。 linux 2.6.18/2.6.20.1上でMySQL 5
DSAS開発者の部屋:5分でできる、MySQLのメモリ関係のチューニング！
MySQLのチューニングにおいて非常に重要となるメモリ(バッファ)関連のパラメータについて、 チューニングのポイント DSASのとあるDBサーバ(実メモリ4GB)の実際の設定値 をまとめてみます。 また、必要メモリの総量の計算や限界値を越えてないかチェックしてくれるスクリプトも紹介します。 是非、参考にしてみてください！ まず最初に注意点を。 バッファには2つのタイプがあります。 グローバルバッファ スレッドバッファ グローバルバッファはmysqld全体でそのバッファが1つだけ確保されるもので、 これに対し、 スレッドバッファはスレッド(コネクション)ごとに確保されるものです。 チューニングの際にはグローバル/スレッドの違いを意識するようにしましょう。 なぜなら、スレッドバッファに多くのメモリを割り当てると、コネクションが増えたとたんにアッという間にメモリ不足になってしまうからです。 in
MySQL 文字化け問題を本気で直す
mysql> status; -------------- mysql Ver 14.7 Distrib 4.1.20, for redhat-linux-gnu (i386) using readline 4.3 Connection id: 36 Current database: staff2006 Current user: maiha@localhost SSL: Not in use Current pager: lv Using outfile: '' Using delimiter: ; Server version: 4.1.20 Protocol version: 10 Connection: Localhost via UNIX socket Server characterset: latin1 Db characterset: latin1 Client char
ウノウラボ Unoh Labs: LVM + XFSで高速簡単 MySQLバックアップ
こんにちは satoです。 Slaveサーバを運用している場合、MySQLのバックアップファイルが 必要になる場面は少ないです。 しかし、プログラムのバグなどで、データベースレコードの内容が おかしくなってしまい、収集がつかなくり、巻き戻しをする場合などに バックアップファイルがあると、とても便利です。 ということで、LVMのスナップショット機能でMySQLの バックアップにチャレンジしてみました。 ■前提条件 パーティションはこのような感じです ----------------------- sda1 boot ----------------------- sda2 xfs(linuxが入っている) ----------------------- sda3 ここに作る ----------------------- ■構築時 fdisk /dev/sda n #
MySQL/SVNリポジトリ/Trac設定ファイル/WWWディレクトリを一括バックアップ:phpspot開発日誌
ITech - another tech blog 実Backup script for MySQL, SVN, TRAC and WWW This simple bash script backups all MySQL databases, SVN repositories, Trac environments and WWW directory and uploads archived backup to specified FTP site. MySQLデータ/SVNリポジトリ/Trac設定ファイル/WWWディレクトリを一括バックアップするシェルスクリプトが公開されています。 一括バックアップするだけではなく、指定したFTPサーバーへのアップロードが可能ということで、バックアップ元のサーバが死んでも大丈夫です。 MySQL+SVN+Trac+WWWな構成は最近流行りなので結構便利そ
naoyaのはてなダイアリー - MySQL の負荷分散に LVS + keepalived を使う
あとで書く、と言った手前なので書くとします。 DSASの中の人がすごい勢いで LVS の話を書いてくれてます。この辺。LVS を使うと Linux と箱でロードバランサが作れちゃいます。普通に買ったら数百万とかしちゃうやつ。 DSAS の中のひとに感謝しつつ、いい機会なのでやってみよう! と思っていろいろ試して昨日あたりからはてなの中でも LVS + keepalived で動かしはじめてます。いまのところ問題なし。 そのロードバランサをどこに使ってるかですが、普通ロードバランサというとインターネットからの入り口のところに置いてウェブサーバーの負荷分散に使うイメージがあります。が、今回ははてなでは MySQL のスレーブの手前に置くという役割でとりあえず使いはじめました。 +-----------+ +-----------+ | mod_perl | | mod_perl | +----
MySQLを自動バックアップする「AutoMySQLBackup」
バックアップするのが面倒なMySQLデータベースを自動的にバックアップできるようになるスクリプトです。 いくつものデータベースを一括でバックアップできます。1つのファイルとしてまとめてバックアップすることもできるし、各データベースごとに分けてバックアップすることもできます。バックアップファイルはgzipかbzip2で圧縮されているのでディスク容量も食いません。リモートのMySQLを中央のMySQLにバックアップしたり、バックアップのログをメールで送ることも可能。バックアップしたファイル自体をメールで送ることもできます。バックアップはcronを使う以外に手動で行うことも可能なので、cronがなくてもバックアップはできます。 ダウンロードと詳細は以下の通り。 Automatic MySQL Backup SourceForge.net: AutoMySQLBackup 最小限の設定ですぐに使う
【ハウツー】祝2歳!! Ruby on Rails 1.1 + MySQL Administratorで日記システムを作ろう | エンタープライズ | マイコミジャーナル
Ruby on Rails David Heinemeier Hansson氏は6月26日(米国時間)、Ruby on Rrails 1.1を公開、27日にはセキュリティフィックスリリースとして1.1.3、30日にはエラッタリリースとして1.1.4を公開した。RoRはRubyで作成されたフルスタックのWebアプリケーションフレームワーク。スクリプト言語Rubyの特性を活かして開発されたフルスタックフレームワークで、Webアプリケーション開発の負荷を軽減するものとして高い人気を誇る。 そして7月25日(米国時間)には最初にリリースされた0.5.0から数えて2歳の誕生日をむかえた。ここでいったんRoRを振り返るとともに、ぜひとも実際に試してみてほしいとおもう。簡単な日記システムを作る方法を紹介するので、参考にしていただきたい。 RoR 1.1 インストール RoR 1.1をインストールするには
naoyaのはてなダイアリー - MyISAM vs InnoDB
あくまで憶測で仮説でしかないんですが。 MySQL のストレージエンジンのうち代表的な二つ、MyISAM と InnoDB はよく MyISAM: Read は速いけどテーブルロックのため並行性が低い。運用が簡単。 InnoDB: MyISAM より Read は遅いけど並行性が高い 。行レベルロックなので。あとトランザクションや外部キー制約。運用が MyISAM よりちょっとめんどくさい。 という区別がされます。ここから転じて、 MyISAM は参照系クエリが大部分を占める場合に適用すると良い。例えば blog アプリケーションとか。 InnoDB は更新系クエリが多い場合に適用すると良い。 と言わたりします。実践ハイパフォーマンスMySQL でも第2章 ストレージエンジン(テーブル型) P.30 に アプリケーションでトランザクションを使用する必要がなく、主に SELECT または I
GIGAZINE - GIGAZINEのLoadAvarageを「27」から「2」へ下げた方法
ここ3日間ぐらい超絶な重さだったのはサーバに物理的トラブルが発生したからではなく、単純に閲覧者数が満員御礼となり、各時間で倍増したためです。LoadAverageはひどいときで15分間の平均値「27.1」程度。瞬間最大風速だともっと高いです……明らかにまずい。 というわけで、Apacheのデフォルト設定で今までは大丈夫だったのですが、ついに高負荷サイト用の設定に変更せざるを得なくなりました。 そのため、実際に行った対処方法は以下の通り。1日30万PV近い動的サイトの高負荷を緩和させる方法として参考になれば幸いです。 まず大前提として、既にDNS逆引きや.htaccessの余計な読み込みなどは停止させていました。下記ページに書いてあることは実行済み。 ＠IT：Apacheパフォーマンス・チューニングの実践（1/2） この状態で負荷が15分平均で「27」になっていたわけです。 また、LoadA
MySQLクイック・リファレンス
この文書は、osCommerceで使用しているデータベースMySQLの基本的な使い方について解説しています。おもにデータベースの管理者よりも、ユーザに向けて書かれています。 はじめに ここでは、MySQLサーバは起動しているものとして説明します。 MySQLの文字について MySQLでは、データベース名やテーブル名の大文字と小文字を区別しています。それ以外は区別しません。 MySQLのフィールド名やテーブル名に使える文字は、英数字と_（アンダーバー）、$、サーバのキャラクタセットにある文字です。 知っておきたいコマンド mysqladmin（データベースの作成・削除や、MySQLサーバの情報を得る） mysqlshow（データベース、テーブルの情報を表示する） mysql（MySQLクライアントの起動） mysqldump（データベース、テーブルをダンプする） myisamchk（テーブル
ヽ( ・∀・)ノくまくまー(2005-12-26)
● UTF8 環境 そうだ、京都(UTF8)に行こう！理由は3点。 Ajax は UTF8 でないと無駄な苦労が多い (半年我慢したけど諦めた) Debian の時期 sid の etch ちゃんはデフォルト locale が UTF8 になる (ので避けられない未来) screen で window 毎に別 encoding 指定できると知った (完全移行はまだ抵抗あるの) 1. システムへ locale の追加 まずは、「なまずの人」の情報を参考に locale を設定。 # dpkg-reconfigure locales [*] ja_JP.EUC-JP EUC-JP [*] ja_JP.UTF-8 UTF-8 (※ UTF-8をチェック) どのロケールをシステム標準の環境変数として設定しますか ? 从 ’w’)つ[なし] ja_JP.EUC-JP ja_JP.UTF-8 (※ デ
MySQL、データベース界の「ホンダシビック」となるか
スウェーデンのある新興企業が、データベース分野でMicrosoftに戦いを挑んでいる。しかもその戦術は、Microsoftがデータベース市場への足がかりを築いたのと同じ、ローエンドをターゲットとするものだ。 社名と同じ名前のオープンソースデータベースを販売するMySQLは、数年前まで企業顧客の間では無名の存在だった。しかし、同社のデータベースは価格競争力があり使いやすいことから、現在では小規模で安価な選択肢を求める顧客の支持を集めつつある。 そして同社にはお金も集まっている。昨年の売上は、前年比2倍の1200万ドル（1000万ユーロ）となり、今後もさらに成長すると見られている。MySQLの幹部も、2004年には利益が一時的に減少するものの、2005年には安定した利益を上げると予想している。なお、2004年度の落ち込みは、グラフィック管理ツールやクラスタ機能の追加といった新たな開発プロジェク
koyachiの日記 - Flickrの中のヒトのLAMP構成プレゼン(Hardware Layouts for LAMP Installations)訳
del.icio.us見てたら面白いファイルがあったので訳しながらはてな記法ワープロでメモったものを公開します。2005/10/18-25に行われたZend/PHP Conference & ExpoにてFlickrのJohn Allspaw氏が発表されたプレゼンの内容のようです。英語読めるヒトは本物のほうをご覧ください。そもそもプレゼンなので長文はほとんどないし、図も入ってるので。天丼に親近感を覚えました。 あと はてな記法ワープロいいですね。ついでにはてな記法なプレゼンツールも是非作ってください！！！ 普通にSQL書いてMySQL使うのは出来るけど負荷とかほとんど考えたことないなーと思って「実践ハイパフォーマンスMySQL」読んでたところでhttp://del.icio.us/tag/flickr+mysqlあたりで見つけました。「実践ハイパフォーマンスMySQL」だと6章から9章辺り
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブログ | 無料ブログを作成しよう
MySQL :: MySQL 4.1 リファレンスマニュアル :: 5.2.13 その他の最適化のヒント
はてなブログ
はてなブログ | 無料ブログを作成しよう
MySQLの小技