MySQLのバイナリログの内容を見る、活用の仕方 - 見果てぬ夢
MySQLのバイナリログは、いろいろと使い道がある。たとえば、レプリケーションするためには必ずださないといけないし、差分バックアップファイルとしてのリストアなどがある。というか、他の利用方法をよく知らない。 差分バックアップとしてバイナリログだとすると、そのままインポートはできないので、１度通常のSQL文に直す必要がある。そのためのコマンド、mysqlbinlog。 mysqlbinlog mysql-bin.000100 > /tmp/statement.sql基本構文的には、こんな感じ。どのバイナリログファイルを読める形式にするかと、出力するファイルを指定するだけ。 バイナリログのままだと、大体の発行されたSQL文は分かるのだけど、発行された時刻が分からない。なので、差分をリストアするときでも、どの時刻からのSQLをリストアする必要があるのか、どの時刻までのSQLまでをリストアする必要
linuxチューニング (proc, sar, top でcpuボトルネックの調査) - end0tknr's kipple - web写経開発
今回はlinuxのコマンドでcpuボトルネックとなった場合の調べ方を試してみます。 /proc/〜で、cpuやメモリの情報を調べる cpuやメモリの情報は、/proc/〜で見ることができます。 [endo@colinux ~]$ cat /proc/cpuinfo processor : 0 vendor_id : GenuineIntel cpu family : 6 model : 13 model name : Intel(R) Pentium(R) M processor 1.20GHz stepping : 8 cpu MHz : 0.000 cache size : 2048 KB ＜略＞[endo@colinux ~]$ cat /proc/meminfo MemTotal: 256208 kB MemFree: 156416 kB Buffers: 5756 kB Cach
ローカルポートを食いつぶしていた話 - download_takeshi’s diary
ここのところ、お仕事で管理しているシステムで、夜中に負荷が急上昇する事象が発生しており、夜な夜な対応に追われていました。 （このブログ書いている今も、負荷がじわじわ上昇中なんですが・・・） で、いろいろと調査した結果、ようやく糸口がわかってきました。 結論から言うと、ローカルポートなどのネットワーク資源を食いつぶしていたようです。 以下、調べていってわかったことなどのメモです。 トラブルの事象 運用しているのは Apache2.2 + mod_perl2 なwebサーバで、リスティング広告システムの配信系です。 リスティング広告の配信のシステムって一般的にロジックが複雑でいやーな感じなんですが、このシステムもご他聞に漏れずかなりのひねくれ者で、しかもトラヒックは結構多めです。システム全体で、日に1000万〜2000万クエリくらいかな。幸か不幸か、このご時勢においてもトラヒック的には成長し続
どさにっき
2008年4月21日(月) ■ 無題 _ 今朝の電車でおっさんが読んでたスポーツ新聞からちょっと見えてた見出し。頭のおかしい人が新幹線で全裸になってタイーホ。春だなぁ。 _ 出社してからニュースサイトを巡回して、それが ファーストサーバの社長だったと知る。あぁ。 _ ち、ちがうよっ、春だから頭のおかしい人が湧いてきたんじゃないよっ。だってレンタルサーバ会社の社長だよ？ 頭がおかしいなんてことはないよ。最近のデータセンターは電力問題とか熱問題とかいろいろ大変だからね、きっと陽気がよくなってあったかくなったから熱暴走を起こして、その冷却のために大事なところを放熱してただけなんだよっ。 _ てか、ファーストサーバっていつのまにか yahoo の系列になってたのか。昔はクボタ(もちろん農業機械のクボタのことだ)の子会社だったよね、たしか。 2008年4月28日(月) ■ 無題 _ メール屋を廃業し
#fluentd fluentdでtype copyを使う時書く順番で破壊的な変更が影響を及ぼす件 - oranie's blog
基本全プラグインが対象だと思います！！僕はmongoプラグインの影響しか試していませんので、その点を差し引いて下さい。 簡単に言うとmongoプラグインの場合、書く順番でtimeプロパティが追加されちゃう。 2012-05-25T19:36:49+09:00 apache.access {"XFF-host":"-","host":"秘密","user":"-","method":"GET","path":"/js/jquery-1.5.2.min.js","status":"200","size":"85925","referer":"http://秘密/","agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0","response_time":"60408","time":13
MySQL5.6で今までのVerでは問題無かったSQL文がエラーになった場合の対処法 - oranie's blog
追記：記事の文中で5.6のsql_modeデフォルト値について若干実際の挙動と異なる表記をしていました。rpmでinstallすると/usr/my.cnfというのがひょっこりいて、この中に [mysqld] sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES という記述があり、これを/etc/my.cnfと合わせて設定している様です。で、デフォルト値については5.6.6以降はデフォルト値が「The default SQL mode in MySQL 5.6.6 and later is NO_ENGINE_SUBSTITUTION;」でそれ以前のデフォルト値は「MySQL 5.6.5 and earlier, it was empty (no modes set)」となっているようですね。 詳しくは http://yoku0825.blo
fluentdに実データを通してみてわかったこと
個人的なメモ。 大層な話じゃないです。 あとfluentdをdissりたいわけでもないです。 使ってみてすごい使いやすかった。すばらしい。 ただちょっとだけ気をつけとかないと、という話。 遭遇した問題 前提 fluentd-0.10.11(td-agent) アクセスログ(データ不正的な感じ)を複数行まとめて投入してtailで読み込み アクセスログの2行目以降にUTF-8なマルチバイトが含まれる アクセスログをparseしてfileに書き出したい 事象 複数行投入したうち、マルチバイトを含む行以降がfileに出力されず ログファイルに元データが出力されず。ログには unexpected error error="\"\\xEF\" from ASCII-8BIT to UTF-8" が出力 どういうこと？ まとめて投入した一連の途中で出力処理がエラーになっていて、以降の処理(=マルチバイト
xargs で標準入力が空だったら何もしない - Qiita
find /hoge/fuga -ctime +30 -type f -print | xargs rm などしたときに、何もfindの条件にマッチしなかったら、単に引数なしのrmが実行され rm: missing operand Try `rm --help' for more information. となる。 こういったエラーを出したくない場合は、--no-run-if-empty を使って find /hoge/fuga -ctime +30 -type f -print | xargs --no-run-if-empty rm としてやると、findの結果が空の場合は、rmが実行されず、エラーも出ない。 Register as a new user and use Qiita more conveniently You get articles that match your n
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ドキュメントKnockout.js
30ごえのWEBエンジニアの日記:Apacheのプロセス毎のメモリ使用量