mapk0yのブックマーク - はてなブックマーク

MySQLで定期的に SHOW PROCESSLIST を実行して長時間走っているクエリを探す - なんかかきたい

前略、大きいMySQLのデータベースがあります。すると、大きなデータベースから多くのデータを取得するため、非常に重いクエリが実行されることがあります。そうするとデータベースが高負荷になるため重い処理を見つけたくなります。 (innodb_query_queued とかが増えて辛くなる) MySQLには SHOW PROCESSLIST というものがあり、実行中のMySQLのプロセス一覧を見ることができ、クエリの実行状況や実行時間をみることができるのでスロークエリログより便利なことがあります。 (スロークエリログはクエリが完了した場合に出力されるため実行中やクエリを中断した場合に見ることができない) しかし、SHOW PROCESSLIST の出力は多いため毎回見るのは疲れます。そこで以下のようなスクリプトで SHOW FULL PROCESSLIST の出力をフィルターすると便利です。

mapk0y 2019/01/27

MySQL

リンク

rsyncで圧縮転送したいけどpigzみたいに並列にならなくて困る - なんかかきたい

ので、tarとsshをパイプでつないで並列で圧縮しながら転送する君を作りました。 tar には指定したファイルのみをアーカイブに含める -T オプションがあるので、 rsync -nの結果をリストにして渡すことで、rsyncの対象になるファイルだけを転送できるようにしてます。現場からは以上です。

mapk0y 2018/09/17

rsync

リンク

Ansibleのテスト環境をDockerで作ると楽 - なんかかきたい

以前はVagrantを使ってansibleのテスト環境は用意していたんだけど、 vagrantはsnapshotが取れる利点がありつつも、VMを使うのでちょっとというかそれなりに遅くて、何度も実行するansibleのテスト環境にはちょっと不便だなーと思っていたのですが、最近Dockerを使ってsshdを起動するだけの環境を用意すれば簡単にテスト環境が作れて便利だったので書いておきます。 Dockerfileを書く ansibleを流す対象のイメージは Dockerfile の FROM に書いておけばよくて、 CentOSとかDebianとか好きなOSを選べばいいと思います。 Dockerfileを置いたディレクトリに id_rsa.pub を置いておくと authorized_keys にコピーされるというソリューションです。 FROM amazon linux:latest MAIN

mapk0y 2018/07/16

リンク

MySQL InnoDB memcached pluginを使ってみようとしてやめた話 - なんかかきたい

追記 MySQL 5.7.19か20あたりで取り込まれたパッチにより以下の問題は発生しなくなりました。つまりはバグでした。 InnoDB memcached pluginはMySQL 5.6から搭載された機能で、Memcacheプロトコルを使ってInnoDBにデータを読み書きできる便利機能です。簡単なプロトコルなためSQLより高速に動作する点、InnoDBに記録できる点、MySQLのレプリケーションが利用できる点など、うまく使えば便利な仕組みですが、結論を先に書いてしまうと使えなかったという話をします。使えなかった理由 MySQL memcached pluginを使ったInnoDBへのインターフェイスが使えなかった理由はクラッシュが多発するためです。高速な動作、レプリケーション機能などはうまく動作しているのですが、しばらく動作させていると get 操作の際に SIGABRT と

mapk0y 2016/10/07

リンク

ISUCON6予選問題のPHP実装を担当しました - なんかかきたい

こんにちはの方もはじめましての方もエントリーを読んでいただきありがとうございます。昨日から開催されている ISUCON6 の予選にてPHP実装のコーディングを担当させていただきました t-cyrill と申します。日頃はWeb屋さんでインフラのお仕事をやっています。今回はいつものような適当なエントリーではなく少ししっかりとしたエントリーで担当しましたPHP実装について、いくつか簡単な補足をさせていただきます。はじめに ISUCON6予選参加者のみなさま、お疲れさまでした。たくさんのチームの方にPHP実装を触っていただけたようでありがとうございます。 ISUCONということで多くの人に触れていただくコードになるだろうと思い、どのチームの方にも得意不得意の影響があまりないようになるべくよく知られたライブラリを使ったり、元からPHPがうまく動作するような環境を用意できるように準備したつ

mapk0y 2016/09/20

リンク

ElasticSearchの運用とか (3) - なんかかきたい

監視周りの情報とかをペタペタと書きました。ステータス監視 Munin https://github.com/claygregory/munin-elasticsearch 色々あるけど、これが有力そう。 Plugin/HQ https://github.com/royrusso/elasticsearch-HQ headプラグインと機能が被っている気がしなくもない。便利な管理ツール。 Plugin/head http://mobz.github.io/elasticsearch-head/ 色々できるノードステータス監視ツール。便利 Plugin/bigdesk https://github.com/lukas-vlcek/bigdesk HQやheadと似たようなElasticSearchクラスタの状態監視ツール。 HQやheadと比べてモニタリングの機能のみに注力しているイメージ。