【Perl】Parallel::ForkManagerモジュールで並列処理が便利過ぎて生きているのが辛い - oranie's blog
とあるDBを利用したバッチ処理をやらせようとした時に #スクリプトの一部分 my @list1 = (適当なリストその1); my @list2 = (適当なリストその2); foreach my $value1 (@list1){ foreach my $value2(@list2){ #DBに接続して、あるテーブルのレコード件数countする→ #その結果を別テーブルにUPDATEするSQL実行処理; } }というまあ、foreachでグルグルグルグル回すスクリプトを書いたんですね。 で、まぁこれがクソ重かったんですね。テーブルのデータは全部メモリ上に載っているんですが、 10GB（1億レコードぐらい）ぐらいのテーブルで順番に$value1,$value2の変数を条件に使ってCOUNT()を使用した SELECT文を投げるので、一つのSQL投げたらDB側のCPUコアが100%になってし
MySQL5.6で今までのVerでは問題無かったSQL文がエラーになった場合の対処法 - oranie's blog
追記：記事の文中で5.6のsql_modeデフォルト値について若干実際の挙動と異なる表記をしていました。rpmでinstallすると/usr/my.cnfというのがひょっこりいて、この中に [mysqld] sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES という記述があり、これを/etc/my.cnfと合わせて設定している様です。で、デフォルト値については5.6.6以降はデフォルト値が「The default SQL mode in MySQL 5.6.6 and later is NO_ENGINE_SUBSTITUTION;」でそれ以前のデフォルト値は「MySQL 5.6.5 and earlier, it was empty (no modes set)」となっているようですね。 詳しくは http://yoku0825.blo
Jenkinsでcron実行管理をやってみた。 - oranie's blog
とりあえず試したので、実際の内容とかはこちらの参考にしたブログ 「Jenkinsで定期実行するJobを管理したほうが良い３つの理由」 を参照した方が良いと思います。以下は試した内容に画像つけたくらいです。 こんな感じのスクリプトを管理してみる。 Jenklinsの環境構築は割愛します。 「Jenkinsで定期実行するJobを管理したほうが良い３つの理由」 ほんと上記のブログのままです。 # cat /tmp/web_gen.sh #!/bin/bash num=`expr $RANDOM % 100` ab -c 1 -n $num http://www.oranie.org/上記の適当なスクリプトを/tmp/に置いてcron実行して管理してみます。 まずこんな感じで以下の様な設定をしてみます。 失敗するとこんな感じ。 履歴はこんな感じで見れる。 ログも「コンソール出力」で閲覧できる。 で
fluentdのブログ記事などまとめメモ - oranie's blog
自分もfluentdのビッグウェーブに乗ろうとして、試す上で色々検索しているけど、 しょっちゅう同じサイト見たりしている。 なので、メモとしてよく見るサイトとかを書いておく。 - 勝手に載せんな！！というのがあれば、申し訳無いですが言って頂ければ 削除します・・・。 - 古橋貞之の日記「イベントログ収集ツール fluent リリース！」 id:viverさん http://d.hatena.ne.jp/viver/20110929/p1 http://www.slideshare.net/treasure-data/fluentd-meetup-in-japan-11410514 公式ドキュメント http://fluentd.org/doc/ Github https://github.com/fluent/fluentd - 以下、利用している人たちのまとめやスライド - 2012/02
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
