MySQLのslow query logを可視化するnata2が大変便利そう - oranie's blog
MySQL Casual #6で@studio3104さんが発表していたnata2を触った。 My sql casual talks vol.6 from studio3104_com で、とりあえずローカルにnata2を起動しtd-agentを入れてプラグインを入れてmysqlslapを実行してみた。 動作環境はRuby2.1.2で。1.9系は動かなかった。 手順はgithubにも書かれているが、 https://github.com/studio3104/nata2 https://github.com/studio3104/fluent-plugin-nata2 以下は簡単な流れ。 まずnata2自体の設定。 git clone https://github.com/studio3104/nata2.git cd ./nata2 bundle install vim ./config
色んな会社さんの新人エンジニア研修まとめ - oranie's blog
ちょうど今のチームに新卒メンバーが一人配属になり、「何からやっていこうかー」「今年の研修何教わった？」「今までどんな事やった事ある？」とか聞いている段階だった所にドワンゴさんの新卒研修の記事が流れてきたので、せっかくなので公開されている色んな会社さんの新人研修をメモっておく。なお、見たことがあるやつとか、ちょろっと調べてあくまでも自分と同じ職種に近いやつだけセレクトしているので、気の向いた人は「◯◯エンジニア編」とか作ると良いかもですね！ 他社さんの充実したメニュー見ているだけじゃなくて、うちのチームの配属になったメンバーが「このチームに配属されて良かった」と思えるような事を僕もやらないとですね。 @okb_mさんのまとめブログ Web系会社の新卒研修の内容をまとめた(自分の調べた範囲) 既に去年の段階で似たようなまとめを作られている人が。以下かぶっているのも結構あるので、そこはまあお察し
#fluentd VMware+fluentdで「no nodes are available」が出てしまう問題と対処方法 - oranie's blog
何が問題？ VMware ESXi5系(4系もかも)のVM（今回はCentOS5.4 64bit td-agent-1.1.10.3-0）同士でfluentdを使うと、td-agent.logに以下の様なエラーが吐かれる場合があります。 2012-11-07 23:08:10 +0900: temporarily failed to flush the buffer, next retry will be at 2012-11-07 23:09:13 +0900. error="no nodes are available" instance=23456251017660 2012-11-07 23:08:10 +0900: /usr/lib64/fluent/ruby/lib/ruby/gems/1.9.1/gems/fluentd-0.10.27/lib/fluent/plugin/o
僕らが日々使っているproteus-monitorが公開されています＋インストール方法 - oranie's blog
詳しいアーキテクチャなどは今後おいおい・・・なんですが、とりあえず公開されていますよ、という紹介記事です。自分たちで使っているので言うのも何ですが、非常に素晴らしいツールで是非良かったら試してみて欲しいです。 何をするツールなのかというと、agent側で値を取って来てserver側でWeb画面表示させる、という書いてしまえば「ふーん」な感じなんですが、現在これでdstatの値等を取ってきて可視化しています。こんな感じです。とてもシャレオツです。 で、1台や2台だとあんまり威力が分からないかもですが、これが数十台や数百台の運用になってくると ・わざわざサーバにログインして見るとかﾘｰﾑｰ ・cactiやmuninもポーリングしている間隔で取れていないとかがあるので、「今この瞬間の全サーバの状況が知りたい！」という「おやじの全盛期は全日本の時か・・・オレは・・・オレは今なんだよ！」というのに向
ウィークリーFluentdユースケースエントリリレーはじめてみます - oranie's blog
こんにちは。みなさん元気ですか？ 僕は最近Cassandraで四苦八苦していますが元気です（棒 YAPC後夜祭でも、多分一人だけ障害対応していました。 で、話は変わりまして前にfluentd meetup #2で@frsyukiさんに「fluentdドキュメント日本語版とか有志で作っていいですか！？」とか聞いておきながら何もしていないというクズな現状だったんですが、「じゃあリレー形式でやれば一人の負担減って良いよねー」というのを@studio3104さんと@kenjiskywalkerさんとYAPC2012の後夜祭で話して、じゃあとりあえずやってみようぜ、という感じです。 後は「ノウハウが各個人のBLOGに散らばってるのよくないなあと思ったので、CDPみたいにWikiにしたいなあという思想がありました。」という@studio3104先生の熱い思いもあります。 で、何やるかというと要は自分も
#fluentd fluentdでtype copyを使う時書く順番で破壊的な変更が影響を及ぼす件 - oranie's blog
基本全プラグインが対象だと思います！！僕はmongoプラグインの影響しか試していませんので、その点を差し引いて下さい。 簡単に言うとmongoプラグインの場合、書く順番でtimeプロパティが追加されちゃう。 2012-05-25T19:36:49+09:00 apache.access {"XFF-host":"-","host":"秘密","user":"-","method":"GET","path":"/js/jquery-1.5.2.min.js","status":"200","size":"85925","referer":"http://秘密/","agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0","response_time":"60408","time":13
#fluentd RubyでApache→fluentd→mongodbに入れたデータをカウントする方法のメモ - oranie's blog
設定とかはこの辺読んでね。 http://d.hatena.ne.jp/oranie/20120417/1334662934 タイトルそのまま fluentd入れてちょっとした判定を行なってデータ数とかをカウントしたり積算するにはfluentd-plugin-datacounterだけでは厳しいので、とりあえずMongoDBにぶち込んで簡単なスクリプトをCactiから呼び出して、カウントさせようと考えた。以下はMongoDBのチュートリアル http://api.mongodb.org/ruby/current/file.TUTORIAL.html の内、範囲指定で検索する所だけをやってみて、出来たのでメモ。 こんな感じ。 MongoDBには以下の様なデータがDB：apache、コレクション：accessに入っているとお考え下さい。 { "_id" : ObjectId("4f951dc2
#fluentd in_tailの挙動について把握出来ていなかったまとめ - oranie's blog
今日こんな事をつぶやいた。 #fluentd in_tailで読み込むファイルのシンボリックリンクを切り替えると、初めから終りまでのデータを一気に送信する仕様で合っているよね？挙動とコードの中でposが@file.write "0000000000000000\t00000000\n"になっているし。 2012-03-28 11:35:48 via Tween #fluentd in_tailのfollowing開始時にその時の実ファイルでも一緒か。これってその時点の末尾から更新があった分だけ送信するとか指定出来たっけ？ 2012-03-28 11:41:34 via Tween で、なんでかというとfluentd＋datacounterでログ量をCactiでグラフ化したりサマリを出していたりしたら、ある時間帯だけはどう考えてもそんなにログ量無いはずなのに数値が跳ねている。 よくよく考える
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
