jubatusでも異常値検知がリリースされたばかりですが、簡単でメモリも食わずに異常値検知できるといろいろ捗るかなぁと思い、異常値検知のpluginを作りました。 rubygems github 一日動かしてみましたが、手元の環境では特にリークもなく、fluentd本体、このplugin、node.js expressを立ち上げ、abで適当に負荷をかけ続けましたが、全体で60MBくらいでした。 <match access.**> type anomalydetect tag anomaly.access tick 86400 </match> こんな感じで設定すると、tickで指定した時間(秒)にaccess.**に入ってくるデータ数を数えてそれの異常値をスコアリングします。 また <match access.**> type anomalydetect tag anomaly.acces
→ taiyoh/p5-Data-ChangeFinder · GitHub → taiyoh/p5-Data-AnomalyDetect · GitHub fluent-plugin-anomalydetectの動作がかっこよかったので、もうちょっとfluentに頼らずにカジュアルに使えないかな、と思ったのが発端です。 変化点検出のアルゴリズムはいくつかある、というところまではググって分かってきたのですが、じゃあそれらをPerlで1から実装できるのか、というとそこまでの力はないので、謹んでfluent-plugin-anomalydetectに入っていたFluent::ChangeFinderの実装をごっそりPerlに移植させていただきました。内部が理解できてないのに移植できるのかよ、ってのは全くその通りなのですが、とりあえずリファレンスになるruby側の実装を、同梱されてたテストデータ
前回の記事では計量時系列分析とは何ぞや?みたいなところをやりましたので、今回はいろはのイともいえるARIMAまわりから始めていこうと思います。 ということで改めて、使用テキストはいつものこちらです。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) 作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブログ (6件) を見る 以下タイトルにのっとってRで各モデルの挙動を見ながらやっていきます。 必要なRパッケージ {forecast}をインストールして展開して下さい。Rそのものの初心者向け説明はここでは全面的に割愛するので、適宜何かしらの初心者向け説明をご参照あれ。 今回のモデルで目指すもの 前回の記事では、要は「自己相関が大事よー」という話を何度もしました。ということは、時系列モデリング
ゲスッ子Hagexも今回は「ためいきロ・カ・ビ・リー」を思わず熱唱しました。 ためいき♪ ロカビリー♪ 心を乱す南風♪♪ よくわからない導入になってしまいましたが、みなさんは、Googleグループというサービスをご存じでしょうか? その名の通り、Googleが運営しているサービスで、メーリングリスト的なサービスを簡単に始めることができます。手軽に利用できる反面大きな問題もあり、なんと初期設定では「投稿されたメールがすべて第三者でも見られてしまう」のです。 先日、官公庁や病院がGoogleグループを利用し、情報がダダ漏れ状態なのを読売新聞にスッパ抜かれ、ニュースになりました。 ・内部メール誰でも閲覧「グーグルグループ」利用(読売新聞) そして、昨日はECサイトがGoogleグループを利用し、顧客情報が漏れているという指摘のエントリーが注目されました ・EC サイトの使用を即刻辞めろ!!!(s
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く