12. 自己紹介 ● 名前 : 里 洋平 ● ID : yokkuns ● 職業 : データマイニングエンジニア
Tokyo r15 異常検知入門
12. 自己紹介 ● 名前 : 里 洋平 ● ID : yokkuns ● 職業 : データマイニングエンジニア
時系列分析による異常検知入門
2. AGENDA ● 自己紹介 ● 異常検知とは ● 3つの異常検知 ● 変化点検出 ● グラフ時系列の異常検知 ● 最後に
Octaveで時系列解析 - Murakami's Memorandum
（工事中: 講義用の資料の下書きのためご質問はご遠慮いたします） Tips 行ベクトル 列ベクトル ベクトルの転置 ベクトルの積 ベクトル要素の乗除 データファイル中のコメント行 Octaveのループ計算 グラフを描く 時系列 対数グラフ 移動平均・重み付き移動平均 移動平均 重み付き移動平均 FIRフィルタ(Finite impulse response filter) IIRフィルタ(Infinite impulse response filter) 数値フィルタの特性 自己相関・相互相関関数 自己相関 相互相関 有限複素フーリエ変換・有限フーリエ変換 振幅スペクトル・位相スペクトル データ窓 パワースペクトル 自己回帰モデル（ＡＲモデル） MEM FFTを使ったフィルタ コヒーレンス・偏コヒーレンス・マルチプルコヒーレンス Tips Octaveの使い方やマニュアル（日本語訳）は下記
サーバ異常検知入門
7. サンプルデータの作成「df」コマンドを使用します。$ dfFilesystem 1K-ブロック 使用 使用可 使用% マウント位置/dev/vzfs 83886080 4738368 79147712 6% /none 262144 4 262140 1% /dev 8. こんな感じのシェルスクリプトを作って#!/bin/bashdatetime=`date ‘+%F %H:%M’`# 日付values=`df | awk‘/devvzfs/ {print $2“,”$3“,”$4}’`# 観測値echo $datetime,$values# まとめて出力cronで定期的に動かして、ログに保存$ crontab -l* * * * * ~/df.sh >> ~/df.log 2> /dev/null最初にヘッダを入れておくと良いかも$echo "datetime,blocks,use
[Ｒ勉強会][データマイニング] R言語による時系列分析
3. 位置づけ データマイニングの方法論を用いての 蓄積データの有効活用 統計解析 Web API データマイニング Amazon Web Service 楽天 Web Service 対応分析 時系列分析 Twitter API Recruit Web Service 回帰分析 Yahoo! Web Service クラスター分析 はてな Web Service 判別分析 主成分分析 因子分析 (Bookmark/Graph/Keyword,…) カーネル法 Google Data API 樹木モデル (Calendar/Maps/BookSearch/ FinancePortfolioData,…) ニューラルネットワーク サポートベクターマシン … 免疫型最適化 Particle Swam … Memetic Ant Colony 遺伝的 熱力学的 シミュレーテドアニーリング 力学モ
![[Ｒ勉強会][データマイニング] R言語による時系列分析](https://cdn-ak-scissors.b.st-hatena.com/image/square/f1400933dedc843cedb02dc299edefd6e0d94c1f/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fr-100423232629-phpapp01-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
時系列データの解析（厚労省公開の医療費データ） - データサイエンティスト上がりのDX参謀・起業家
この本に沿って時系列データの解析方法をまとめました。 Rによる時系列分析入門 作者: 田中孝文出版社/メーカー: シーエーピー出版発売日: 2008/06/01メディア: 単行本購入: 12人 クリック: 113回この商品を含むブログ (19件) を見る サンプルデータを使っても面白くないので、厚労省が公開している医療費のデータを使いました。 厚労省の医療費データベース 例によってこのデータはエクセルで公開されていて、そのまま解析できる状態じゃありません。 今回は入院の総医療費だけを扱ったので、その部分だけ加工してcsvにしました。 一応、加工したデータはダウンロードのページに置いてます。 それでは、解析していきます。 まずはデータ読み込みと加工。 Iryouhi <- read.csv("医療費.csv", as.is = T) Nyuin <- ts(Iryouhi[, 2], fre
R言語による多変量時系列分析−Dynamic Conditional Correlation GARCH Model - hamadakoichi blog
R言語による多変量時系列分析。 複数グループ・複数項目の時系列データで時系列間の関係性・影響を明らかにする。 以下、実行可能なR言語ソースコードを用い紹介する。 例：複数時系列間の関係性・影響 農家ごとの農地の肥沃度・人の各仕事の労働量・各肥料の投入量の各時系列、および、生産量の時系列から、肥沃度・各労働量・各肥料量が生産量に与える影響を明らかにする。 国ごとの各政策種類への投資額の時系列、および、GDP から、各政策投資がGDPに与える影響を明らかにする 地域ごとの各キャンペーン種類の投入量の各時系列、および、商品売上の時系列から、各地域の各キャンペーンが売上に与える影響を明らかにする。等。 R言語による時系列分析入門 R言語でのAR、ARMA/ARIMA、ARFIMA、ARCH、などの時系列モデルの入門資料（※１年前のTokyo.R 講師資料) http://d.hatena.ne.j
R言語による多変量時系列分析−Panel Linear Model - hamadakoichi blog
R言語による多変量時系列分析。 複数グループ・複数項目の時系列データで時系列間の関係性・影響を明らかにする。 以下、実行可能なR言語ソースコードも用い紹介する。 例：複数時系列間の関係性・影響 農家ごとの農地の肥沃度・人の各仕事の労働量・各肥料の投入量の各時系列、および、生産量の時系列から、肥沃度・各労働量・各肥料量が生産量に与える影響を明らかにする。 国ごとの各政策種類への投資額の時系列、および、GDP から、各政策投資がGDPに与える影響を明らかにする 地域ごとの各キャンペーン種類の投入量の各時系列、および、商品売上の時系列から、各地域の各キャンペーンが売上に与える影響を明らかにする。等。 R Library 複数時系列の時系列分析として、R言語では plm 、 ccgarch 等のパッケージがあるが、今回は plm (Panel Linear Model) を紹介する。 ※参考：Pa
素人の僕が、データ分析に自信を持つようになったある発見 - 人と組織と、fukui's blog
2010年03月13日 22:01 カテゴリ事業家養成講座 素人の僕が、データ分析に自信を持つようになったある発見 Posted by fukuidayo Tweet 僕は1999年に就職活動をしました。会社は全部で8社ぐらい？受けたのかな。 受かった会社の選考よりも、落ちた会社の選考のほうが覚えているもので、あるシンクタンクを受けたときに提出したレポートの出来の悪さと、あるコンサルティング会社を受けたときに出たケーススタディーの答案を前に、頭が真っ白になったときのことは、今でもたまに思い出します。 どうやって分析し、自分の見解を示せば良いのか、まるでわからなかったのです。 それから数年がたち、僕はケーススタディーを受ける側ではなく、つくる側になりました。 データの見方を教え、伝える側になったのです。 そうなれたのは、データを分析する。ということに関して、助言を与え続けてくれた先輩・上司が
カルマンフィルター - Wikipedia
カルマンフィルター (英: Kalman filter) は、誤差のある観測値を用いて、ある動的システムの状態を推定あるいは制御するための、無限インパルス応答フィルターの一種である。 カルマンフィルターは、 離散的な誤差のある観測から、時々刻々と時間変化する量（例えばある物体の位置と速度）を推定するために用いられる。レーダーやコンピュータビジョンなど、工学分野で広く用いられる。例えば、カーナビゲーションでは、機器内蔵の加速度計や人工衛星からの誤差のある情報を統合して、時々刻々変化する自動車の位置を推定するのに応用されている。カルマンフィルターは、目標物の時間変化を支配する法則を活用して、目標物の位置を現在（フィルター）、未来（予測）、過去（内挿あるいは平滑化）に推定することができる。 カルマンフィルターは時間領域において、連続時間線形動的システム、もしくは離散化された離散時間線型動的システ
ああああ はてブで遊ぶ(1) -ホットエントリー入りした記事を時系列で分類する-
はてなブックマーク(以下はてブ)は、日本最大のソーシャルブックマークサイトで、独自の濃ゆい空間を作り出しています。はてブでブックマークされる記事の中で、特に人気のある記事は、人気エントリー(以下、ホットエントリーと記述)に掲載されます。 ホットエントリーには、毎日入れ替わり立ち替わり、多種多様なページが掲載されます。一過性のネタ記事やフレームから、非常に資料性の高いページまで、内容は本当に多様です。しかし実は、ブックマーク数の伸び方（ブックーマークの時系列）を見てみると、どうも各エントリがいくつかのカテゴリに分類出来るように思えるのです。 以下では、ホットエントリー入りした記事のブックマークの時系列に着目し、それを分類してみようと思います。2008年9月にホットエントリした記事＋αを調べてみました。解析方法はこの記事の最後に書いてあります。その手法から、ブックマークをプライベートモードで使
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: データマイニングによる異常検知: 山西健司: 本
