変化点検出 ChangeFinder
ChangeFinder は、時系列データの各時点におけるスコアを算出し、 このスコアが高いほど、変化の度合が高いと判断します。 スコアは、AR モデルを使用した 2段階学習 (two-stage learning of time series models) に基づくアルゴリズムによって求められます。 図1 のデータを例に説明します。 まず第1段階の学習で、各時点における外れ値スコアを求めます (図2)。 外れ値スコアは、AR モデルで予測される値と実際の値とが、 どれくらい異なるかによって決まります。 次に、この外れ値スコアを平滑化 (smoothing) します (図3)。 平滑化は、直近の数時点1 の外れ値スコアを平均することによって行われます。 この平滑化により、ノイズに反応した外れ値スコアが除去されます。 次に、この平滑化したスコアの時系列データに対して2段階目の学習を行い、平
Kleinberg のバースト検知 (列挙型) について
時系列ストリームデータにおいて出現頻度が急激に増加している時間帯を検出する方法の一つである、 Kleinbergの「列挙型 (enumerating)」バースト検知アルゴリズムを紹介します。 Jon Kleinberg による論文 に、文書ストリームデータが「バースト状態」であるとは、 (文書データのある特定トピックなどの) 出現頻度が、急激に上昇する状態 をいう、と述べられています。 1、 そこでは、 「ドキュメントの到着時間間隔」と、 「全ドキュメントと関連するドキュメントとの比」 の二つに着目してバースト状態が論ぜられ、 前者に対する考察が「連続型」に、後者に対する考察が「列挙型」に、それぞれ繋がっていきます。 以下、或るマイクロブログサービスから取り出したデータを用いて、 キーワードとして「松井」を含むドキュメントのバースト検知を考えてみます。 列挙型の説明の前に、 連続型 を復習
Kleinberg のバースト検知
時系列データにおいてイベントが急激に増加したことを検出する手法の一つである、Jon Kleinberg のバースト検知アルゴリズムを紹介します。 Jon Kleinberg が考案したバースト検知のアルゴリズムは、 Bursty and Hierarchical Structure in Streams に示されています。 この手法を用いることによって、例えば、あるマイクロブログサービス上で、 ある話題がどの程度の期間、どの程度の盛り上がりをみせたのかを捉えることができます。 バースト検知とは時系列データに対する異常検出の一つで、 イベントの集中的な発生を検出することを言います。 例えば、マイクロブログサービス上で、 ある単語(商品名など)に対する投稿が急激に増えることがあります。 このような現象を「バースト」と呼び、 これを検出する用途にバースト検知は使われます。 バーストを自動的に検出
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
知識工学部/機械学習
数理システム 知識工学部
