さくっとトレンド抽出: Pythonのstatsmodelsで時系列分析入門 - Gunosyデータ分析ブログ
久しぶりの投稿になってしまいましたが、ニュースパス(現在CM放映中!!)開発部の大曽根です。 作業中はGrover Washington Jr のWinelightを聴くと元気が出ます。参加ミュージシャンが素晴らしいですね。 なぜ時系列分析をするのか 季節調整 実演 おまけ: 時間別に見てみる まとめ 今後 なぜ時系列分析をするのか 数値を非常に重視している弊社では、数値を知るためのツールとしてRedashやChartioおよびSlackへの通知を活用しています。現在の数値を理解する上では、長期のトレンド(指標が下がっているのか、上がっているのか)を知ることが重要です。しかし、日々変化するデータ(特に売上やKPIと言われる指標)は、ばらつきも大きく、変化を適切に捉えることが難しいこともあります。 特にSlackなどへの通知を行っていると、日々の変化に囚われがちです。例えば、弊社ではニュース
正規分布かどうかを見極める3つのステップ（Pythonでの検定実践あり） - 俺、サービス売って家買うんだ
学校の授業や資格のテストでは、「正規分布をしている」ことを前提に、検定や推定が行われることが多いですよね。 しかし、実際に自分でデータをとって分析する時は、当然ですが誰もそのデータ郡が「正規分布をしている」とは保証してくれないわけです。 そのため、データ解析を始めるその前に「正規性の検定（正規分布しているかどうかの確認）」をしなければなりません。 今回は、正規分布かどうかを見極めるための検定と手法を、Pythonを用いてやっていきたいと思います。 注)* 標準偏差・ヒストグラムなどを理解していない初学者の方はまずこちらから参照することをおすすめします。 www.ie-kau.net 目次：正規分布かどうか見極める手順 まずはサンプルデータの作成から ヒストグラムとQQプロットで視覚的に確認する 法則を使って正規性を検定する 1. まずはサンプルデータの作成から データがあったほうがわかりや
Pythonでカルマンフィルタを実装してみる
カルマンフィルタは、時間変化するシステムの、誤差のある離散的な観測から現在の状態を推定する手法。Wikipediaの記事（カルマンフィルター）がわかりやすい。 状態方程式と観測方程式が次のように与えられているとき （状態方程式） （観測方程式） （ノイズ） （フィルタ分布）線形カルマンフィルタ(LKF; Linear Kalman Filter)は μt, Σt, ut, yt+1 を入力として、 μt+1, Σt+1を出力する。1ステップのプロセスは以下のとおり。 # prediction （現在の推定値） （現在の誤差行列）# update （観測残差） （観測残差の共分散） （最適カルマンゲイン） （更新された現在の推定値） （更新された現在の誤差行列）観測を得るごとにPredictionとUpdateを繰り返すことで、現在の状態を推定します。 導出は後述（予定）。 例題を。 2次元
カルマンフィルタのコード比較【numpy, pytorch, eager】 - HELLO CYBERNETICS
はじめに コード比較 numpy pytorch TensorFlow eager execution 速度と結果の比較 結果 第二回戦 結果 はじめに 最近わたしはTensorFlowにボコボコにされています。 計算グラフを書いて、sess.runするまでは何が起こるかわからない！何かが起こっても何が起こっているかは分からない！ そんな状態から、TensorFlow eager executionの登場で解放された！……かに思えました。 今回は下記のTensorFlowとnumpyによるカルマンフィルタの実装例に見て、 これがTensorFlow eager executionでどれくらい楽になるかを試してみました（やる前からそれほど楽ではないことは分かっていた）。 カルマンフィルタといえば理論は非常に難解ですが、実装は意外と楽チンで、実用上非常に優れた予測モデル（と言っていいかは微妙で
【カルマンフィルタの実装と理論】トロッコ問題で理解するカルマンフィルタ (実装済み) - Qiita
0.概要 制御工学をかじりだすと、よく出てくるカルマンフィルタ。これって何だろう？と思って調べたのでまとめてみた。カルマンフィルタでググったことがあるレベルの人はこの記事を読む必要はない 意外にWikipediaが充実していたので、本稿は下のURLを参考にカルマンフィルタの理論を学び、トロッコ問題を解いてみた。 https://ja.wikipedia.org/wiki/カルマンフィルター トロッコ問題っていうのはプログラミングでいうところのHello world的な奴みたい？ 1. カルマンフィルタについて 簡単に言うと、観測値と予測値を使って真値を推定することらしい。 例えば、以下のようにトロッコに搭載されたセンサで位置を観測した後に、トロッコに加速度を与えて動かして、またトロッコの位置を観測するといったシステムを考える。 【観測値】 観測時には、センサの誤差（観測誤差）が含まれる。観
Pythonによる状態空間モデル | Logics of Blue
最終更新：2017年06月06日 Pythonを用いた、状態空間モデルの実装方法について説明します。 なお、正規線形状態空間モデル（動的線形モデル）のみをここでは扱います。 Pythonを使えば、カルマンフィルタや最尤法によるパラメタ推定を短いコードで簡潔に実装することができます。 なお、この記事ではOSはWindows。Pythonは『Python 3.6.0 :: Anaconda custom (64-bit)』を使用して、JupyterNotebook上で計算を実行しました。 JupyterNotebookの出力はリンク先を参照してください。 目次 状態空間モデルとPython時系列分析 データの読み込み ローカルレベルモデルの推定 ローカル線形トレンドモデルの推定 季節変動の取り込み 推定するパラメタの数を減らす モデルの比較と将来予測 1．状態空間モデルとPython時系列分析
Pythonで状態空間モデルを使う（StatsModels） - Fire Engine
今回は、代表的な時系列モデルである状態空間モデルをPythonで使う方法を書いていきます。 先日、『時系列データ分析とPython』という記事を書きましたが、今回はその内容の実装部分にあたります。（状態空間モデルって？という方はぜひ前回の記事を見て下さい！） blog.tsurubee.tech 用いるデータは、時系列のデータセットとして大変有名な『各年ごとのナイル川流量』のデータです。 このデータは今回用いる統計ライブラリであるStatsModelsの中のデータセットにも入っています。 statsmodels/nile.csv at master · statsmodels/statsmodels · GitHub さっそくですが、このデータに状態空間モデルをあてはめてみます。 import pandas as pd from datetime import datetime impor
Pythonのジェネレーターってなんのためにあるのかをなるべく分かりやすく説明しようと試みた - Qiita
はじめに Pythonのジェネレーターについて説明してあるページは他にもありますが、英語だったり、あまり自分としてしっくりこないものが多かったので、自分の中で考えを整理することも兼ねて、ジェネレーターについて自分なりに説明しようと思います。 断っておくと、筆者は基本的ににわかなので、誤ったことを口走るかもしれません。間違い等がありましたらコメントしていただけると自分の勉強にもなるので大変助かります。 あと、ここで紹介するジェネレーターの利用法はあくまでも利用法の数例で、決して他に利用法がないというわけではありません。 ジェネレーターとは？ 詳しい、正確な説明は他にも素晴らしい記事があるので、そちらをご参照ください： Pythonのイテレータとジェネレータ 簡潔に説明すると、「通常の関数の、return文をyieldに置き換えたもの」ととりあえずは思ってください。（色々と違いますが、とりあえ
lambda式はすごく面白い - 元理系院生の新入社員がPythonとJavaで色々頑張るブログ
最近lambda式にハマってしまい何でもかんでもlambda式で書こうとしています。 「なんでもかんでもlambda式で書いてやるぜ！」というのはちょっとアレですが、lambda式は使ってみると割と便利なので、lambda式のちょっとしたメリットについて少し取り上げてみます。 そもそもlambdaとはなんぞや。 lambdaとは無名関数を表現する記法の一つです。 無名関数とは名前の通り、名前の付いて無い関数のことです。 pythonだったらa,bを引数として受け取り、その和を返す関数を def func(a, b): return a+b ・・・と、funcと名前を付けて記述しますね。 これに対し、lmabda式を使って、引数a,bを受け取りその和を返す関数を記述すると lambda a, b : a + b となります。 lambda式を知らないと「なんじゃこりゃ？」となるので（ぼくがな
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【python】with文とは？ - Qiita
Python でリストを条件をつけて複数の要素を削除したい。 - いっきに Python に詳しくなるサイト
Python - なぜPythonでは配列をリストと呼ぶのでしょう？｜teratail
Pythonでリスト（配列）の要素を削除するclear, pop, remove, del | note.nkmk.me