情報理論の基礎～情報量の定義から相対エントロピー、相互情報量まで～ | Logics of Blue
最終更新：2017年6月12日 この記事では「情報量をどのように定義するか」という問題への回答としての、情報エントロピー、そして、相対エントロピー（別名：カルバック・ライブラーの情報量）や相互情報量の導入とその解釈の仕方を説明します。 統計学や機械学習を学ぶ際に、どうしても必要となる考え方ですので、ある程度まとまった知識、解釈の仕方を持っておくと、少し難しい書籍を読んだ時にも対応ができるようになるかと思います。 スポンサードリンク 目次 情報理論とは 情報量を定義する 情報エントロピーと平均情報量 相対エントロピー 相互情報量 1．情報理論とは 情報理論とは、文字通り「情報とは何かを定義し、より良い扱い方を考える学問」といえます。 その中でも大きく3つのジャンルに分けることができます。 1つ目は、そもそも情報量をどのように定義するか、という問題を解決するジャンル。 2つ目は、情報を、いかに
Rによる機械学習：caretパッケージの使い方 | Logics of Blue
ニューロンの個数を2パタン。 データへの依存度を3パタン用意すると、2×3＝6パタンも試さなければなりません。 大変に面倒ですが、このハイパーパラメタを雑に設定すると予測精度が落ちてしまうこともよくあります。 めんどくさいですが、なるべくやったほうがいいです。 4．モデルを使って予測する これは簡単。単に予測をするだけです。 パッケージを使っていれば、たいていは予測用の関数が用意されています。 5．予測の評価をする 最後は評価です。 評価をすることによって、 ・どの手法の ・どのパッケージの ・どのパラメタを 採用すべきかを判断します。 で、一番予測精度がいいやつを使って予測することになります。 たくさんの手法、たくさんのパッケージ、たくさんのパラメタの組み合わせをしらみつぶしに評価する。 普通にこれをやろうと思うと、気が遠くなってしまいますね。 そこで登場するのがパッケージ「caret」
時系列データへの回帰分析 | Logics of Blue
新規作成：2017年05月16日 最終更新：2017年05月16日 ここでは、時系列データを手にした際に、どのような手順で回帰分析をかけていけばいいのか、フローチャートを交えて解説します。 時系列データは特殊でして、普通の回帰分析を行うと、p値がおかしくなり、正しく検定ができなくなることがよくあります。これを見せかけの回帰と呼びます。 シミュレーションを通して、見せかけの回帰という現象を確認したうえで、それらに対応する手法としての単位根検定・共和分検定・一般化最小二乗法(GLS)の基本的な考え方とRでの実装方法について説明します。 ソースコードはまとめてこちらに置いてあります。 スポンサードリンク 目次 時系列データへの回帰分析フローチャート 単位根と見せかけの回帰 データチェック1 単位根検定とADF検定 解決策１ 差分系列への回帰分析 差分系列への回帰分析の問題点 データチェック２ 共
KFASの使い方 | Logics of Blue
新規作成：2018年2月7日 最終更新：2018年2月7日 ローカルレベルモデルの推定を通して、KFASパッケージの使い方を説明します。 この記事は、書籍「時系列分析と状態空間モデルの基礎：RとStanで学ぶ理論と実装」の一部を公開したものです。 この書籍は時系列分析の基礎の基礎から始めて、Box-Jenkins法や一般化状態空間モデルまでを解説した、初学者のための時系列分析の入門書です。 類書と比べると難易度は低めだと思っておりますので、これから時系列分析を始めてみたいと考えている方にお勧めします。 スポンサードリンク 目次 この章で使うパッケージ 分析の対象となるデータ KFASによる線形ガウス状態空間モデルの推定 推定結果の図示 KFASによる状態の推定と信頼・予測区間 KFASによる予測 補足：ローカルレベルモデルにおける予測 補足：補間と予測の関係 この章で使うパッケージ この章
季節とトレンド | 状態空間モデル | Logics of Blue
最終更新:2017年6月1日 dlmパッケージを使って、ちょっと複雑な正規線形状態空間モデル（動的線形モデル）を推定します。 今回は、トレンド成分と季節成分の入った状態空間モデルを推定し、予測を行うところまでを行います。 ●状態空間モデル関連のページ なぜ状態空間モデルを使うのか 状態空間モデル：状態空間モデルのことはじめ ｄｌｍの使い方 ：Ｒで正規線形状態空間モデルを当てはめる ローカルレベルモデル：ｄｌｍパッケージを使ってローカルレベルモデルを当てはめる 季節とトレンド：ｄｌｍパッケージを使って季節成分とトレンドの入ったモデルを作る dlmによる時変形数モデル：ｄｌｍによる「時間によって係数が変化する回帰モデル」の作成 Pythonによる状態空間モデル：R言語ではなくPythonを使いたい方はこちらをどうぞ スポンサードリンク 目次 １．ローカルレベルモデルを発展させる ２．トレンド
Stanで推定するローカルレベルモデル | Logics of Blue
新規作成日：2015年12月6日 最終更新日：2016年9月22日 Stanを使って、ローカルレベルモデルを推定しましょう。 今回はナイル川の流量データを対象として、ローカルレベルモデルを推定します。 なお、Stanとベイズ推定の基礎に関しては、以下の記事をご覧ください ベイズ統計学基礎 ベイズと統計モデルの関係 ベイズとMCMCと統計モデルの関係 Stanによるベイズ推定の基礎 状態空間モデルの基礎に関しては、以下の記事をご覧ください 状態空間モデルとは dlmの使い方（Stanを使わないで状態空間モデルを推定する方法について書いてあります） ローカルレベルモデル 季節とトレンド コードをまとめたものはこちらにおいておきます。コピペする際はこちらをお使いください。 スポンサードリンク 目次 1．ローカルレベルモデルとは 2．状態空間モデルの「左端」の問題 3．Stanによるローカルレベル
なぜ状態空間モデルを使うのか | Logics of Blue
最終更新：2016年1月24日 このサイトでは統計学や統計モデルの紹介を多くしています。 その中でも、状態空間モデルは、力を入れている分野の一つです。 ところで、なぜ状態空間モデルを使う必要があるのでしょうか。 そもそもにおいて、統計モデルを使う必要性はどこにあるのでしょうか。 今回は個々の手法の説明ではなく「なぜそれを使うのか」という理由を解説します。 スポンサードリンク 目次 1．なぜモデルを使うのか 2．なぜ統計モデルを使うのか 3．なぜ状態空間モデルを使うのか 4．なぜたくさんのモデルを統一的に表せると便利なのか 5．状態空間モデルを使う注意点 6．状態空間モデルの御利益 7．おまけ：統計モデルと機械学習の違い 1．なぜモデルを使うのか モデルとは､「見やすくなるように簡略化したもの」です。 モデルを作る行為、すなわちモデル化とは､「見やすくなるように簡略化すること」です。 例えば
モデル選択_実践編 | Logics of Blue
最終更新：2016年1月24日 ※フォントや参考文献を修正しました。 前のページで色々と理屈を並べたてましたが、理屈を知っていても実際に扱えないと意味がありません。 ここでは実際にモデル選択をしてみます。 ここで用いたRコードは、まとめてこちらから見ることができます。 コードは2015年8月30日に動作確認をしました。動かないものがあれば、ご一報いただければ幸いです。 スポンサードリンク 目次 １．使用データ ２．重回帰分析によるモデリング ３．検定による変数選択 ４．AICによる変数選択 ５．Akaike WeightによるModel Averaging １．使用データ 例によって乱数を発生させます。 # シミュレーションデータの作成 set.seed(0) N <- 100 # サンプルサイズ Intercept <- 5 # 切片 B1 <- 10 # 係数1 B2 <- 5 # 係
統計勉強会の資料～二日目 一般化線形モデル編～ | Logics of Blue
2013年8月10～11日にかけて北大函館キャンパス内で行われた統計勉強会の資料です。SlideShareを利用して投影スライドはすべて閲覧できるようにしました。 初日の内容はこちらです。 一般化線形モデル(GLM)を手っ取り早く勉強したい方にはちょうど良い資料だと思います。 勉強会に参加された方もそうでない方も是非ご覧ください。 統計勉強会の内容が本になりました！ 「平均・分散から始める一般化線形モデル入門」 書籍のサポートページはこちらです。 本文の第1部はこちらから読めます。 プログラムはこちらからダウンロードできます。 データはこちらから data4.csv data5_CPUE.csv data6.csv 内容は、統計基礎～正規線形モデル(1日目）～一般化線形モデル(2日目)です。 本来ならば2日で終わるようなものではなく膨大な内容になってしまうところを私なりに凝縮した結果です。
予測理論 | Logics of Blue
ここでは予測という観点から書かれた記事を載せています。 また、フリーのデータ解析環境「R」を使った例も多く載せています。 ※統計基礎の内容を別の記事に移動しました。こちらから閲覧できます。 最終更新：2018年05月04日 スポンサードリンク 予測理論の基礎 予測の話 予測に便利な統計の基本や、本ページの趣旨などについて書かれています。 予測理論とpredictability 予測って何？ という素朴な疑問から始める予測理論の入門スライド的なものです。 回帰分析系 単回帰分析 単回帰分析による予測の簡単な説明と、プログラムです モデル選択 理論編 モデル選択の簡単な方法論の説明 モデル選択 実践編 実際にモデル選択をして見る 重回帰分析 重回帰分析による予測 平滑化スプラインと加法モデル 非線形な状況をモデル化できる平滑化スプラインと加法モデルの紹介と予測 ・一日目 統計基礎～正規線形モデ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
状態空間モデル | Logics of Blue