おしっこセンサーできました ウチの小学生の息子が家のトイレでたびたびおしっこをこぼしてしまう。俺がくどくど注意してもあんまり効果ない。そこで、代わりにAIに怒ってもらうことにした。こんな感じである。 おしっこセンサーのデモ（動画）。水を数滴床にたらすとブザーが鳴り、床を拭くと止まる。 ディープラーニングの画像認識を使い、床の上に落ちた水滴をカメラで検出してブザーが鳴る仕組みだ。夏休みの自由工作に過ぎないので精度は期待していなかったけど、意外にきちんと動いてくれて、カメラに映る範囲に水滴を数滴たらすとピッピと鳴り、床を拭くとブザーも止まる。「お父さんだってAIくらい作れるぞ」と息子に自慢したいがための工作なのだ。 でも、これ作るのはそんなに難しくなくて、休み中の3日くらいで完成した。かかったお金は、RasPiやカメラ、周辺デバイスが2万円弱、画像認識のモデル作成に使ったクラウドの料金が数10

各モデルの詳細はWikipedia等を参照していただくとして，基本的にARMAは，AR , MAを含有するモデルであり， ARIMA は，ARMA を含むモデルなので，ライブラリとしては ARIMA がサポートされていれば，上記４つのモデルはすべて対応可能となる．但し，StatsModelsではAPIとしてAR, ARMA, ARIMA が用意されている． 今回，分析を行うデータとして，"Nile" を取り上げた． Nile River flows at Ashwan 1871-1970 This dataset contains measurements on the annual flow of the Nile as measured at Ashwan for 100 years from 1871-1970. There is an apparent changepoint ne

（追記1）用語（"in-sample", "out-of-sample")の使い方が不適切との指摘をいただきました．本記事の後半部にこの点，追記いたしました． （追記2）を後半部に加えました． Qiita投稿した後，内容の誤りに気がついても，手間を惜しんでそのままになってしまいがちである．ごく小さな誤記であればまだいいが，理論的な誤りや勘違いにおいては，間違った発信が続いていることには違いなく，反省しなければならない．（記事削除が手っ取り早いのですが，「いいね」がついていたりすると削除も失礼かと... ） さて，以前 回帰モデルの比較 - ARMA vs. Random Forest Regression - Qiita で時系列データからLag（遅れ）を特徴量として使う Random Forest回帰のやり方を紹介している． 今回は単変量の時系列データであるが，いくつかの過去のデータ使っ

1.2.5 曲線フィッティング再訪 1.2.6 ベイズ曲線フィッティング のところを実装してみます。前回は、最小二乗法で曲線フィッティングをしたけど、ベイズ的な方法で解こうって話のようです。この2つの節では、 最尤推定 最大事後確率（MAP）推定 ベイズ推定 という3つのパラメータ推定方法が曲線フィッティングという具体例で説明されてます。他の教科書では抽象的に定式化されていて違いがよくわからなかったけど、この章では曲線フィッティングという具体例に基づいて説明されているのでわかりやすいと感じました。 最尤推定 まず、最尤推定のプログラムです。実は、最尤推定で対数尤度（1.62）を最大化することは、最小二乗法の二乗和誤差関数E(w)の最小化と等価なのでwの求め方は最小二乗法（2010/3/27）とまったく同じです。 最尤推定では、目標値tの予測分布を求めるためもう1個予測分布の精度パラメータ（

ファイナンスの世界でよくデータの対数をとってその差の系列を調べるといったことがあります。ファイナンスを勉強したての方は何故このようなことをするのか疑問に思うでしょう。本記事では収益率を対数差分で代用してもよい理由とその動機について個人的な見解を述べたいと思います。 収益率は対数差分で近似できる 今、ある証券の価格が (t=0,1,2,・・・)で時系列的に与えられるとしましょう。このとき、t期での収益率は以下のようにあらわされます。 例えば、t期で100円だった証券がt+1期で110円となったときの収益率は(110-100)/100=0.1となります。 ここで、x=0の近傍におけるlog(1+x)のテーラー展開を考えると以下のようになります。 よってlog(1+x)のx=0の近傍での1次近似は以下のようになります。 ここで上の式にを代入してみましょう。すると となります。ゆえに収益率は対数差

Introduction Time Series (referred as TS from now) is considered to be one of the less known skills in the data science space (Even I had little clue about it a couple of days back). I set myself on a journey to learn the basic steps for solving a Time Series problem and here I am sharing the same with you. These will definitely help you get a decent model in any future project you take up! Before

Kaggle BlogOfficial Kaggle Blog ft. interviews from top data science competitors and more!

評価尺度 このコンペでは予測したSalseの評価尺度として、 RMSPE という以下の計算式が用いられています。 RMSPEは、実際の Sales と、予測した Sales の誤差の割合をベースに算出される値で、0 に近く小さいほど良いというものです。仮に全ての店舗の全ての日の Sales の予測値が実際の Sales と一致していれば RMSPE = 0 となります。 売上予測結果の一例 コンペのイメージを湧き易くするために、実際に予測モデルで予測した売上の結果についてお見せします。下図は2015年6月までのデータを使って、2015年7月の売上を予測したもの（緑線）と実際の売上（橙線）を3店舗分可視化したものです。なかなか良く売上の予測ができていることが見て取れます。以降では、この予測モデルの構築について説明していきます。 Rossmann Store Sales での取り組み 情報収集

ということで，前回で触れたように，データの前処理を実際に行っていきたいと思います．その中でも今回は，欠損値補完についての話をしていきます． 今回のデータでは，NAが含まれているageのデータを補完する必要があります．とはいえ，欠損値を補完するにもいくつか方法があって，どの補完を行うのが妥当かというのを考えなければいけません．そこでまず，欠損値がどういう性質を持っているかについてみていきましょう． 欠損のメカニズム 欠損のパターン データの欠損には大きく分けて3つのパターンがあります． Missing Completely At Random(MCAR)：完全にランダムに欠損が生じているもの Missing At Random(MAR) ：データ欠損が，データに含まれるほかの変数と関連はしているが，その影響を取り除いた自分自身の値とは関連していないもの Missing Not At Rand

GoogleのブログでTensorFlow 0.12 が Windows をサポートとあったので、試してみると簡単にできました。 実行環境 以前にインストールしたものになります。 Windows 10 Professional 64bit Anaconda3 4.2.0 (Python 3.5)　⇒　CPU版、GPU版どちらでもpython3.5が必要 GeForce GTX 1070　⇒　GPU版に必要 CUDA Toolkit 8.0 (8.0.44)　⇒　GPU版に必要 cuDNN 5.1　⇒　GPU版に必要 CPU版でとりあえず試したい方はこちらより「Anaconda3-4.2.0-Windows-x86_64.zip」をそのままイントールしてください。python3.5やJupyterなどがインストールされます。 Tensorflowのインストール Windowsスタートメニュー

機械学習プロフェッショナルシリーズ輪読会の発表スライドをまとめたページです。 随時更新します。 機械学習プロフェッショナルシリーズ輪読会 Conpass URL: http://ml-professional.connpass.com 1冊目：「深層学習」 2冊目：「異常検知と変化検知」 #1「深層学習」編 http://bookclub.kodansha.co.jp/product?isbn=9784061529021 正誤表 chapter 1: はじめに @a_macabee http://www.slideshare.net/beeEaMa/chapter-01-49404580 Chapter 2:順伝播型ニューラルネットワーク @a_macabee http://www.slideshare.net/beeEaMa/chapter-02-49488411 Chapter 3:確

深層学習で時系列の予測がしたいときとかあると思います。 以下の記事を参考にさせていただきます。 qiita.com それで時系列データが手元にないので以下のサイトにある日経平均株価の日足をつかいます。 日経平均株価 1時間足 時系列データ CSVダウンロード 直近1000営業日の値動きをプロットすると以下です。縦軸は学習のためにスケーリング済みです。 以下のコードで学習します。参考記事のままです。前日まで10営業日分の株価を入力して当日の株価を予測するというモデルにします。900営業日分のデータで学習し、100営業日分のデータでテストすることにします。 # -*- coding: utf-8 -*- import numpy import pandas import matplotlib.pyplot as plt from sklearn import preprocessing fro

Kerasの公式ブログにAutoencoder（自己符号化器）に関する記事があります。今回はこの記事の流れに沿って実装しつつ、Autoencoderの解説をしていきたいと思います。間違いがあれば指摘して下さい。また、Kerasの公式ブログはKerasでの実装に関してだけでなく、機械学習自体についても勉強になることが多く、非常におすすめです。 今回の記事では様々なタイプのAutoencoderを紹介しますが、日本語ではあまり聞き慣れないものもあるかと思いますので、今回は名称を英語で統一したいと思います。 目次 イントロダクション Undercomplete Autoencoder Sparse Autoencoder Deep Autoencoder Convolutional Autoencoder Denoising Autoencoder まとめ イントロダクション Autoencod

こんにちは。おうちハッカー@リッテルラボラトリーの石田です。 2016年6月6日~9日に開催された第30回人工知能学会全国大会に行ってきました。私は画像系及び深層学習に興味があるので、特に画像系と深層学習系セッションを見て回りました。 そこで主に自分が見たセッションを元に、今年の人工知能学会の画像に関わる深層学習の発表をまとめてみました。 私が見た・読んだ範囲で、「各分野にCNNを適用した研究」「画像系深層学習の理論的な研究」「画像ではないが気になった深層学習の研究 」に分けて紹介します。 自分で実際に見た発表については、おすすめ度をつけています。個人の主観によるものですので、弊社の見解とは関係がありません。 ではどうぞ。 各分野にCNNを適用した研究 ここでは、画像系で大きな成果を上げているCNN(畳み込みニューラルネットワーク)を、各分野の画像解析に適用してみた研究を紹介します。 画像

以下の記事の続きです。Kerasブログの自己符号化器チュートリアルをやるだけです。 Keras で自己符号化器を学習したい - クッキーの日記 Kerasブログの自己符号化器チュートリアル（Building Autoencoders in Keras）の最後、Variational autoencoder（変分自己符号化器；VAE）をやります。VAE についてのチュートリアル上の説明は簡単なものなので、以下では自分で言葉を補っています。そのため、不正確な記述があるかもしれません。 変分自己符号化器（VAE）って何 実行結果 スクリプト 変分自己符号化器（VAE）って何 そのデータが生成するメカニズムに仮定をおいているとき（そのデータの生成モデルを仮定しているとき）、モデルのパラメータの最適化をするのに VAE を用いることができます。今回は、「それぞれの手書き数字には、その手書き数字に対応

今回はディープラーニングのモデルの一つ、Variational Autoencoder(VAE)をご紹介する記事です。ディープラーニングフレームワークとしてはChainerを使って試しています。 VAEを使うとこんな感じの画像が作れるようになります。VAEはディープラーニングによる生成モデルの１つで、訓練データを元にその特徴を捉えて訓練データセットに似たデータを生成することができます。下記はVAEによって生成されたデータをアニメーションにしたものです。詳しくは本文をご覧ください。 本記事で紹介している内容のPythonコードはコチラにあります。 1. Variational Autoencoderとは？ まず、VAEとはどんなものであるかを説明したいと思いますが、その前に通常のオートエンコーダーについて触れたいと思います。 1-1. 通常のオートエンコーダー オートエンコーダーとは、 教師