Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要Pythonモジュールのpandasにはplot関数があり、これを使えばpandasで読み込んだデータフレームを簡単に可視化することができます。ただし、大量の引数（34個）があるにもかかわらず、公式マニュアルを見ても引数の一部しか説明されておらず、一体何ができるのか整理したくなり、この記事を書きました。データはirisを使い、plotの各引数の効果を検証しました。 import pandas as pd if __name__ == "__main__": #元データ df = pd.read_csv('iris.csv', index_col=0) どんな引数があるのか？df.plot?とヘルプを叩くことで、変数の一覧と説明（英語）を取得できます。実に34個の引数があるようです。使いこなして、簡単にいろんなグラフを書きたいですね。

GoogleのブログでTensorFlow 0.12 が Windows をサポートとあったので、試してみると簡単にできました。 実行環境 以前にインストールしたものになります。 Windows 10 Professional 64bit Anaconda3 4.2.0 (Python 3.5)　⇒　CPU版、GPU版どちらでもpython3.5が必要 GeForce GTX 1070　⇒　GPU版に必要 CUDA Toolkit 8.0 (8.0.44)　⇒　GPU版に必要 cuDNN 5.1　⇒　GPU版に必要 CPU版でとりあえず試したい方はこちらより「Anaconda3-4.2.0-Windows-x86_64.zip」をそのままイントールしてください。python3.5やJupyterなどがインストールされます。 Tensorflowのインストール Windowsスタートメニュー

機械学習プロフェッショナルシリーズ輪読会の発表スライドをまとめたページです。 随時更新します。 機械学習プロフェッショナルシリーズ輪読会 Conpass URL: http://ml-professional.connpass.com 1冊目：「深層学習」 2冊目：「異常検知と変化検知」 #1「深層学習」編 http://bookclub.kodansha.co.jp/product?isbn=9784061529021 正誤表 chapter 1: はじめに @a_macabee http://www.slideshare.net/beeEaMa/chapter-01-49404580 Chapter 2:順伝播型ニューラルネットワーク @a_macabee http://www.slideshare.net/beeEaMa/chapter-02-49488411 Chapter 3:確

深層学習で時系列の予測がしたいときとかあると思います。 以下の記事を参考にさせていただきます。 qiita.com それで時系列データが手元にないので以下のサイトにある日経平均株価の日足をつかいます。 日経平均株価 1時間足 時系列データ CSVダウンロード 直近1000営業日の値動きをプロットすると以下です。縦軸は学習のためにスケーリング済みです。 以下のコードで学習します。参考記事のままです。前日まで10営業日分の株価を入力して当日の株価を予測するというモデルにします。900営業日分のデータで学習し、100営業日分のデータでテストすることにします。 # -*- coding: utf-8 -*- import numpy import pandas import matplotlib.pyplot as plt from sklearn import preprocessing fro

Kerasの公式ブログにAutoencoder（自己符号化器）に関する記事があります。今回はこの記事の流れに沿って実装しつつ、Autoencoderの解説をしていきたいと思います。間違いがあれば指摘して下さい。また、Kerasの公式ブログはKerasでの実装に関してだけでなく、機械学習自体についても勉強になることが多く、非常におすすめです。 今回の記事では様々なタイプのAutoencoderを紹介しますが、日本語ではあまり聞き慣れないものもあるかと思いますので、今回は名称を英語で統一したいと思います。 目次 イントロダクション Undercomplete Autoencoder Sparse Autoencoder Deep Autoencoder Convolutional Autoencoder Denoising Autoencoder まとめ イントロダクション Autoencod

こんにちは。おうちハッカー@リッテルラボラトリーの石田です。 2016年6月6日~9日に開催された第30回人工知能学会全国大会に行ってきました。私は画像系及び深層学習に興味があるので、特に画像系と深層学習系セッションを見て回りました。 そこで主に自分が見たセッションを元に、今年の人工知能学会の画像に関わる深層学習の発表をまとめてみました。 私が見た・読んだ範囲で、「各分野にCNNを適用した研究」「画像系深層学習の理論的な研究」「画像ではないが気になった深層学習の研究 」に分けて紹介します。 自分で実際に見た発表については、おすすめ度をつけています。個人の主観によるものですので、弊社の見解とは関係がありません。 ではどうぞ。 各分野にCNNを適用した研究 ここでは、画像系で大きな成果を上げているCNN(畳み込みニューラルネットワーク)を、各分野の画像解析に適用してみた研究を紹介します。 画像

Kerasブログの自己符号化器のチュートリアルをやります。 Building Autoencoders in Keras このチュートリアルではMNISTの手書き数字のデータを例に色々な種類の自己符号化器を示しています。スクリプトは全て記事内に示されているので割愛します。上記の記事内でのモデルは Sequential() で生成したインスタンスに層を add していくのではなく、Model (functional API) で組み立てています。 この方法だと自己符号化器（エンコーダ ＋ デコーダ）全体を学習して後からエンコーダ（デコーダ）部分のみ利用するというのが容易にできました。 以下はチュートリアル内で紹介されているモデルの理解のためのお絵描きです（この記事はお絵描きだけです）。 モデル1： 単純な自己符号化器 モデル2： エンコーダがスパースな自己符号化器 モデル3： 多層な自己符号

以下の記事の続きです。Kerasブログの自己符号化器チュートリアルをやるだけです。 Keras で自己符号化器を学習したい - クッキーの日記 Kerasブログの自己符号化器チュートリアル（Building Autoencoders in Keras）の最後、Variational autoencoder（変分自己符号化器；VAE）をやります。VAE についてのチュートリアル上の説明は簡単なものなので、以下では自分で言葉を補っています。そのため、不正確な記述があるかもしれません。 変分自己符号化器（VAE）って何 実行結果 スクリプト 変分自己符号化器（VAE）って何 そのデータが生成するメカニズムに仮定をおいているとき（そのデータの生成モデルを仮定しているとき）、モデルのパラメータの最適化をするのに VAE を用いることができます。今回は、「それぞれの手書き数字には、その手書き数字に対応

とします。これはReconstruction Errorと呼ばれます。入力したデータになるべく近くなるように誤差逆伝播法で重みの更新を行うことで学習することができます。 1-2. Variational Autoencoder(VAE) VAEはこの潜在変数$z$に確率分布、通常$z \sim N(0, 1)$を仮定したところが大きな違いです。通常のオートエンコーダーだと、何かしら潜在変数$z$にデータを押し込めているものの、その構造がどうなっているかはよくわかりません。VAEは、潜在変数$z$を確率分布という構造に押し込めることを可能にします。 イメージは下記です。 まだよくわかりませんね。実際にプログラムを動かしたものを見ると少しイメージが湧くかと思います。 まずは入力と出力を対比させてみます。（これは$z$の次元を20に設定して学習したものです。）ちょっとぼやっとしていますが、元の形

きっかけ Autoencoder（自己符号化器）は他のネットワークモデルに比べるとやや地味な存在である．文献「深層学習」（岡谷氏著，講談社）では第５章に登場するが， 自己符号化器とは，目標出力を伴わない，入力だけの訓練データを使った教師なし学習により，データをよく表す特徴を獲得し，ひいてはデータのよい表現方法を得ることを目標とするニューラルネットです．ディープネットの事前学習，すなわちその重みのよい初期値を得る目的にも利用されます． と説明されている．「事前学習」を実施する機会はあまりなさそう，ということでこの章は目を通すにとどめ，次の章，畳込みニューラルネット(CNN)や再帰型ニューラルネット(RNN)の章に進む方も多いと思われる． ただよく調べると，事前学習の他にもAutoencoderの使用目的として以下があるようだ． データ圧縮． データノイズ除去．（Denoising Autoe

Deep Learningフレームワークの一つであるChainerを用いてStacked Auto-Encoderの処理を実装し、MNIST (手書き文字認識) のデータの分類を試してみました。 なお、本記事はNeural Network (以降NN)、Deep Learning についての基本的な知識、ChainerやPythonについての基本的な知識があることを前提としています。 (2016/03/18 追記・修正) FunctionSet で書いていたソースコードをChainer 1.5 で追加された仕組み「Chain・Link」で書きなおしてみました。以下、通常版として公開しています。 合わせて、全体的に「Chain・Link」使った内容に修正しています。 本記事で作成したソースコードはGithub上に公開しています。 (通常版) https://github.com/ISP-Ka

オーソドックス な アプローチ（一般的手法） まず は、以下 が よくまとまっている。 株式会社クロスコンパス・インテリジェンス（2016.10.5）「NVIDIA GPU TECHNOLOGY CONFERENCE JAPAN 2016 Industry Deep Learning」 異常値予測 を 行う アプローチ としては、以下 が 一般的な考え方 の ようだ。 （データ量の多い）正常時のデータ挙動の特徴パターンを学ばせて、 新規データが上記の特徴パターンから乖離している場合を、異常とみなす 上記のアプローチをとる理由 は、「異常発生時のデータ」の取得可能件数 は、「正常時のデータ」 に 比べて、取得できるデータの件数 が 圧倒的に少ない から である。 上記のスライド で 挙げられている AutoEncoderモデル や LSTMモデル を 採用し、 AutoEncoderモデル

ISPは、AIを使った異常検知エンジン「gLupe」の開発に成功しました。Factory Automation(以降、FA) / 監視ソリューションでの応用が期待され、多くの注目を集めています。本稿では、ISPのAI異常検知エンジンの仕組みと特徴についてご紹介します。 by Tadaharu Inoue 2016/06/27 ≪ 製品Webページはこちら https://glupe.jp ≫ 「異常検知」とは 定常状態から外れた状態を検知すること全般を「異常検知」と呼んでいます。例えば、製造ラインに流れている製品のキズを自動で見つけたり、食品への異物混入を検知したり、監視カメラに映っている映像からいつもと違う状況を検知したり…、といった用途を想定しています。 「異常検知」をAIで解決する際の課題 これらのシチュエーションに共通していることとして、異常状態のデータを収集しにくい、といったこと

今回は「ほぼＲしか使ったことがない」人間*1が、できる限り二者の優劣をくっきり述べる。 僕はほとんどＲしか使ったことがない。Pythonはtfidfやクイックソートをライブラリ無しで実装した程度。 前半の主張は以下である。 「過去のＲでの１０回程度の解析において、Ｒで不十分さを感じてPythonを使った経験は１度だけ、しかも部分的にしかなかった。Ｒの使いにくさを感じることも最近はだいぶ無くなった。だから初学者には「事足りる」Ｒを勧める。」 前半の主張 今までにＲでやった解析の内容は大体以下である。 （未発表）は途中で頓挫した、もしくは現在進行中／契約により詳細＆解析結果の公開不可能のプロジェクトである。 [ビジネス・製造業] 米国新車価格の線形重回帰分析（授業の期末課題） [ビジネス・不動産] 不動産賃貸価格の線形重回帰分析（発表スライド） [ビジネス・ＩＴ] ＥコマースサイトのＡＲＩＭＡ

この記事は Shiny 公式サイトのチュートリアルを翻訳したものです。 http://shiny.rstudio.com/tutorial/lesson1/ チュートリアル目次：http://d.hatena.ne.jp/hoxo_m/20151222/p1 LESSON1 ようこそ Shiny へ このレッスンは、Shinyアプリをすぐに作れるようになるためのものです。もし、まだ Shiny パッケージをインストールしていないなら、R を起動してインターネットにつなぎ、以下を実行してください。 このチュートリアルでは、RStudio のプレビュー版を使っていることを前提としています。プレビュー版は Shiny を簡単に動かせるような新機能が含まれています。プレビュー版はここからダウンロードできます。（※記事を書いた時点ではプレビュー版にしか無い機能を使っていましたが、現在はその機能は正式

そう言えば3年前にこんなまとめ的エントリを書いたのでした。この内容はそのままかなりの部分が2年前に刊行した拙著の原案にもなったということで、色々思い出深いエントリです。 なのですが。・・・この3年の間に統計学・機械学習・データマイニングの諸手法及びそれを取り巻くビジネスニーズには様々な進歩があり、そろそろこの内容にも陳腐化が目立つようになってきました。ということで、3年間の進歩を反映してアップデートした記事を書いてみようと思います。前回は「10選」でしたが、今回は「10+2選」に改めました。そのラインナップは以下の通り。 統計学的検定（t検定・カイ二乗検定・ANOVAなど） t検定 カイ二乗検定 ANOVA（分散分析） その他の検定 重回帰分析（線形回帰モデル） 一般化線形モデル（GLM：ロジスティック回帰・ポアソン回帰など） ロジスティック回帰 ポアソン回帰 正則化（L1 / L2ノルム

R言語の入門者～中級者向けのページです。R言語の使い方を手とり足とり教えます！Rに初めて触れる方でも、分かりやすい構成にしてあります。また、Rによる代表的な統計解析を自作関数例を交えて紹介しています。リンクをクリックすると、各説明ページ（別ページ）に飛びます。 ※当サイトでは、”R言語”を、省略して”R”と記述することもあります。 ※当サイトで紹介しているプログラムはRでコピーアンドペーストすることで、実行が可能ですが、macのRの場合、書体（形式？）の問題でエラーすることがあるようです。その場合は、貼り付け時にcommand+alt+Vとすることで解消する場合があります。お困りの方はお試しください。ご迷惑おかけして申し訳ございません。 当ページについて これからR言語の勉強をしたいと考えている方、もしくは今すぐにでもRを使って解析をしたいと考えている方に向けたページです。R言語の初心者や