時系列データ分析の処理でやってはいけないこと（反省を含めて） - Qiita
（追記1）用語（"in-sample", "out-of-sample")の使い方が不適切との指摘をいただきました．本記事の後半部にこの点，追記いたしました． （追記2）を後半部に加えました． Qiita投稿した後，内容の誤りに気がついても，手間を惜しんでそのままになってしまいがちである．ごく小さな誤記であればまだいいが，理論的な誤りや勘違いにおいては，間違った発信が続いていることには違いなく，反省しなければならない．（記事削除が手っ取り早いのですが，「いいね」がついていたりすると削除も失礼かと... ） さて，以前 回帰モデルの比較 - ARMA vs. Random Forest Regression - Qiita で時系列データからLag（遅れ）を特徴量として使う Random Forest回帰のやり方を紹介している． 今回は単変量の時系列データであるが，いくつかの過去のデータ使っ
回帰モデルの比較 - ARMA vs. Random Forest Regression - Qiita
各モデルの詳細はWikipedia等を参照していただくとして，基本的にARMAは，AR , MAを含有するモデルであり， ARIMA は，ARMA を含むモデルなので，ライブラリとしては ARIMA がサポートされていれば，上記４つのモデルはすべて対応可能となる．但し，StatsModelsではAPIとしてAR, ARMA, ARIMA が用意されている． 今回，分析を行うデータとして，"Nile" を取り上げた． Nile River flows at Ashwan 1871-1970 This dataset contains measurements on the annual flow of the Nile as measured at Ashwan for 100 years from 1871-1970. There is an apparent changepoint ne
ランダムフォレスト系ツールで特徴量の重要度を測る - Qiita
はじめに 複数の特徴量を含むデータセットを分析する際，ランダムフォレストに代表される決定木ベースのアンサンブル分析器では，特徴量の重要度を算出することができます．これまで，私はブラックボックスとしてこの機能を使ってきましたが，使うツールが増えてきたので，少し使い方を整理したいと思います． まず重要度算出のアルゴリズムですが，"はじめてのパターン認識"（11章）から引用させていただきます． Out-Of-Bag(OOB) 誤り率は次のように計算する．ランダムフォレストは，一つの木を作るときにブートストラップにより使用する学習データを選んでいる．その結果，約1/3のデータは学習に使われない．ある学習について，その学習データが使われなかった決定木のみを集めて部分森を構成し，その学習データをテストデータにして誤りを評価することができる． 決定木ベースのアンサンブルを行う際，上記の方法でOOB誤り率
絵文字フォントの分類をKerasで試みた - Qiita
漫画家の北道正幸氏が2月22日の“猫の日”を記念して，フォント「きたみ字222」を制作・公開している． http://kitamichi.sub.jp/Sites/iblog/C513573485/E937677024/ （紹介記事：http://www.forest.impress.co.jp/docs/review/20160303_746474.html ） まず初めに，ライセンスを確認しておく． ◆ご使用について 「きたみ字222」はフリーウェアです。 商用以外であれば制限なくご自由に使っていただいてかまいません。ただし「フォントファイル本体」の販売・再配布・加工はご遠慮ください。 「きたみ字222」の著作権は北道正幸にあります。 フォント使用によって生じたマシンその他のトラブルには一切の責任を負いません。 （今回，フォントイメージを切り出して機械学習のデータとしましたが，「フォン
初めてのTensorFlow（改訂版）- 線形回帰とロジスティック回帰 - Qiita
以前書いた記事 初めてのTensorFlow - イントロダクションとしての線形回帰 は，TensorFlow が公開された直後のタイミングに執筆したこともあり，私の記事の中でも"いいね"をつけてもらえる記事となっている．ただ約一年半前の記事なので，TensorFlowのバージョンupを考慮し，記事を改訂したいと考えた．内容は，前記事を踏襲し，線形回帰とロジスティック回帰とする． （プログラミング環境は，以下になります．2017/5/29時点．） Python 3.5.2 TensorFlow 1.1.0 Numpy 1.11.3 Scikit-learn 0.18.1 Linear Regression（線形回帰） 前の版の「初めての...」では，"Theano" のTutorial，Newmu/Theano-Tutorials - GitHub を紹介し，これを TensorFlow
ChainerとPyTorchのコードを比較する - 線形回帰編 - Qiita
最近，Deep Learning Frameworkのリリースが続いている．私は，普段は TensorFlow を使うことが多いのだが，Blog記事やGitHubの情報について，ChainerやPyTorchのコードを参考にする機会も多い．特に最近，GitHubにてPyTorchコードが増えており，PyTorchが気になる存在である一方，学習する上での情報量はChainerが多いか？といった悩ましい状況となっている． ここでは，簡単なコードを書きながら，2つのFramework(Chainer vs. PyTorch) を比較してみたい． （プログラミング環境は，以下になります： - Chainer 2.0.0 - PyTorch 0.1.12 - Python 3.5.2 (or 3.5.3) ） Chainerで線形回帰を実装 まず必要なパッケージをimportする
pandasで様々な日付フォーマットを取り扱う - Qiita
新生活応援期間中とのことですので，"pandas"の使い方，特に日付フォーマットについて取り上げたいと思います．「Pythonはデータ分析に強い」という評判がありますが，これは以下のような「定番」パッケージによって実現されています． "pandas" for representing and analyzing data "NumPy" for basic numeriacal computation "SciPy" for scientific computation including statistics "StatsModels" for regression and other statistical analysis "matplotlib" for visualization （以上，"Think Stats" より引用．） pandas は，Seriesオブジェクト(１次元
サーバサイドにおけるmatplotlibによる作図Tips - Qiita
「計算を行い結果を作図して確認」という作業において計算をリモートで実行するケースも多い．この作業フローについて思い浮かぶ選択肢は以下の通り． 計算結果の出力データ（ログ）をファイルに保存．（テキストベースだったり，シリアライズしたものだったり．）それをクライアントに転送し，別のプログラムで作図，確認する． Jupyter Notebookを使う．サーバにてJupyter Notebookサービスを動かし，クライアントからWeb Browserで接続，もちろん図もBrowser上で確認． サーバとリモートデスクトップ接続して，一連の作業を行う． サーバサイドで作図，図のファイル出力まで行う．PNG，PDF等イメージファイルをクライアントPCで見る． これまでは選択肢1, 2を選ぶことが多かったが，今回，選択肢4のサーバサイドでの作図についてTipsを紹介したい． 最初の失敗 「matplot
過渡期にあるTensorFlowとKerasの関係を調べる - Qiita
（ 変数名コントロールの違い について追記しました．） はじめに TensorFlow Dev Summitなどで情報がリリースされていますが，TensorFlowとKerasの統合が進められています．Keras Blog - Introducing Keras 2 から引用します． Keras is best understood as an API specification, not as a specific codebase. In fact, going fowards there will be two separate implementations of the Keras spec: the internal TensorFlow one, available as tf.keras, written in pure TensorFlow and deeply comp
TensorFlow の名前空間を理解して共有変数を使いこなす - Qiita
イントロ これは、TensorFlow Advent Calendar 2016 の9日目の記事です． 2015年の11月に公開されたTensorFlowですが，公開当初から「名前空間」の機能がサポートされていました．これはTensorBoardによるグラフ視覚化において使われますが，もちろんそのためだけにあるわけではありません．名前空間は，識別子の管理に非常に有効です．強力な「名前空間」サポートというとC++を思い出しますが，C++の教則本（独習C++）から引用します． 名前空間(namespace)の目的は識別子の名前を局所化し，名前の競合を避けることです．C++のプログラミング環境では，変数，関数，クラスの名前が急増を続けてきました．名前空間が登場する前は，これらのすべての名前がグローバルな名前空間の中で場所を取り合い，多くの競合が発生していました． 一方，Pythonの変数スコープ
Keras as wrapper of Theano & TensorFlow - Qiita
Kerasは，元々Deep LearningフレームワークTheanoと組み合わせて使うライブラリであったが，最近のアップデートでGoogle製のTensorFlowもバックエンドとして使えるようになっている． Keras: Deep Learning library for Theano and TensorFlow You have just found Keras. Keras is a minimalist, highly modular neural networks library, written in Python and capable of running either on top of either TensorFlow or Theano. It was developed with a focus on enabling fast experimentation
初めてのTensorFlow - イントロダクションとしての線形回帰 - Qiita
（追記: 改訂版の記事を投稿しました - http://qiita.com/TomokIshii/items/0a7041ad337f68f71286 ） 先週(2015/11/9)，Deep LearninのFramework の"TensorFlow"が公開されたが，ドキュメントの説明「MNIST（手書き数字の分類）は機械学習の"Hello World" である．」という箇所に納得がいかない．CourseraのMachine Learning (Stanford)でもそうだったが，機械学習を初歩から学ぶ場合，やはり最初は Linear Regression（線形回帰）と，個人的に考える． 本記事では，最初にLinear Regression（線形回帰）のコードを調べ，次に Logistic Regression（ロジスティック回帰）のコードを作成して，TensorFlowの雰囲気をつか
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
