scikit-learn から学ぶ機械学習の手法の概要 - Qiita
前回、株式の時系列データを分析する話で、後半にちょっとだけ機械学習の話をしました。今日は機械学習ライブラリ scikit-learn に触れます。 scikit-learn といえば以前にも簡単なクラスタリングの例をあげたり、サポートベクトルマシンやクラスタリングで問題を解く、 TF-IDF を計算する、回帰モデルの可視化、 DBSCAN によるクラスタリングといったことをしてきましたが、あらためてライブラリの機能を整理します。 機械学習と言うと難しい数学を駆使するイメージがつきまといますが、完成度の高いライブラリを使えば利用者が機械学習の手法そのものを実装しなくても利用することはできます。もちろん手法の内容に対する理解は必要ですが、せっかく scikit-learn という事実上デファクトとも言えるライブラリが存在するのですから、これを使うところから入門していくのが良いかと思います。 以
でもPythonは目下絶頂期デスネ、コミュニティーがいいから | カメリオ開発者ブログ
こんにちは、白ヤギでは下手の横好き的なPythonistaのシバタアキラです。 カメリオのような複雑なオンラインサービスを開発提供していく上では、様々な開発言語からミドルウェアそしてハードウェアやモニタリングに至るまで、様々な計算技術を応用しています。開発言語自体はあくまで手段であって目的ではないので、自分たちのマインドシェアの中でも小さくあるべきと思っています。一方で、未だにvim vs emacsなんていう些細な選択肢に関しても「戦争」が起こる様に（起こってない？）なんだかんだいって、ツールというのはエンジニアにとってもデータサイエンティストにとってもとても大切なモノです。 昨年PyConJPのスポンサー（今年もやります！）をして以来、Pythonコミュニティーでコアに活動されている方々とお付き合いさせていただく機会も増え、また自分でもPyData.Tokyoというデータサイエンスに特
VPS上でpythonで書かれたwebアプリケーションを運用する - k4zy no blog
サーバーに関する知識が乏しいので，記述が間違っている可能性があります． 対象とする方 サーバーについてあまり詳しくない方(apacheとnginxは聞いたことあるレベル) pythonでwebアプリケーション作ってみたい方(今回はWAFにtornadoを利用します) ruby製のアプリケーション(sinatraとか..)とかもほとんど同じ方法で動作すると思います 今回行う作業 nginxをリバースプロキシとして導入する python環境を整える tornadoでサンプルアプリを書く supervisorでアプリケーション・サーバーを管理する 環境 さくらVPS上でCentOS release 6.4 (Final) , CentOS 5系でも動作を確認しました 1.nginxを導入する 一般的なサーバーは， ポートの80番でapacheが待っててhttpリクエストが来るとapacheが受け
Ubuntu14.04へのCaffeのインストール - kivantium活動日記
Deep Learningライブラリで最も使われるCaffeのインストール方法をメモしておきます。 最終更新日: 2015/12/24 環境設定 Ubuntu 14.04です。基本はCaffe | InstallationとUbuntu Installationに従います。 SIG2D’14を参考にするのもいいと思います。 依存パッケージのインストール sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler sudo apt-get install --no-install-recommends libboost-all-dev CUDAのインストール CPUのみで使う場合はこの過程はスキップできます。 CUDA
Pythonでカーネル密度推定 - Qiita
カーネル密度推定(Kernel Density Estimation: KDE)とは Wikipediaあたりご参考願います。 状況によっては（データ数が多い、滑らかな分布関数に従っている、etc.）、ヒストグラムよりデータの概要を把握するのに役立ちます。 適当なデータを作る まずは必要なパッケージを読み込み、正規分布を重ねあわせた双峰性のデータセットを5個ほど作ります。 import numpy as np from scipy.stats import gaussian_kde import matplotlib.pyplot as plt N = 5 means = np.random.randn(N,2) * 10 + np.array([100, 200]) stdev = np.random.randn(N,2) * 10 + 30 count = np.int64(np.in
scikit-learn準拠の学習器を作ってgrid searchとかcross validationする - でかいチーズをベーグルする
Python Advent Calender 2014の19日目。 scikit-learnに準拠した学習器を自分で実装してscikit-learnに実装されているgrid searchとかcross validationを使えるようにするお話。Pythonの話というか完全にscikit-learnの話なんだけど、まあいいよね。 scikit-learnについてはこの辺がわかりやすいかな。 pythonの機械学習ライブラリscikit-learnの紹介 はじパタlt scikit-learnで始める機械学習 scikit-learn準拠にするには？ 全部下のページに書いてある。 Contributing — scikit-learn 0.15.2 documentation やること sklearn.base.BaseEstimatorを継承する 回帰ならRegressorMixin
【Python Advent Calendar... | DERiVE コンピュータビジョン ブログ
このサイトについて DERiVEはコンピュータビジョン、画像認識が専門のMasaki Hayashiがお送りしている、コンピュータビジョン(Computer Vision)を中心としたITエンジニア、研究向けのブログです。※「DERiVE メルマガ別館」は2015/9月で廃刊致しました、 Python Advent Calendar 2013 の12/22の記事です。 python advent calendar 2013からお越し頂いた皆様はじめまして！私は修士卒業後に開発者をしていたのち、現在大学に戻り博士課程の学生をしているものです。今回は私の専門であるコンピュータビジョンでよく使われているオープンソースの無料ライブラリ「OpenCV(Open Computer Vision) Library」を、pythonから用いる方法をご紹介します。 このブログでは、専門の方向けに「pytho
Theano の 基本メモ - Qiita
ブログ投稿の続きとして、スライドに書けなかったTheanoの細かい部分についてもう少しまとめておこうと思います。 まず、Theano 解説 はTheano特徴を簡潔に表現されているので、一読をオススメします。 ここでも書かれていますが、Theanoの特徴として、 実行時にCコードを生成してコンパイル GPUでの実行のサポート(要CUDA) 自動微分 などがあげられると思います。 Theanoの超簡略チュートリアル http://deeplearning.net/software/theano/tutorial/index.html#tutorial の乱暴な要約です。 まず常にImportしておく３つ この３つはお約束です。 これだけ知っておけば概ね大丈夫 以下の事柄がだいたい理解できれば、Deep Learningの実装を読んで理解したり、変更を加えたりすることができると思います。 T.
主成分分析と独立成分分析とスパースコーディングの比較[python] - 無限の猿
データを教師なしで変換する行列分解手法、主成分分析（PCA: Principle Component Analysis）、独立成分分析（ICA: Independent Component Analysis）、スパースコーディング(SC: Sparse Coding）の比較。 行列分解手法の明確な定義は知らないが、ここではデータを表すベクトルの集合を横に並べた行列をとして、基底を表す行列と係数のを表す行列の積、 に変換する手法とする。これはすなわち、元のデータをの列にあたる基底の線形和、 で表現することを意味する。はデータの基底で表される空間での表現に相当することになる。 ここでが決まっていれば、を求めるのは線形の逆問題（が正則な正方行列であればその逆行列をにかけてやれば良い）となるが、行列分解問題では双方を同時に求める問題となる。自由度も高くなり、、は一意には決まらない。したがって、、に
pandasメモ - Qiita
Python for Data Analysisの日本語版発売記念に よく使いそうなものとか詰まりそうなところとか めちゃくちゃ長くなってしまったので目次 複数のSeriesを結合してDataFrameに DataFrameのインデックス参照 columnの参照 rowの参照 行と列を同時に範囲指定して参照 (ixによる参照) Seriesのインデックス参照 bool値によるマスキング Series同士, DataFrame同士の演算 階層的インデックス stackメソッドとunstackメソッド 名前付け 行または列の名前付け インデックスラベル自体の名前付け ビンニング 列とインデックスの変換 ランダムサンプリング カテゴリカルデータをダミー変数化 グルーピング 複数のSeriesを結合してDataFrameに concatを使ってでaxis=1にすれば良い s1 = pd.Serie
データ解析のためのPythonインストールまとめ - Qiita
注意：この記事は古い情報です。 下記のページを代わりに読んでください。 データサイエンティストを目指す人のpython環境構築 2016 - Qiita 以下は、上記を読んで足りない場合のみ、読むようにしてください。 この記事は、他の言語でのプログラミング経験はあるけどPythonは初めての人向けに、Pythonを使ったデータ解析プログラミングを始めるまでのおすすめルートを示すものです。 対象者は、WindowsまたはMacユーザです。Linuxユーザは自分でできると思うので割愛。 データ解析に必要なもの・ライブラリ Python本体 NumPy: 配列データ（ベクトルや行列）を簡単に扱うためのライブラリ SciPy: 科学計算用ライブラリ matplotlib: グラフの作図ライブラリ pandas: Rみたいなデータフレームが使える （オプション）IPython: 便利な対話環境＋レポ
この1年の優れたIT系書籍はどれか？ 「Jolt Awards: The Best Books」2014年版が発表される
この1年の優れたIT系書籍はどれか？ 「Jolt Awards: The Best Books」2014年版が発表される デベロッパー向けに情報発信をしている米国の「Dr. Dobb's Journal」が毎年優れた書籍を選出する「Jolt Jolt Awards: The Best Books」の2014年度版（2013年7月1日から2014年6月30日までの書籍）が発表されました。 今年選出されたラインナップを見てみると、JavaScriptのビルドシステムのGruntの解説本、Internet of Things関連、セキュリティを設計段階から組み込むための本、シングルページWebアプリケーションの解説、C++言語入門、そしてPythonの解説本の6冊。GruntやIoT、シングルWebページなどが並ぶところが、最近のトレンドを反映しているように思います。 ちなみに、2冊目の「Ret
Pythonでカルマンフィルタを実装してみる
カルマンフィルタは、時間変化するシステムの、誤差のある離散的な観測から現在の状態を推定する手法。Wikipediaの記事（カルマンフィルター）がわかりやすい。 状態方程式と観測方程式が次のように与えられているとき （状態方程式） （観測方程式） （ノイズ） （フィルタ分布）線形カルマンフィルタ(LKF; Linear Kalman Filter)は μt, Σt, ut, yt+1 を入力として、 μt+1, Σt+1を出力する。1ステップのプロセスは以下のとおり。 # prediction （現在の推定値） （現在の誤差行列）# update （観測残差） （観測残差の共分散） （最適カルマンゲイン） （更新された現在の推定値） （更新された現在の誤差行列）観測を得るごとにPredictionとUpdateを繰り返すことで、現在の状態を推定します。 導出は後述（予定）。 例題を。 2次元
強化学習＋為替トレード戦略 – Momentum
概要 ・強化学習をトレード戦略に適用するとこんな感じになるのかなというテスト。我流なので何やってんのpgrという場合も生暖かい眼で何卒よろしくお願いします(ヘッジ文言^^) ・モンテカルロをぶん回すことでQ-valueを推定します。 ・今回は簡単のために初回訪問モンテカルロ(逐一訪問はめんどいのお) ・モメンタム戦略を試すため、状態として過去の自分自身のシャープレシオ(1ヶ月と3ヶ月)を使用しています。 ・行動決定にはEpsilon-Greedy法 初回訪問モンテカルロ いかんせん強化学習の学習自体が何をどう考えて良いか門外漢のため五里霧中＋Pythonも同じく門外漢のため五里霧中のため、自身の勉強方法も探索しっぱなしという^^;; これであってんのですかねえ 詳しくは参考文献[1]のP.134を見てケロというかんじなのですが、 ・現在での状態を確認(状態=過去のシャープレシオ) ↓ ・そ
Python用のjedi.vimのインストール - togatttiのエンジニアメモ
jedi.vimはPythonをvimで書くときにコード補完を行ってくれるvimのプラグイン。 Pythonを書くときには、必要不可欠ということで、色々な場所で紹介されていたの で入れてみる。 davidhalter/jedi-vim · GitHub CentOS5.9 Vim7.3を用意 jedi.vimはvimプラグインの管理を行うためNeoBundle経由でインストールしていく。 しかし、NeoBundleを利用する際には、7.3系〜が必要となる。 既にバージョンが適合すれば、下記は飛ばしてもいい作業。 vimコマンドは/usr/local/vim-7.3/bin/vimでたたけるので、適当にalias登録しておく。 NeoBundleのインストール、利用方法 今後vimプラグインを置いておく場所を~/.vim/bundleとして、 その中にGitHubからcloneしたneobu
VimでPython環境をいい感じに整える - Qiita
注： この記事は「Feb 12th, 2013 12:44am」に別ブログで書いたものです。 まえがき 思うところあって、Pythonを始めてみることにしました。 そのために環境を整えていたのですが、いじりだすと色々と気になって、結局まだPythonそのものは全然書けていないですw ただ、その代わりそこそこいい感じになったので、何をしたのかまとめてみました。 あ、OSは「OS X 10.8 Mountain Lion」です。OSに依存するような話はないと思いますが、念の為。 Pythonそのものの環境設定 まずはPythonそのものの環境構築です。本題ではないですが、別記事にするほどでもないので、備忘録を兼ねてここに。 Pythonの環境設定でむかついてる人はとりあえずこれをコピペで実行してください - YAMAGUCHI::weblog ZONOTE: Python mac に virt
pythonの軽量framework, Bottle - Qiita
偶然pythonを使って簡単なweb applicationを作ることになったので使ってみた。 求めるものとしては 導入が簡単 routingなどの最低限の機能 template があればよかった。ちょうど探してみるとBottleというのが良さげだったのでメモ代わりに。 とりあえずpython自体も初めて使うのでpythonのインストールから python2系か3系か、どっちを使えばいいのかすら分からなかったのでとりあえず複数の環境を持てるpyenvを使うことに。 pyenvのinstall cd ~ git clone git://github.com/yyuu/pyenv.git .pyenv echo 'export PYENV_ROOT="${HOME}/.pyenv"' >> ~/.zshrc echo 'eval "$(plenv init -)"' >> ~/.zshrc e
PythonでTwitter BOTを作る « lab.naoki.sato.name
とあるツイートにインスパイアされて、Flickrから写真を取得してTwitterに投稿するBOTを作ってみました(ネコ、イヌ、ペンギン、ウサギ、ハムスター、赤ちゃん、とリスト)。 TwitterのBOTくらいなら簡単に作成できる…と思っていたのですが、先日のBASIC認証廃止で、OAuthによる認証が必須となり、簡単なBOTでも結構ややこしい手順をふむ必要が出てきました。 そこで、少しでも楽をするために、今回はPythonを使って構築しています。 適当なライブラリを活用することで、認証の処理がかなり容易になります。 以下、一連の作業と作成したソースコードの記録です。 BOTアカウントの登録 なにはともあれ、BOT用のアカウントを登録します。 こちらのページから、通常通りアカウントを作成します。 後々、このアカウントに紐づいたアクセストークンが必要となります。 登録を終えたら通常通りロ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
言語処理100本ノック 2015
NetworkXによる語彙ネットワークの可視化
