http://www.zakkiworkdiary.com/entry/2016/11/18/225851
【統計学】尤度って何？をグラフィカルに説明してみる。 - Qiita
%matplotlib inline import matplotlib.pyplot as plt import matplotlib.cm as cm import numpy as np import seaborn as sns import numpy.random as rd m = 10 s = 3 min_x = m-4*s max_x = m+4*s x = np.linspace(min_x, max_x, 201) y = (1/np.sqrt(2*np.pi*s**2))*np.exp(-0.5*(x-m)**2/s**2) plt.figure(figsize=(8,5)) plt.xlim(min_x, max_x) plt.ylim(0,max(y)*1.1) plt.plot(x,y) plt.show() この図は、平均$\mu$、標準偏差$\sigma$
Python Jupyter + Cesium.js で 3D 地図が描きたい - StatsFragments
Cesium.js とは Web GL を利用して 3D 地図を描画する JavaScript ライブラリ。かなり多機能で様々な見せ方ができるようだ。詳しく知りたい方は公式サイトの Demos を見ればいい。 cesiumjs.org これを Jupyter Notebook に埋め込んで使いたい。Cesium.js には Python の wrapper などはないため、直接 JavaScript を書いて使う。従って、利用できる機能に差異はない。このエントリでは Cesium.js の機能の詳細には触れず、Jupyter に関係する内容のみ記載する。 具体的なやり方はこちらと同じ。 sinhrks.hatenablog.com データの準備 先日のエントリで作成した、 アメリカの国立公園 のデータを使う。 sinhrks.hatenablog.com 以降、すべて Jupyter No
Google Earth上にグラフを簡単に描画できるPythonライブラリgoogleearthplotを作った - MyEnigma
Google Earthアプリケーション開発ガイド KML、Earth&API徹底活用posted with カエレバ古橋大地,渡邉英徳,小山文彦 KADOKAWA/アスキー・メディアワークス 2014-02-01 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに Google Earthによるかっこいいグラフ Google Earth上にグラフを簡単に描画できるPythonライブラリgoogleearthplot googleearthplotを使うのに必要なツール simplekml pandas Google Earth (Pro) インストール方法 使い方 点をプロットする 棒グラフ CSVファイルから棒グラフを作成する ラインプロット 高さ情報付きのラインプロット CSVファイルデータに基づくラインプロット CSVファイルデータに基づく３Dライン
TensorFlowのTutrialの解説と機械学習の実験をした。 - のんびりしているエンジニアの日記
今日は様々な箇所で賑わっているTensorFlowを使ってみました。 皆さんこんにちは。 お元気でしょうか。朝弱いと結構困りますよね。 TensorFlowが盛り上がってたのでつい書いてみました。 TensorFlowとは http://tensorflow.org/ http://download.tensorflow.org/paper/whitepaper2015.pdf （詳細にライブラリのことを知りたい人はこちらのpdfへどうぞ） TensorFlowはGoogleが開発したデータフローグラフを使用した数値計算ライブラリです。 グラフの各ノードは数値計算のオペレータを示し、エッジはデータの配列を示す。 desktopやserverなどでのCPU,GPU演算をシンプルなAPIで実現することが可能です。 開発者は、GoogleのBrain Teamの研究者、エンジニアです。目的は、機
TensorFlow 畳み込みニューラルネットワークで手書き認識率99.2%の分類器を構築 - Qiita
TensorFlowとは2015/11/9にオープンソース化されたGoogleの機械学習ライブラリです。この記事ではディープラーニングと言われる多層構造のニューラルネットワークをTensorFlowを利用して構築しています。 TensorFlowはPythonから操作できますがバックエンドではC++で高速に計算しています。macのPython2.7系環境でTensorFlowの上級者用チュートリアルを行い、手書き認識率99.2%の多層構造の畳み込みニューラルネットワークモデルの分類器を構築したときの作業メモです。特別な設定なしにCPU使用率270%メモリ600MByteとちゃんと並列計算してくれました。MNISTランキングを見ると認識率99.2%は上位のモデルとなるようです。 TensorFlowチュートリアル TensorFlowの初心者用と上級者用チュートリアル2つに取り組んでみました
スタバのTwitterデータをpythonで大量に取得し、データ分析を試みる その１ - Qiita
from requests_oauthlib import OAuth1Session from requests.exceptions import ConnectionError, ReadTimeout, SSLError import json, datetime, time, pytz, re, sys,traceback, pymongo # from pymongo import Connection # Connection classは廃止されたのでMongoClientに変更 from pymongo import MongoClient from collections import defaultdict import numpy as np KEYS = { # 自分のアカウントで入手したキーを下記に記載 'consumer_key':'**********',
機械学習クソ素人の俺がプロダクトをリリースするまでの2ヶ月で覚えたこと - Qiita
scikit-learnでちょっとした機械学習をするのは、LAMPでちょっとしたWebアプリをつくるよりも簡単です。 下記に自分が入門してから2ヶ月間で覚えたことをまとめました。 ハイライト 重要だと思ったこと3つ 機械学習の概要 scikit learnについて Google Prediction API,Mahout,Spark,Cythonについてそれぞれ一言所感 重要だと思ったこと3つ 1.機械学習に明るい友人をもつこと どんな技術でもそうだけど、友人に聞いて概要を先に掴んでおくと自信を持って進めることができます。この自信を持っていると心が折れにくくなります。 @fukkyyに「入門サイトは難しい用語つかってビビらせてくるけど、ライブラリを使えば機械学習はこわくない」と教わり、巷にある入門サイトを無視してライブラリをたたき始めたので入りやすかったです。 @ysks3nに次元削除や各
Pythonで機械学習アプリケーションの開発環境を構築する - Qiita
Pythonで機械学習アプリケーションの開発環境、具体的にはNumpy/Scipy/scikit-learnを導入する手順について解説します。 なお、環境はPython3ベースを想定しています。 Minicondaベース(推奨) 機械学習系のパッケージはコンパイルが面倒なものが多いため、コンパイル済みバイナリをインストールできるconda(Miniconda)での環境構築を推奨します。 まずはPython本体(Python3想定)、パッケージ管理ツールであるpip、仮想環境を作成するvirtualenv、といった基本的な環境の構築を行います。 ※virtualenvについては今回(condaを使う場合)は不要ですが、Pythonで開発を行うなら入れておくべきパッケージなので併せて入れておきます。 Mac/Linux デフォルトのPythonと分けてインストールするため、pyenvを利用しま
クローラー／スクレイピング本がざくざく - プログラマでありたい
2015年8月末に、クローラー／スクレイピング本が2冊同時に発売です。Python版メインのものとJavaScript版メインのものです。なかなか市場のニーズ突いてきていますね。 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 作者: nezuq,東京スクラッパー(協力)出版社/メーカー: マイナビ発売日: 2015/08/28メディア: 単行本（ソフトカバー）この商品を含むブログを見るJS+Node.jsによるWebクローラー/ネットエージェント開発テクニック 作者: クジラ飛行机出版社/メーカー: ソシム発売日: 2015/08/31メディア: 単行本この商品を含むブログを見る 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニックは、Py
pythonのOpenCVでリアルタイムに笑い男 - Blanktar
2016-01-11 追記HTML5版もあります。併せてどうぞ。 先ほどの記事から何だか調子に乗ってしまってリアルタイムな笑い男を作ってみた。 組み合わせればリアルタイムにモザイクももちろん出来るはず。眠いからやらないけれど。 今回はpillowを使わずにOpenCVとnumpyだけでやってみました。 そのせいで合成まわりが面倒くさくなってしまった感じ。素直にpillow使えばよかったかもしれない。 笑い男の画像はぐぐって拾ってきてください。透過pngなら何でも動くはず。多分。 0: for rect in faces: rect *= 4 # 認識を4分の1のサイズの画像で行ったので、結果は4倍しないといけない。 # そのままだと笑い男が小さくって見栄えがしないので、少し大きくしてみる。 # 単純に大きくするとキャプチャした画像のサイズを越えてしまうので少し面倒な処理をしている。 rec
Pythonでvirtualenvの構築を自動化する - HDE BLOG
おはこんばちは!! 尾藤 a.k.a. BTOです。 pythonで開発環境を構築する時は、virtualenvを使うことが多いかと思います。 弊社のプロダクトでもvirtualenvを使って、各開発者の環境を統一しています。 そこで問題になるのがvirtualenvの構築です。 virtualenvの構築を主導でやっていると、手作業によるミスが起きやすいですし、何より最初からすることが決まっている処理は自動化したいものです。 そこで、virtualenvの環境を自動で構築するために、virtualenvのbootstrapを使用しています。 virtualenv bootstrap script を作っておけば、 % python create.py ~/.venv/your-project みたいにして、コマンド一発でvirtualenvの構築と必要なライブラリのインストールが一発でで
データサイエンス向けのPython統合開発環境「Rodeo」をリリース
「Rodeo」は、Pythonでデータサイエンスを取り扱うためのIDEで、軽量なIPython Notebookとしても使える。なお、Yhatではかねてより「Rodeo」を内部的に使用していた。 IPython Notebookは、プレゼンテーションやチュートリアルには便利なものの、データサイエンスにおける日常的な作業に使うには大きすぎ、Sunlime TextやVIMといったエディタも、同様といえる。「Rodeo」は、オートコンプリート対応ターミナル、テキストエディタ、プロットの閲覧といった、データサイエンスでのデータ解析に最低限必要な機能を搭載して開発された。 ただし、ミニマルな環境でも動作するものの、軽量なPythonとしての使用では、パフォーマンスがわずかに劣る場合もある。 内部的には、UIとPython環境との通信を行うために、IPythonカーネルを使用する。エディタには、「R
最強の野球オープンデータ「Retrosheet」をPythonでHackしてゲームに勝つる何かを作ろう（序章） - Lean Baseball
※このエントリーの内容ですが、ソースコード公開含めパワーアップして別のエントリーにまとめました！！！新しい方を見るといいかもです！！！！ shinyorke.hatenablog.com 春季キャンプスタート!&週ベ*1野球選手名鑑号発売で球春がやってきましたねこんばんは！ PepperやらRaspberry Piやらに浮気をしていた私*2ですが、なんだか面白い野球のデータを見つけた&Hackしたいキモチが高まったので久々に野球Hackをしてみました！ とりあえずデータをクリーニングして使える所まできたのでレポート書きますねー 最強の野球オープンデータ「Retrosheet」 野球のデータといえばやはり「スコアブック」で、試合の結果、打者の打席結果、投手の投球内容を一挙手一投足追いかけたい訳で、そんなデータ無いかなぁ、、、と探してたらありました！！！ Retrosheet http://w
【Python で数値解法】基本統計量・多変量解析・機械学習（最適化計算）アルゴリズムを自力コードで実装学習 ～ 連立方程式の解法（Gaussの消去法） 編 - Qiita
以下の教科書の pp.83～85 所収の JavaスクリプトをPythonに置き換えて実行してみます。 赤間世紀（著）『Java2による数値計算』（技報堂出版） （C言語のコードを掲載した以下のウェブサイトも参考になります) みその計算物理学「ガウスの消去法の数値計算例(C言語)」 ガウスの消去法のアルゴリズムについては、以下の本のpp.7～10 から抜粋・引用して紹介します。 赤間世紀（著）『Javaによる応用数値計算』（技報堂出版） 連立方程式の数値計算アルゴリズム （ 以下、赤間『Javaによる応用数値計算』pp.7～10 を抜粋・引用。但し、句読点は適宜補った） 以下の連立方程式は、 \left\{ \begin{array}{l} a_{11}x_1 + a_{12}x_2 & \cdots & + a_{1n}x_n = b_1\\ a_{21}x_1 + a_{22}x_2
Python pandas 日本語環境向けのちょっとしたパッケージ作った - StatsFragments
最近の空き時間は GitHub で草植えをしている。まずは pandas を日本語環境で使う場合に たまに必要になる処理をまとめた パッケージを作った。 インストール pip install japandas 機能 機能の一覧はこちら。 日時処理 日本語日付のパース 日本の祝日カレンダー 文字列処理 Unicode 正規化 全角/半角変換 リモートデータアクセス 詳細はドキュメントを。 http://japandas.readthedocs.org/en/stable/ 日時処理 日本語日付のパース pandas には 日付らしい入力を適切に処理してくれる pandas.to_datetime があるが、これは日本語の日付 ( "XX年XX月XX日" とか ) に対応していない。例えば 以下のような入力は日時としてパースされず 文字列のまま残ってしまう。 import pandas as
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
argmax LLC
【大規模スマホゲー】Python未経験エンジニアとの最初の1ヶ月OJTメモ - Qiita
IBM Developer
言語処理100本ノック 2015