Python 機械学習プログラミング データ分析演習編この資料では、Pythonのデータ分析ライブラリーである「pandas」を使う練習を目的として、データ分析の初歩的な内容を解説しています。 2015/11/25 ver1.0 公開 2015/12/11 ver1.1 仮説検定の説明を分かりやすく修正 2016/11/15 ver2.0 改訂版公開、scikit-learnの利用例を追加 2017/06/11 ver2.1 仮説検定パートを削除、sklearnの利用例をアップデート
[AWS]AmazonLinuxの仮想マシンの上にDocker入れて機械学習（TensorFlow）動かす - Qiita
自前の物理環境を用意せずにTensorFlowを動かしたかったので、AWSのmicroインスタンス上に環境を構築した際の手順まとめ。 #TensorFlowって? 2015/11/10にGoogleが公開した機械学習技術のライブラリで、サンプルを眺めただけでも以下のような学習機が使えるようだ。 手書き文字認識 リカレントニューラルネットワーク(RNN) 畳み込みニューラルネットワーク(CNN) ###前提環境 AWS EC2 上のVM Amazon Linux AMI 2015.03.1 (HVM), SSD Volume Type - ami-1c1b9f1c Docker 1.7.1 Ubuntu 14.04LTS(Docker上のコンテナ） AWSへの登録や仮想マシン登録は終わっている前提 ####AWS EC2 上のVMにDocker導入 VMにsshでログインし、以下のコマンドを
![[AWS]AmazonLinuxの仮想マシンの上にDocker入れて機械学習（TensorFlow）動かす - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b3d52cbc4a658336360629e5b640c1bb6c96048b/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTAwOTEwJTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA4MjM5P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTU1NWI5N2IyNGQ2YjRiZmU2NDhjNTE1MTcwODJjNDFh%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253De4699f1f27e97c653b791a8430f67908%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCQVdTJTVEQW1hem9uTGludXglRTMlODElQUUlRTQlQkIlQUUlRTYlODMlQjMlRTMlODMlOUUlRTMlODIlQjclRTMlODMlQjMlRTMlODElQUUlRTQlQjglOEElRTMlODElQUJEb2NrZXIlRTUlODUlQTUlRTMlODIlOEMlRTMlODElQTYlRTYlQTklOUYlRTYlQTIlQjAlRTUlQUQlQTYlRTclQkYlOTIlRUYlQkMlODhUZW5zb3JGbG93JUVGJUJDJTg5JUU1JThCJTk1JUUzJTgxJThCJUUzJTgxJTk5JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9ZGYxNDQzMTI2MTBmMjI0ZmNlNWU2YzQ5MzQ3YWZlMmU%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBzbm93bW9vbjY0NjcmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz02ODZkNGY2Mjc3YWZlNzZiNDU0YzY2NzE3Y2Y4YjU0ZA%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dc633c0a9f0043defa87d109356cbd304)
R vs Python：データ解析を比較 | POSTD
主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。PythonとRを比較をしていき、同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していきます。こうすることで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。 Dataquest では、PythonとRの両方の言語のレッスンを行っていますが、データサイエンスのツールキットの中では両者ともそれぞれに適所があります。 この記事では、NBA選手の2013/2014年シーズンの活躍を分析したデータセットを解析していきます。ファイルは ここ からダウンロードしてください。解析はまずPythonとRのコードを示してから、その後に2つの異なるアプローチを解説し議論していきます。つま
Jupyterで日本語ラベルを使ったグラフを描画する - Qiita
IPython Notebook、デフォルト状態ではグラフ中の日本語ラベルが豆腐になるので設定ファイルで日本語フォントを指定して使っている人が多いと思う。しかしIPythonを3にアップデートしたらIPython NotebookがJupyterになり、日本語が再び豆腐になってしまった。 どうやら設定ファイルの構成が変わった様で、既存のProfileをそのまま使えなくなった。ipython_*_config.pyファイルは既存と同じ名前の物でもデフォルトの内容が変わっているので、Profileごと作り直した方が良さそう。 Jupyterの設定ファイル IPython 3.x系ではIPython 2.x系の ipython_notebook_config.pyがipython_kernel_config.py と ipython_notebook_config.py に分かれた模様。 Mat
作図系ツール・ライブラリまとめ
diag.md シーケンス図とかフローチャートをしごとで描画することになった場合、 テキストから生成できたら楽なので、それ系のツールまとめ GraphViz http://www.graphviz.org/ C製 Doxygen, Moinmoinなどと連携可能 ブロック図、クラス図、ネットワーク図など PNG, SVGなど 出力可能形式一覧 JavaScript（Emscripten）版もある。リアルタイムプレビュー出来て便利 https://github.com/mdaines/viz.js PlantUML Java製 シーケンス図, ユースケース図, クラス図, アクティビティ図, コンポーネント図, ステート図, デプロイ図, オブジェクト図などめっちゃたくさん作れる PNG, SVG, LaTeX, ASCII出力 なんとワイヤーフレームも作れる。アイコンとかも入れられる。 オ
クローラー／スクレイピング本がざくざく - プログラマでありたい
2015年8月末に、クローラー／スクレイピング本が2冊同時に発売です。Python版メインのものとJavaScript版メインのものです。なかなか市場のニーズ突いてきていますね。 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 作者: nezuq,東京スクラッパー(協力)出版社/メーカー: マイナビ発売日: 2015/08/28メディア: 単行本（ソフトカバー）この商品を含むブログを見るJS+Node.jsによるWebクローラー/ネットエージェント開発テクニック 作者: クジラ飛行机出版社/メーカー: ソシム発売日: 2015/08/31メディア: 単行本この商品を含むブログを見る 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニックは、Py
第2回 便利なライブラリ、パッケージとチーム開発 | gihyo.jp
はじめに 鈴木たかのりです。 前回に引き続きPythonエンジニア養成読本という書籍の読書会イベントについてレポートします。 第2回の読書会は6月18日(木)にアライドアーキテクツ株式会社の会議室で開催されました。 当日はだいたい以下のタイムテーブルで進めました。 19:00-19:15 参加者の自己紹介 19:15-19:45 「Appendix1 便利な標準ライブラリ、サードパーティ製パッケージ」 19:45-21:00 「第3章 開発環境とチーム開発」 21:00-22:00 ビアバッシュ（ビールとピザでの参加者懇親会） 今回も前回と同様に本書の読み合わせは行わず、ざっと内容について解説をしたあとに質疑応答を中心に進めました。 写真1 読書会の様子 自己紹介 最初に全体で自己紹介を行いました。全部で23名の方が参加してくださいました。また、今回は著者6名のうち5名が参加していまし
OLの事務vim日記 - 藻ログ
4月から都会でOLとして働き始めたので, OL的windowsの事務処理環境を手探りで作ってみました. OLとWindows 事務処理といえばOffice, 当然Windowsで行うことになります. 今時のOLは家ではLinuxを使っているはずなので, 自然とシェル環境で困ることになります. Windowsが本当にわからない linuxコマンド使いたい（DOS音痴） Cygwinは嫌い MinGW+MSYS にしてみたい(けど未だによくわかってない) 事務PCなので, 大掛かりな環境は入れたくない（入れられない） WSL ? そもそも Windows7 なので（ry） などのモチベーションから 色々見ていてcmderが良さそうだなと思ったのですが cmder.net 所属機関でフィルタされて落とせなかった（つらい）ので, ConEmu + msys bash の組み合わせで端末環境を整える
プログラミングとなら、できること／図書館となら、できること番外編
少女：聞きたいことがあるんだけど。プログラミングとかする？ 少年：しない。 少女：前に何かちょこちょこっと作ってたことなかった？ 少年：コンピュータ周りの雑用をやらせるスクリプトのこと？ 大抵は数行くらいの使い捨てだけど。繰り返し使ってるのは、近代デジタルライブラリーからダウンロードして一つのファイルにまとめる奴くらい。 少女：あ、それ欲しい。そういうのってどうやったら作れるようになるの？ 少年：うーん、こういうのは禁煙さんが詳しいんだけど。よく使ってるのはPythonってプログラミング言語だけど、これも禁煙さんのオススメだったし。 少女：そうなんだ。ねえ、今度一緒に禁煙さんとこ行かない？ 少年：いや、それはちょっと。 少女：あれ？苦手だっけ？ 少年：少し。コンピュータの話になると、あの人ちょっと…･･･。 少女：ふーん。じゃあ禁煙さんに教わったこと、教えて。 少年：教わったっていっても大
Jupyterがすごい勢いでやってくるからお前ら備えとけ（IPython Notebook + R） - Qiita
今までIPython Notebook上でRを動かそうとするとrpy2やらをごにょごにょやるとかいう方法がありましたが、いちいち%%を打ったりといろいろ不便でした。 が、先月末（2015/02/27）のIPython 3.0のリリースでIPython Notebookが大きく変わり、（まだ開発版ですが）Rとの連携もかなり楽になりました！というか今後はRだけでなく、Juliaや他の言語もカバーする方向に進むそうで、特定の言語に依存しない部分をJupyterという別プロジェクトでやっていくそうです。 代表的な言語のJupyterカーネルとしては以下のようなものが存在する模様。 Python (https://github.com/ipython/ipython) Julia (https://github.com/JuliaLang/IJulia.jl) R (https://github.c
Yum is dead, long live DNF | DNF
Do you wonder why you don’t have yum package installed on the Fedora 22 clean installation and why you get warnings when calling /usr/bin/yum executable or any yum-util plugin about deprecation of Yum? You see right, Yum is gone. Literally. And DNF is the new default Fedora package manager. DNF is fork of Yum with the state-of-art SAT-based dependency solver and was supposed to replace Yum in Fedo
コマンドラインで入力ミスった時に、「fuck」と打ち込めば自動修正してくれるツールがスゴイ！
コマンドラインで作業をしていると、タイプミスや誤入力でエラーが表示されて「イラッ」とした経験を持つ方もいるかと思います。 こんな時、海外ならば「Fuck!(クソッ)」という汚い言葉使いになってしまうでしょう…。 ところが、それを逆手にとって「fuck」とそのまま入力するだけで、誤ったコマンドを自動修正して再実行してくれる便利ツール「The Fuck」が公開されていたのでご紹介！ 使い方！一体どのように使うのか、いくつか事例が掲載されているので見ていきましょう。 例えば、何らかのツールをインストールしようとして、管理者権限「sudo」を付け忘れてエラー…、みたいなよくあるパターン。 $ apt-get install vim E: Could not open lock file /var/lib/dpkg/lock - open (13: Permission denied) E: Una
初心者でもほぼ無料でPythonを勉強できるコンテンツ10選 -
Photo by photobom こんにちは。谷口です。 プログラミングをこれから学ぼうとしている方や、これから研修や実務に入る新人ITエンジニアの皆さんの中には「Pythonを学習したい」という方も多くいらっしゃるかと思います。 Pythonは1990年代前半からオランダ人のグイド・ヴァンロッサムによって開発されたオブジェクト指向スクリプト言語です。 Pythonは文法が必要最小限に抑えられており、ITエンジニアの学習の負担が軽減された開発言語と言われています。 海外では、近年Pythonによる開発が急速に増加しており、各種モジュール等が充実しています。Googleの開発に置けるメインのスクリプト言語ともされています。 日本国内でも、読みやすさ（＝保守性）を重視する企業や、スマートフォンのバックエンド等では積極的に取り入れる企業が増加してきており、これからの一層の普及が期待される言語で
Pythonで機械学習アプリケーションの開発環境を構築する - Qiita
Pythonで機械学習アプリケーションの開発環境、具体的にはNumpy/Scipy/scikit-learnを導入する手順について解説します。 なお、環境はPython3ベースを想定しています。 Minicondaベース(推奨) 機械学習系のパッケージはコンパイルが面倒なものが多いため、コンパイル済みバイナリをインストールできるconda(Miniconda)での環境構築を推奨します。 まずはPython本体(Python3想定)、パッケージ管理ツールであるpip、仮想環境を作成するvirtualenv、といった基本的な環境の構築を行います。 ※virtualenvについては今回(condaを使う場合)は不要ですが、Pythonで開発を行うなら入れておくべきパッケージなので併せて入れておきます。 Mac/Linux デフォルトのPythonと分けてインストールするため、pyenvを利用しま
Macでdefaultsコマンドで設定出来るオプションを調べる
B! 66 0 0 0 Macではdefaults というコマンドを使ってコマンドラインからシステムの設定や アプリ毎の設定を確認したり変えたりすることが出来ます。 ただ、どの様な事が出来るのか、は色々な所で書かれてる物を断片的に集めるしか無く、 何が出来るのか知る術がなかなかよい方法がありません。 defaultsコマンドそのもので現在設定されている物は確認出来るので、 そこからコマンドに戻してあげればある程度使いたい設定項目が 分かるだろう、ということでそのリストを作るコマンドを作ってみました。 parse-plist プロパティリスト plistの解析方法 xml.dom.minidomを使った解析 plutilを使う 使い方 もうちょっと色々やってみようというところ parse-plist ということで作った物が以下にあります。 bin/parse-listを適当なPATHの通った
Pythonの対話モードの履歴を残す方法
B! 33 0 0 0 久々にPYTHONSTARTUPで履歴を保存するように久々に設定しなおしたのでメモ。 PYTHONSTARTUP 履歴を残して次回も使えるようにする PYTHONSTARTUP 通常Pythonで対話モードを始めるときには $PYTHONSTARTUPで指定されるファイルが読み込まれます。 -i <file>が渡された時は$PYTHONSTARTUPの代わりに<file>を読み込みます。 また、-c <command>が渡された時は<command>が実行されます。 ~/.pythonstartup.py 1 2 #!/usr/bin/env python print 'Python Startup!' とか言うファイルを~/.pythonstartup.pyとして置いておくと、 $ export PYTHONSTARTUP="~/.pythonstartup.py
改めて、direnvを使いましょう！ - HDE BLOG
HDE クラウドプロダクト開発部の小本です。 私のお気に入りツールdirenvを紹介します。 direnvとは・・・ シェルのcdをフックし、ディレクトリごとに環境変数を自動設定するツール pyenvなどを置き換えることができるツール Pythonistaも、Rubyistも、Gopherも、みんな使って損はないツール direnv以前の世界（pyenvはawesomeだった） Pythonには、プロジェクトそれぞれに専用の環境を作ってPythonのバージョンやライブラリを切り替えることができるツールがあります。 専用環境を作れる virtualenv 専用環境をコマンドで簡単に切り替えられる virtualenvwrappper と進化し、その最終形態がpyenvです。 pyenvはあらかじめディレクトリに環境を紐付けておくと、ディレクトリにcdしたとき、勝手に環境を切り替えてくれます。
Windows & プロキシ配下でPythonを開発する君へ - Qiita
まず言っておくべきなのは、もしあなたがMacかLinuxを持っているならPythonはそれらで開発したほうがいいということだ。 WindowsでのPythonはかなり手間になる。しかし俺のPC、というかWindows以外選択肢がないんだよという方に向け、PythonをWindows、また同じく躓きの元になるプロキシ配下で行う場合の注意点をまとめておきます。 Pythonのインストール これは迷うことなく、Downloadページから・・・と思いきや、そうではなくこちらからダウンロードすることをお勧めしたい。 Miniconda Minicondaとは、Pythonに数学系処理のライブラリをガッツリ詰め込んだAnacondaのライト版である。 本家PythonでなくMinicondaを入れる最大の理由は、condaコマンドである。 Pythonにおけるパッケージインストールツールであるpipは
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://hogehuga.com/post-241/
第1回 機械学習の基礎
