FIT 2016 Tutorial 資料 スライド: http://goo.gl/MeMZyO Part2 資料: http://goo.gl/y6ZmKr Part3 資料: http://goo.gl/ATC9yv
皆さんこんにちは お元気ですか?私は元気です。 Pythonにおける高速化手法を掲載してみます。 簡単なコード並びに索引のような感じで引けるようなイメージで作成しました。 本日の目次です。 Pythonにおける高速化の必要性 Pythonの高速化 高速化の手順 Profiling 基本的な条件 計測コード Pythonの基本的な書き方部分 rangeよりxrangeを(Python2.7) リストの生成 文字列結合 Import文のコスト 関数呼び出しのコスト ドットを避ける yieldを使う Numpyに関するTips Numpyを使用して基本演算を高速化する Numpyの要素にアクセスする演算をしない Numbaで手早く高速化 その他高速化ツール Cython Dask PyPy 感想並びに展望 参考文献 Pythonにおける高速化の必要性 PythonはC++やJavaと比較すると非
というわけで( Pylearn2 の tutorial でお勉強 - 3時間目 - まんぼう日記 ),Theano で GPU 使って計算できるようにしたいのです.そのためにまずは CUDA を入れましょー. 対象は MacBook Pro Retina 15inch, Mid 2012 で,GPUは Intel HD Graphics 4000 512MB (Integrated) と NVIDIA GeForce GT 650M 1GB (discrete) の2本立てです. CUDAのインストール CUDA Zone ==> Downloads ==> CUDA 6.5 Production Release をダウンロード. Getting Started Mac OS X :: CUDA Toolkit Documentation にしたがっていろいろ. まずは上記ページの 2.
自分の環境を構築する方法のメモ リモートで作業する時に必要になったのでメモる 参考にしたサイトの方がわかりやすい可能性あり 環境は、mac OSX: Yosemite です。 pyenvはpython環境を管理するものです。 標準とは違う環境のpython環境を作成できます。 参考URL: pyenvおよびvirtualenvの使い方 pyenvでPython環境を管理する方法 pyenvとvirtualenvを使ってみる 説明とか読みたくない人(知識のある人) https://github.com/KodairaTomonori/Qiita/blob/master/shell/construct_pyenv.sh これをコピーして、実行するとホームに環境が構築される ホーム以外に構築したい場合は、~/の部分を任意のpathに書き換えたらできます。 ※~/.bash_profileに追加書
distplotに凡例ラベルlegend labelを追加する方法。 In [1]: import pandas as pd In [2]: import numpy as np In [3]: import seaborn as sns In [4]: import matplotlib.pyplot as plt In [7]: df0 = pd.DataFrame(data=np.random.randn(10,1), columns=['V']) In [8]: df0['Key'] = '1st' In [10]: df1 = pd.DataFrame(data=np.random.randn(10,1), columns=['V']) In [11]: df1['Key'] = '2nd' In [13]: df = pd.concat([df0,df1]) In [15]:
2015 年は td-client-python のリリースに始まって (正確には 2014 年の Advent Calendar の Python Pandasからトレジャーデータを叩く?)、Treasure Data にとっての Python 元年と呼ぶことのできる年だったと思います。 何か td-client-python について書こうかとも思ったのですが、ソース読めば分かるようなことを書き下してもあまり面白くないので、ソースを読んでもよく分からないと一部で評判の pyenv および pyenv-virtualenv の実装についてこの機会に一部説明しようと思います。ぶっちゃけ Treasure Data とあんまり関係ないけど、td-client-python のテストにも pyenv 使ってるし Advent Caledar に書いても許される... はず。 pyenv とは
AWS CDK 1 2 AiiDA Ansible AnyIO Apache Airflow Provider AsyncIO BEAT BFG Bob Bottle Buildout Extension Recipe CastleCMS Theme Celery Chandler CherryPy CubicWeb Dash Datasette Django 1 1.4 1.5 1.6 1.7 1.8 1.9 1.10 1.11 2 2.0 2.1 2.2 3 3.0 3.1 3.2 4 4.0 4.1 4.2 5.0 5.1 Django CMS 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 4.0 4.1 FastAPI Flake8 Flask Hatch Hypothesis IDLE IPython Jupyter JupyterLab 1 2 3 4 E
Autogradという野郎が乗り込んできました。はい、そりゃもういきなり。複雑な確率モデルや損失関数だとしても、パラメータに関する勾配をこれでもかというぐらい簡単に計算できちゃうので、機械学習の世界に大きな影響を与えそうです。現時点では、PythonとTorchでの実装が公開されているようですが、これからJuliaなど他の言語でも実装されていきそうですね。 (補足:この記事を書いたすぐ後にGoogleがTensorFlowなるものを出してきまして、そちらでも自動微分がしっかり実装されてるみたいです〜。機械学習関連のフレームワークは移り変わりが激しいですねー ^^; ) ちなみに始まりはこんな感じでした。 ゆるいですね。 とりあえずチュートリアルやりながら、Python版チュートリアルの前半部分にテキトーな日本語訳をつけたので、ここでシェアしておきます。英語が読める方は、僕のヘンテコな日本語
This article was originally posted on Kaggle’s Avazu competition forum and reposted here with a few edits. Here I’d like to share what I’ve put together for online learning as a Python package – named Kaggler. You can install it with pip as follows: $ pip install -U Kaggler then, import algorithm classes as follows: from kaggler.online_model import SGD, FTRL, FM, NN, NN_H2 Currently it supports 4
Gradient Boosting Decision Tree の C++ 実装 & 各言語のバインディングである XGBoost、かなり強いらしいという話は伺っていたのだが自分で使ったことはなかった。こちらの記事で Python 版の使い方が記載されていたので試してみた。 puyokw.hatenablog.com その際、Python でのプロット / 可視化の実装がなかったためプルリクを出した。無事 マージ & リリースされたのでその使い方を書きたい。まずはデータを準備し学習を行う。 import numpy as np import xgboost as xgb from sklearn import datasets import matplotlib.pyplot as plt plt.style.use('ggplot') xgb.__version__ # '0.4' ir
一部 こちらの続き。その後 いくつかプルリクを送り、XGBoost と pandas を連携させて使えるようになってきたため、その内容を書きたい。 sinhrks.hatenablog.com できるようになったことは 以下 3 点。 DMatrix でのラベルと型の指定 pd.DataFrame からの DMatrix の作成 xgb.cv の結果を pd.DataFrame として取得 補足 XGBoost では PyPI の更新をスクリプトで不定期にやっているようで、同一バージョンに見えても枝番が振られていたりして見分けにくい。記載は本日時点のこのコミットの情報。 %matplotlib inline import numpy as np import xgboost as xgb from sklearn import datasets import matplotlib.pypl
Beautiful Soupドキュメント¶ Beautiful Soupはpythonで動作するHTMLとXMLのパーサーです。Beautiful Soupはパースしたツリーの操作、検索、変更を簡単に、かつ、今までと同じ方法でできます。これにより、プログラマーの仕事時間を節約します。また、Rubyful SoupというRuby版もあります。 このドキュメントはBeautiful Soupのバージョン3.0における主要な機能をサンプル付きで説明します。このドキュメントを読めばこのライブラリがどんなに良いか、どうやって動いているか、どうやって使うか、やりたいことをどうやって実現するか、予想と異なる動作をした場合になにをすればいいのかが分かります。 クイックスタート¶ Beautiful Soupをここから手に入れます。ChangeLogにはバージョン3.0とそれ以前のバージョンとの違いが書かれ
ChainerでAutoencoderを試してみる記事です。前回の記事、「【機械学習】ディープラーニング フレームワークChainerを試しながら解説してみる。」の続きとなります。ディープラーニングの事前学習にも使われる技術ですね。 本記事で使用したコードはコチラから取得できます。 1.最初に AutoencoderとはAuto(自己) encode(符号化)er(器)で、データを2層のニューラルネットに通して、自分自身のデータと一致する出力がされるようパラメーターを学習させるものです。データだけあれば良いので、分類的には教師なし学習になります。 学習フェーズ こんなことをして何が嬉しいのかというと、 入力に合わせたパラメーター$w_{ji}$を設定できる。(入力データの特徴を抽出できる) その入力に合わせたパラメーターを使うことでディープなニューラルネットでの学習を可能にする(ランダム値
今話題のDeep Learning(深層学習)フレームワーク、Chainerに手書き文字の判別を行うサンプルコードがあります。こちらを使って内容を少し解説する記事を書いてみたいと思います。 (本記事のコードの全文をGitHubにアップしました。[PC推奨]) とにかく、インストールがすごく簡単かつ、Pythonが書ければすぐに使うことができておすすめです! Pythonに閉じてコードが書けるのもすごくいいですよね。 こんな感じのニューラルネットワークモデルを試してみる、という記事です。 主要な情報はこちらにあります。 Chainerのメインサイト ChainerのGitHubリポジトリ Chainerのチュートリアルとリファレンス 1. インストール まずは何はともあれインストールです。ChainerのGitHubに記載の"Requirements" ( https://github.co
Sparkシリーズ第3弾の記事です。MLlibのLDAを使ってYahoo Newsの記事をトピックモデル(LDA:Latent Dirichlet allocation)でクラスタリングしてみます。 第一弾 【機械学習】iPython NotebookでSparkを起動させてMLlibを試す http://qiita.com/kenmatsu4/items/00ad151e857d546a97c3 第二弾 【機械学習】Spark MLlibをPythonで動かしてレコメンデーションしてみる http://qiita.com/kenmatsu4/items/42fa2f17865f7914688d 0. 環境 OS: Mac OSX Yosemite 10.10.3 Spark: spark-1.5.0-bin-hadoop2.6 Python: 2.7.10 |Anaconda 2.2.0
斬新な機能を提供して話題となっているIDE、Light Tableの最新版「Light Table 0.4」がリリースされました。 バージョン0.4ではWeb開発環境が進化し、サポートされるプログラミング言語としてPythonが追加されました。他にもマルチウィンドウが可能になっていたり、マルチタブセットが可能になっていたりいろいろ機能強化されているようです(ChangeLog)。 当初はClojureしかサポートしていなかったため、使う人を選んだ開発環境だったと思いますが、人気スクリプト言語であるPythonが使えるようになったことで一気に人気が爆発するかもしれません。 そもそもどこが凄いの? 開発当初のブログ記事によると、Light tableの信条として以下の5点があげられています。 ドキュメントを探す必要がない ファイルはコードにとって単にシリアライゼーションに便利なだけであり、最良
今回は子ノードをトラバースしてみます。 Sample.xml <?xml version="1.0" encoding="UTF-8"?> <cars> <car> <name>乗用車</name> <price>150</price> </car> <car> <name>トラック</name> <price>500</price> </car> <car> <name>オープンカー</name> <price>200</price> </car> </cars> minidom3.py # _*_ coding:UTF-8 _*_ import xml.dom.minidom def walk(node): n = node.firstChild while n: print n.nodeName n = n.nextSibling doc = xml.dom.minidom.pars
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く