私が選ぶ2015年の”新しい”Pythonモジュール トップ5 | POSTD
最近、このモジュールを妻に紹介したところ、そのシンプルさと実用性に驚いていました。 joblib joblibの存在は以前から知ってはいたものの、実際のところはよく理解しておらず、いろいろな機能を寄せ集めたようなモジュールだと思っていました。まあ、その印象は今もあまり変わりませんが、実は非常に便利なモジュールだったのです。私は Flowminder の同僚から再度joblibを勧められて、このモジュールをデータ分析用のコードに幅広く使用しました。では、その機能について紹介しましょう。joblibは大きく分けて、 キャッシング 、 並列化 、 永続化 （データの保存と読み込み）の3つの機能から成ります。実を言うと、私はまだ並列プログラミングの機能は使ったことがないのですが、あとの2つの機能は頻繁に使ってきました。 キャッシング機能とは、シンプルなデコレータを使って、関数を簡単に”メモ化”する
python ローカル開発環境 構築
[:ja]※2016/12/29 更新 pyenvを使って python ローカル開発環境 を構築する方法を簡単にまとめた。 pythonでもpyenvとvirtualenvを使えばRubyのbundlerやGemfileと似たことができる。 pythonでもバージョンやライブラリの管理が簡単にできるため、 これを期にpythonを試してみるのもあり。 環境 OS Linux version 3.2.0-64-generic (buildd@kissel) (gcc version 4.6.3 (Ubuntu/Linaro 4.6.3-1ubuntu5) ) #97-Ubuntu SMP Wed Jun 4 22:04:21 UTC 2014 pyenv 1.0.6-1-g0256ff0 virtualenv 15.1.0 pyenvのインストールと設定 これは非常に簡単にできる。 $ g
Python 機械学習プログラミング データ分析ライブラリー解説編
「ITエンジニアのための機械学習理論入門」で提供しているサンプルコードに含まれるデータ分析ライブラリ（NumPy/pandasなど）を解説した資料です。 下記の書籍のサンプルコードが理解できるようになることが目標です。 - ITエンジニアのための機械学習理論入門(技術評論社) - http://www.amazon.co.jp/dp/4774176982/ 2015/10/25 ver1.0 公開 2015/10/26 ver1.1 微修正 2016/05/25 ver1.4 subplotの順番を修正 2016/11/15 ver2.0 改訂版公開 2016/11/16 ver2.1 改行幅修正 2017/01/10 ver2.2 微修正 2017/01/12 ver2.3 微修正Read less
Python 次世代の多次元配列パッケージ群 - StatsFragments
このところ、たびたび NumPy 後継が...とか 並列処理が...という話を聞くので、この秋 注目の多次元配列パッケージをまとめたい。 バックエンド系 NumPy のように数値計算処理を自前で実装しているパッケージ。 DyND Blaze プロジェクトのひとつ。C++ 実装 + Python バインディング。GitHub にいくつか Example があがっているが、複合型やカテゴリカル型、GroupBy 操作がサポートされていて熱い。ラベルデータも NumPy より簡単に実装できそうだ。 speakerdeck.com 並列分散系 自身では直接 数値計算処理を行わず、バックエンド ( 主に NumPy )を利用して並列/分散処理を行うパッケージ。1 物理PC/複数コアでの並列計算を主用途とし、NumPy, pandas では少し苦しいが PySpark などを使うほどじゃない...とい
WiFi搭載のPythonマイコンボード「WiPy」
Micro Pythonと言うマイコンボードはご存じだろうか？文字通りPythonでプログラミングができるマイコンボードなのだが、Pythonってｲﾝﾀプリンタみたいに使えるので便利なんですよね。ArduinoやPICだとC/C+やアセンブラで書いてコンパイルして動作確認…..になるのですが、デバッグが大変なんですよね。なのでｲﾝﾀプリンタ形式で動かせるPythonが乗ったマイコンボードって、出た時、私にはとっても魅力的に映りました。 今回、Kickstarterで投資の募集を開始した「WiPy」は、MicroPythonがUSB接続でターミナルでやっていたプログラミングが、WiFiモジュール搭載のTIのCC3200を載せているいる事によりWiFi接続okなのです。 つまりコードレス。telnet経由で操作もできますし、嬉しいのはFTPでのファイル転送。FETでプログラムファイルを転送でき
Pythonで学ぶwebアプリケーションの作り方by Flask — study flask 1 ドキュメント
予定と実績¶ Flaskを使う準備 20分 -> 60分 Flaskチュートリアル 40分 -> 60分 休憩 15分 Flaskを使いこなす1 40分 -> 60分 アプリを公開する 20分 -> 20分 休憩 15分 Flaskを使いこなす2 30分 -> 30分 プラグイン、情報源紹介、Q/A、予備 -> 10分
OLの事務vim日記 - 藻ログ
4月から都会でOLとして働き始めたので, OL的windowsの事務処理環境を手探りで作ってみました. OLとWindows 事務処理といえばOffice, 当然Windowsで行うことになります. 今時のOLは家ではLinuxを使っているはずなので, 自然とシェル環境で困ることになります. Windowsが本当にわからない linuxコマンド使いたい（DOS音痴） Cygwinは嫌い MinGW+MSYS にしてみたい(けど未だによくわかってない) 事務PCなので, 大掛かりな環境は入れたくない（入れられない） WSL ? そもそも Windows7 なので（ry） などのモチベーションから 色々見ていてcmderが良さそうだなと思ったのですが cmder.net 所属機関でフィルタされて落とせなかった（つらい）ので, ConEmu + msys bash の組み合わせで端末環境を整える
Pythonでマイコン - Qiita
こんにちは、はじめまして。 この記事はPython Advent Calendar 2014 - Qiita 5日目の記事です。 ArduinoをPythonで動かすといった記事を書こうと考えていましたがやめて、 Pythonで動くマイクロコンピュータである「Micro Python」について書くことにしました。(机の中に眠っていた) Micro Pythonとは？ Micoro Pythonはマイコン上で動作するように最適に実装されたプログラミング言語です。 ArduinoとかRasberry Piとは違い、完全にPythonだけでマイコンを動かすことができます！ Pycon JP 2014で、Micro Python で組み込み Pythonのセッションを聞いて、なんか楽しそうだなと思って試してみました。 Pyboard(28ユーロ!安い?) というマイクロボードを使ってMicro P
開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
Emacs で Python 開発環境を構築
coursera で Python をつかう講座を 2 つとった. Computational Investing, Part I | coursera Survey of Music Technology | coursera もちろん Emacs で開発環境をつくったので, 構築メモ. 入力支援# python.el は公式, python-mode.el は Python コミュニティによって作成されたもの. python# Emacs にデフォルトではいっているやつ. python-mode# Python コミュニティによって作成されたもの. emacsmirror/python-mode python-mode.el in Launchpad Guide - Software - Emacs - python-mode ショートカットがまとまっている. python-mode
Python とマクロ、インポートフックと抽象構文木 - forest book
どちらがきっかけだったのか忘れてしまいましたが、wikipedia:メタプログラミング か wikipedia:抽象構文木 について調べているうちに マクロ が出てきました。 私の中では、マクロと聞くと、C 言語の、プリプロセッサ (コンパイルの前処理) でコードに置き換えるものを漠然とイメージします。改めてマクロって何だったっけ？何が嬉しいのだっけ？と考えてみると、基本的なことが分かっていないことに気付いたのでマクロについて調べ直してみました。 マクロとは wikipedia からマクロの定義を引用します。 A macro (short for "macroinstruction", from Greek μακρο- 'long') in computer science is a rule or pattern that specifies how a certain input s
Pythonで簡単自動化！PyAutoGuiが便利すぎて感動したのでご紹介
インストール方法 インストール方法は pip を使って行うのが手っ取り早くて便利です。 pip install pyautogui 残念ながら pip でインストールするだけでは Windows では画像処理系がちゃんと動かない様子。 IOError: decoder zip not available pngファイルを扱おうとすると上記エラーが頻発します。 そのため、PILというライブラリをインストールしましょう。 pip install Pillow 使い方 指定画像をクリック import pyautogui image_path = "#set your image file path here" location = pyautogui.locateOnScreen(image_path) buttonx, buttony = pyautogui.center(location)
クラスは知ってるけれどクラスの使い道がわからないあなたへ - ぴよぴよ.py
「クラスは知ってるけどクラスの使い道がわからない」 「クラスとインスタンスの違いがよくわからない」 初心者にありがちなことだと思います。 クラスの存在価値がわかるまでって意外と大変です。 クラス・インスタンス・オブジェクト指向といえばJavaな気がします。 今日はクラスのありがたみをJavaのサンプルコードを用いながら、 簡単にではありますが説明してみたいと思います。 ここではクラスの「使い方」ではなくて「使い道」について話していきます。 （使い方がわからなくても、ついていけるとは思います） それではまずは、簡単な問題を出してみたいと思います。 怖がらないでください。 (1)あるグラフの上に、図のようなに3つの点が有ります。この3つの点の座標を持つプログラムを書いてみてください。 特に強いこだわりがなければ、ファイル名はLesson.javaとつけることにしましょう。 かけましたか？ 書け
絶対ダメ！ マルチスレッドでの共通変数のインクリメント演算
デバッグ中の発見 とあるマルチスレッドプログラムをPythonで書いていた際に遭遇した誤使用です。C/C++等の言語を使った場合には起こらない仕様なので、知っておくと役立つ時がくるはずです。これはPythonだけでなく、Rubyでも同様のことが起こるので、Rubyistさんも是非気をつけていただければと思います。 @ahaha_traderさんのご指摘により、C/C++でも同様のことが発生することを教えていただきました・・・。不勉強をお詫び申し上げます。 このブログを見ているような方々だとバグが生じる実際のコードと、結果をまずお見せしたほうが良いと思うので、サンプル用に作ったコードがこちらです。 バグが生じるソースコード import Queue import threading class MultiThreadIncrement(object): def __init__(self,
PythonのThreadを待機させるか、必要の度に作成するのかのベンチマーク比較
QueueとThreadのベンチマーク比較 ２つのケースについて比較検証してみました。 実際に処理する内容は以下のとおり。 0~999までの単純足し算を100回する処理を4スレッドで合計10,000回繰り返す 比較するケース 4スレッドを毎回作成する 予め4スレッドを作成し、Queueで処理を指示する まぁ、もちろん後者のほうが速いだろうという推測はしているのですが、どれだけ違うのかを調べたい。 ベンチマークコード import threading import Queue from benchmarker import Benchmarker def thread_target(): x = 0 for i in xrange(1000): x += i def queuing_thread_target(start_queue, finish_queue, stop_event): w
Python pandas で日本の株価情報取得とローソク足チャート描画 - StatsFragments
以下の記事を読んでいて、pandas 標準では日本株式の情報が直接とれないことに気づいたのでやり方をまとめたい。 この記事では以下 2 点の処理について書く。 Yahoo! ファイナンス からの株価取得 ローソク足チャートの描画 補足 標準の v0.15.2 で簡単に動きをみているが、ちゃんとテストはしてない。特にローソク足チャートについては pandas の plot クラスにかなり依存しているため、バージョンが変わると動かなくなる可能性がある。 1. 株価の取得 まず、pandas には標準機能として外部サイトのデータを DataFrame で取得する機能 DataReader がある。DataReader では 日本株の情報は直接はとれないが、簡単に動きを書いておく。 DataReader での取得 DataReader では、0.15.2 現在で以下 6 つのデータソースをサポート
Pythonで基本のアルゴリズムを書いてみた - Something Beyond
2015-01-05 Pythonで基本のアルゴリズムを書いてみた Programming アルゴリズムを学ぶ意義みたいなものはいろいろなところで語り尽くされていると思うので私からは特にコメントしませんが、今回の勉強に利用した書籍でも引用されていた言葉が印象的なので、記しておきます。 最先端の機械を使って製品をつくるのは簡単で、しかも楽なことだが、基本技術を固める前に楽なほうに流れていってしまった。俺のような基本的なことがきちんとできるローテクが、今、我が世の春を謳歌しているんだ。 岡野雅行さんという職人さんの言葉のようです。そういえば随分前にこんな記事が盛り上がりました。 今すぐ辞めて欲しい、「Ruby on Rails勉強してます」「CakePHP勉強してます」 最新技術だけではなくて、その基礎となる技術をしっかり理解しなければダメだよということでしょう。ということで基本のアルゴリ
Python で機械学習しよう！（環境構築 on Mac編） - もろず blog
そろそろちゃんと機械学習を勉強しようと思い、ついでに Python をやり始めています そういえば、大学生のときに Python を勉強しようと思って本を買ったことがあったんですが、当時はあんまりやる気もなくちょっとしか手をつけていませんでした あの時ちゃんと勉強しとけばよかったなぁとか思ったり・・・ とりあえず、手持ちの Mac 上に数値計算や機械学習を実行できる環境を構築したのでその際の手順をまとめました ※以下の環境で動作することを確認しています OS X Mavericks (10.9) OS X Yosemite (10.10) この記事では 1. 概要 2. Python とライブラリのインストール 3. PyDev のインストールとセットアップ 4. Hello Python !!! 5. まとめ について説明します 1. 概要 今回は Python を使って数値計算、機械学
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonでexcel
Python入門 : 4日間コース社内トレーニング
