7 Python Libraries you should know about
Wed 31 October 2012 By Dominik Dabrowski In Blog. In my years of programming in Python and roaming around GitHub's Explore section, I've come across a few libraries that stood out to me as being particularly enjoyable to use. This blog post is an effort to further disseminate that knowledge. Please note that I've specifically excluded libraries like sqlalchemy and Flask that are too obviously awe
Pythonでメモリを食い過ぎた時に見直すポイント - 西尾泰和のはてなダイアリー
ちょっと複雑なアルゴリズムをPythonで実装してみて、自分の予想以上にメモリを食ってしまったので何が原因なのかプロファイルしてみた。 辞書を大量に使ってはいけない 指摘されてみれば当たり前のことなんだけども、辞書はハッシュテーブルなのでメモリをたくさん使う。「グラフの頂点ごとに整数→整数のマッピングを持ちたいな」と思って、うっかり辞書を使ってしまったのだが、エントリー数が6個でも 1048バイト×頂点数 のメモリが吹っ飛んでいく。いくらハッシュのアクセスがO(1)だからといって、1048バイトmallocしてスラッシング起こしてんだったら全然安くない。エントリの個数とアクセス頻度によってはO(n)で線形探索したほうがよっぽどよい。 エントリーの個数が5件までならハッシュテーブルではないコンパクトな持ち方をするので280バイト。それでもでかい。 自作クラスのインスタンスも辞書を持っている
Blender + python 備忘録
Blender + python で無料、お手軽、高画質、かつほぼフルスクリプト制御な３次元作図を目指す。基本的には個人的なメモ・備忘録。 Blender + python とは？ Blender は比較的高画質な画像が作れる無料の３次元モデリング・レンダリングソフト。 python は最近日本でも少し知られてきたスクリプト言語。 python を使って Blender を動かすための API が公開されている。これを使うことでスクリプト制御による高画質な作図が出来る（はず）。 このサイトの前提・目的・対象 プログラミングは出来るけど python や Blender は使ったことがないという人が、このサイトを見ることで１時間以内になんとなく作図できるようにする。 サイトは逆引きリファレンス的に使えるようにする。各項目は次エントリ（↓）に。 科学論文に必要な図が描けるようにする。（概念図、
PythonとSAXでXMLを扱う - shogo82148's blog
XMLを扱いたくなったのでメモメモ。 XMLを扱うためのAPIとして、DOM(Document Object Model)を構築する方法と、SAX(Simple API for XML)ってのを使う方法がある。 どちらもW3Cで標準化されているAPIだから、Pythonに限らず、いろんな言語で同じようにXMLを扱うことができる。 HTML上のJavaScriptなんかを触ってると、DOMはよく出てくるね。 DOMとSAXの違いは、DOMはメモリ上にXMLのデータを全部取り込んでから処理をするのに対して、SAXはデータを読み込んだら逐次処理していく点。 DOMは、XMLの構造をツリー構造として扱うことができるから、いろいろ高度なことができる。 ただ、メモリ上に全てのデータを展開するから、メモリを食うし、重い。 SAXは、XMLのタグの出現を「イベント」として扱うAPI。 読み込んだデータをメ
ソフトシンセを作りながら学ぶPythonプログラミング
PyCon JP 2012のハンズオンセッションで使用したスライドです。ハンズオンに参加して、その場で解説を聞きながら眺めるというようなものなので、あまり自習向けではないです。自習用の資料などは、なんらかのかたちで提供できればと考えています。
本当は怖い情報科学
（以下は自習資料です） QR分解のコードを書いてみる。とりあえずグラム・シュミットの直交化を適用して正規直交行列 $ Q $ を求め、それを利用して $R$ を求める。 全コードはこちら def qr_decomposition_gram_schmidt( A: ND, ) -> Tuple[ND, ND]: """与えられた正方行列aをGram-Schmidt法でQR分解する. Args: A (numpy.ndarray): 正方行列。 Returns: Tuple[numpy.ndarray, numpy.ndarray]: 正規直交行列Qと上三角行列Rのタプル。 """ assert A.shape[0] == A.shape[1] ncols = A.shape[1] Q = numpy.zeros_like(A) R = numpy.zeros_like(A) for i in
Python：回帰分析 : 分析技術とビジネスインテリジェンス
今回はPythonによる回帰分析（OLS：Ordinary Least Squares）の実施方法をまとめる。 まずは最小2乗法に基づく重回帰式の作成と結果表示方法を取り上げる。 ライブラリの使い分けについては調査のしやすさを優先しているが、回帰分析については統計モデルはOrange、予測モデルはscikit-learnでやろうかなと考えている。 本来はすべてを統一したいが、後者ライブラリは回帰分析の結果表示で、p値や偏回帰係数の出力が無いようだし、ステップワイズの実施方法も見当たらなかった。しかし、予測モデルとなれば、その精度と堅牢性を高めることが目的となり、p値などに言及しなくても説明責任は果たせるので、逆にscikit-learnのシンプルさが生かせると思っている。 ■ライブラリ >>> import Orange >>> from padnas import * ■データ >>>
TechCrunch | Startup and Technology News
Live Nation says its Ticketmaster subsidiary was hacked. A hacker claims to be selling 560 million customer records. An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device” for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Ov
Pythonでデザインパターン - モジログ
GitHub - faif / python-patterns https://github.com/faif/python-patterns GoFデザインパターンのPythonによるサンプルコードを集めたプロジェクト。以下の各ファイルが入っている。 - abstract_factory.py - adapter.py - borg.py - bridge.py - builder.py - chain.py - command.py - composite.py - decorator.py - facade.py - factory_method.py - flyweight.py - iterator.py - mediator.py - memento.py - null.py - observer.py - pool.py - prototype.py - proxy.py -
Dropbox のスケールとか
Python なサービス みんな大好き Dropbox のスケールとかメモ。以下のページ辺りからピックアップ。Parted? みたいなので、続編がでたら追記するかも。 Scaling lessons learned at Dropbox, part 1 (comment) Dropbox - Startup Lessons Learned (slideshare) Dropbox -Yコンビネーターが生んだスタートアップの軌跡と未来 - スケール関係ないですが、2006 年当時はオンラインストレージサービスがいっぱいあったようで、VC から資金調達したときのやり取りがおもしろい VC "クラウドストレージサービスなんて腐るほどある" Drew "なにか使ってるのありますか？" VC "NO" Drew "..." 完璧で、スケーラブルで、クロスプラットフォームなクラウドストレージ！当時、プ
Hashnote - Vimを最強のPython IDEにする
pythonbrewによるフレキシブルなPython環境の構築 Vimの設定とかはあまり関係ないですが最強を詠うために最強のPython環境が必要なので構築します。最強の環境とは インストールされているPythonのバージョンが違うことによって不可解なバグが発生しない インストールされているライブラリのバージョンが違うことに不可（ｒｙ インストールされているライブラリ同士が干渉して不可解な（ｒｙ だと思っています。これらを解決するために pythonbrew という素晴らしいソフトを利用します。 ただこのソフトはシェルが前提となっているのでWindowsをお使いの方は代わりに virtualenv をインストールして先に進んでください。 Pythonには大きく分けて2.x系と3.x系の大きなバージョンがあり、この二つは相容れないものとなっています。 2.x系はずっと使われてきたもので外部ラ
UPnPのNAT越えについて調べてみた - いろいろな何か
はじめに P2Pアプリケーションを作ろう！と思い立ったのでP2Pについて調べていました。すると、NAT(またはNAPT)越えをしないとP2P通信が出来ないそうじゃありませんか！！ ということで、今度はNAT越えについて調べてみるとUPnP、STUN、UDP Hole Punchingという方法があるそうですね。なので、今回はUPnPのNAT越えについて調べてみました。UPnPについては以下のページを参考にしました。 ＵＰｎＰとポートマッピング（ＧＡＲＡさんのページ） 作業メモ -upnpデバイスの取得- UPnPを利用してグローバルIPを取得する - 2 | ::Hikaru's blog ネットワーク環境(自宅) NTTからレンタルしているモデムがUPnPに対応していたので、外部から自宅のPCにアクセスできる(NAT越えができる)ようにしてみました。自宅のネットワーク環境を図で表すと、以
Pythonと自分 ～ a python life
行きたいところは何箇所? 01 ソウル 02 香港（九龍） 03 香港（香港島） 04 台北 05 バンコク 06 シンガポール 07 クアラルンプール 08 ホーチミン 09 マニラ 10 バリ島 11 ニューヨーク 12 サンフランシスコ 13 ロサンゼルス 14ワシントンDC 15 オーランド 16 バンクーバー 17 トロント 18 メキシコシティー 19 カンクン 20 ホノルル 21 マウイ島 22 ハワイ島 23 グアム 24 サイパン 25 パリ 26 ローマ 27 ミラノ 28 フィレンツェ 29 ロンドン 30 フランクフルト 31 チューリッヒ 32 ウィーン 33 バルセロナ 34 アムステルダム 35 ドバイ 36 プラハ 37 アテネ 38 シドニー 39 ケアンズ 40 オークランド 41 ギリシャ 42 アテネ 43 クレタ島 44 ミコノス島 45 サント
Python で順列を生成
1. 順列の意味 順列 – Wikipedia によると、 組合せ数学における順列（じゅんれつ、permutation）は、あるひとつの集合から要素を選び出して、順番に意味を持たせて並べる (ordering) ときの、その並び（ordered list, sequence; 有限列）のことである。 うーん、ややこしそう。 (+_+) 数学苦手。どうやって生成するんだろう。 2. アルゴリズム 順列の生成とList内包表記 - 趣味的にっき によると、 与えられたリストから要素を1つ取り出して、残りの要素から再帰的に順列を求めて、それらを結合するアルゴリズムです。 (…) まずHaskellの場合。 (…) perms :: Eq a => [a] -> [[a]] perms [] = [[]] perms xs = [ h : t | h <- xs, t <- perms (xs \
第31回 SQLiteでRDB再入門［その1］ | gihyo.jp
前回紹介したように、昨年末に64ビット版（x86_64）のPlamo64-1.0を公開した後、年明けからは32ビット版（x86）のパッケージを追従させる作業にかかっています。 前回の最後では、ここ数ヶ月のうちにx86用のパッケージを揃えてしまいたいと書きましたが、実際に取りかかってみると、バージョンが古くなっていてx86用のみならずx86_64用もバージョンアップした方がいいソフトウェアが多数出てきました。 ざっと見た感じでは、Plamo64-1.0を公開してから今までに、x86用のパッケージは300弱が更新されているのに対し、x86_64用のパッケージもその半数の150弱が更新されているようです。Plamo64-1.0の総パッケージ数は1100ほどなので、このペースで行くとx86用のパッケージが揃うのは今年の後半くらいになりそうで、たぶん、そのころにはx86_64用も半分くらいのパッケー
Python を基盤としたオープンソース数式処理システム Sagemath : 紹介マニア
概要 Sagemath の正式な名称は Sage ですが、この文章では検索性を高める目的で Sagemath と記述しています。 Sagemath は「数式処理システム」です。数式処理システムとは、記号を利用して数式を処理するシステムのことで、 基本的な四則演算から、記号計算、数値解析など、様々な処理が可能です。 この分野のソフトウェアとしては Mathematica が有名ですが、商用ソフトウェアで高額なソフトウェアです。 Sagemath はオープンソースでフリー(GPL)なソフトウェアで、Mathematica には及ばない物のかなりの機能を持っています。 R や Maxima 等似たようなシステムでオープンソースの物もありますが、 Sagemath は Python を基盤として作成されているのが特徴です。 Mathematica や R と Python を利用して連携することが
Python を開発に利用するための環境設定 : 紹介マニア
Python は高機能で安定したプログラム言語ですが、本格的に開発するには環境を適切に設定しなければいけません。 ここではPython の開発環境構築手順を記述します。 内容はMac OS X 10.7 Lion でテストしています。 基本部分は他のプラットフォームでも利用できるように配慮していますが、主にMac向けです。 目次 Python のインストール ライブラリ管理 easy_install pip virtualenv 文字コード関連 補完の設定 ライブラリ類のインストール Docutils Pygments PIL(Python Imaging Library) PyObjC nose Trac Pythonをソースコードからコンパイルする Mac OS X 変更履歴 Python のインストール Python は 2.x系と 3.x系のバージョンが存在します。 Mac は L
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Install Python, NumPy, SciPy, and matplotlib on Mac OS X
Site Under Maintenance
機械学習の Python との出会い — 機械学習の Python との出会い