ゼロスタート開発部ブログ : Python で巨大な XML データを扱う
こんにちは、ゼロスタート技術部のキツです。 さて、 xml ファイルでも読むか $ ls -hl1 -rw-r--r-- 1 user 3.3G 12 12 23:22 extrahuge.xml と思ったら、 3GB を超えていた。 こんなこと、人生に何度かあると思います。 今回は、 Python で巨大な XML を扱う方法をご紹介させていただきます。 ※Python 2.7.2, elementtree 1.2.7, lxml 3.0.1 にて検証致しました。 今回チャレンジする巨大な XML ファイルは、「シンプルだが巨大」という形式です。 以下のような内容になっています。 <strings> <string>あ</string> <string>い</string> <string>う</string> <string>え</string> <string>お</string>
Flaskの闇 - methaneのブログ
Merry, Xmas. Python advent calendar 2012 (#python_adv) 24日目の記事を、ミクパの再放送をBGMにお送りします。 今日は Flask のイケてないところとのつきあいかたを紹介します。 循環 import 問題 app.py １ファイルだけの構成から成長してファイルを分け始めるときに突き当たるのが循環import問題です。 今まで１モジュールだった app.py を myapp/__init__.py にして、 view 関数を myapp/views.py の中で定義していきたいとします。 #myapp/__init__.py from flask import Flask app = Flask(__name__) import myapp.views #myapp/views.py from myapp import app @ap
Dropbox、「Python」作者のG・ヴァンロッサム氏を採用--グーグルから引き抜き
Dropboxは、少なくとも人材の引き抜きに関していえば、Googleに大きな勝利を収めたのかもしれない。 クラウドストレージを提供するDropboxは、プログラミング言語「Python」の作者であるGuido Van Rossum氏を採用した。 Dropboxは米国時間12月7日付けのブログ投稿で、このニュースについて認めた。同社の創設者兼最高経営責任者（CEO）であるDrew Houston氏の説明によると、Pythonは同社において主要な役割を果たしてきたという。 Pythonは、簡易性、柔軟性、そして上品さをうまくあわせ持っていることから、数年前からわたしのお気に入りのプログラミング言語になった。Pythonのこのような優れた品質と、あらゆる主要プラットフォームに対応することを目指す同コミュニティーの取り組みにより、われわれはコードを一度作成するだけで、どの環境でもそれを実行するこ
Flaskのカスタマイズについて - methaneのブログ
2012 Pythonアドベントカレンダー(Webフレームワーク) #python_adv の5日目の記事です。 明日は @altnight にお願いします。 Flaskはオモチャじゃないよ PyCharmなどのIDEがFlaskに対応を始めたり、Flask はそろそろ Django に続く Python の Web フレームワーク No.2 と名乗れそうなほど広まってきています。(その割にPython3対応遅いけど) Flaskと言えばマイクロフレームワーク、Hello World が簡単に書けるヤツで有名ですよね。 import flask app = flask.Flask(__name__) @app.route('/') def index(): return "Hello, World." app.run(debug=True) これを見るとオモチャっぽく見えるんですが、Fla
LinuxでPythonをビルドするときの --enable-shared オプションについて - Qiita
Linux で Python をビルドするとき、 --enable-shared という configure オプションがありるので、その解説とTipsを紹介します。 具体例として Python を挙げていますが、話の内容のほとんどは他の言語やライブラリでも共通だと思います。 --enable-shared とはなにか このオプションを指定しない場合、主要なバイナリファイルとして python という実行ファイルと libpython2.7.a (Python 2.7の場合) というライブラリファイルができます。 --enable-shared をつけた場合、 libpython2.7.so というダイナミックリンク用の shared object も生成され、 python はこの shared object をダイナミックリンクするようになります。 Debian などの Linux デ
PyPy 2.0 β1登場 - ARMプロセッサをサポート
PyPy is a fast, compliant alternative implementation of the Python language. PyPyプロジェクトは22日(現地時間)、「PyPy 2.0 Beta 1」を公開した。PyPyはPython互換のPythonインタプリタ。Pythonの実装の一つであるCPythonと比較し、高速でメモリの使用量が少ないといった特徴がある。実行の高速化はトレースJITコンパイラの統合によって実現している。 PyPy 2.0 Beta 1は、次期メジャーリリースであるPyPy 2.0 finalの公開に向けたベータリリース版。Betaとつけられているが、プロジェクトでは6月に公開されたPyPy 1.9と同じ安定性があり、プロダクトレベルで使用できるものであるとしている。 PyPy 2.0 Beta 1の主なハイライトは次のとおり。 AR
yattのブログ
savefig() で画像に保存しちゃうと、矩形拡大とかができないし、 show() しちゃうと閉じたら消える。インタラクティブなまま保存できたらよいのにと思って調べてみた。 https://stackoverflow.com/questions/4348733/saving-interactive-matplotlib-figures https://stackoverflow.com/questions/29160177/matplotlib-save-file-to-be-reedited-later-in-ipython MATLABにはそういう機能が既にあるみたいですね。まぁ欲しくなるよね。 matplotlibの場合、figureオブジェクトをpickleで保存すればいいみたいです。 日本語でも情報ありました。このエントリを書く意味がほとんど無くなってしまった。 http://
Pythonのscikit-learnでRandomForest vs SVMを比較してみた - Y's note
Random Forest メディア: ペーパーバック クリック: 27回この商品を含むブログ (1件) を見る Random Forest Random Forestとは Random forest - Wikipedia Random forests - classification description 機械学習の方法論の一つで決定木ベースの集団学習アルゴリズムを取り入れたものです。説明変数の依存が少ないことや学習が高速であることが特徴として挙げられています。英語サイトの方で特徴として紹介されているRFの内容について記述します。 Features 大きなデータに対して効率よく処理される。 変数の削除をすることなく入力した数千の変数を扱う事ができる。 どの変数が分類に対して重要なのかを計算して与えてくれる。 木の構築処理中に一般的なエラーの偏りの無い計算を生成する。 高い割合でデータ
PyConJP2012 スライド・資料まとめ
公式サイト：PyCon JP 2012 開催します！ - PyCon JP 2012 発表風景：PyConJP - YouTube 一日目参加してきました。 二日目参加中です。 参加者・発表者のみなさんお疲れ様でした。 見つけられた発表者スライド・資料をまとめてみます。 「これが足りないよ！」というのがあれば、 URL付きでTwitterにメンションなり、 連絡いただければ追加します。 というか是非連絡お願いします。 Togetter・Twitterまとめ PyConJP 2012 1 日目 オープニング 〜 基調講演 - Togetter PyConJP 2012 1 日目 昼まで。 #PyConJP - Togetter PyConJP 2012 1 日目 昼から１コマ目 #PyConJP - Togetter PyConJP 2012 1 日目 14:30 - 15:15 台 #Py
ElementTree で巨大な XML を処理する - odz buffer
ElementTree のページに書いてあることだけど、メモとして。 xml.etree.ElementTree.iterparse を使うと、DOM のようにメモリを食わず、SAX よりプログラムしやすいかと思いきや、試しに Wikipedia のダンプデータを食わしてみたら、がんがんメモりを食う。まぁ、ルートエレメントの end イベントのときに、配下のノードがすべて必要になるので当然なんだけど。で、対策は毎回ルートエレメントの配下をクリアするということらしい。 ということで、Wikipedia のデータを処理するときはこんな感じ。 import xml.etree import ElementTree WIKIPEDIA_NAMESPACE = 'http://www.mediawiki.org/xml/export-0.3/' class Page(object): __slots
「サーバーサイドの知識の無さに全俺が泣いた」レベルの入社当時の人に読ませたら少しはアドバイスになったであろうPythonとDjangoの前提知識メモ - 憧れ駆動開発
あの頃は青かった。教えるどころか無知をさらけ出すというのはこの事だった。死ぬほど恥ずかしいので消したかったけれど、この記事が一番アクセスがあって長い間いくらか読まれていたらしい。ためらった。ただ、かつての自分といくらかの人に参考になればうれしいけれど、そろそろ役目を終えたと信じたい。もし書きなおすのなら、もう少し違う言い方か伝え方にすると思う。 内容としては 当時の自分のスペック Pythonの言語で、当時の自分が知った方法(3項演算子とか) mercurial の基礎(init, commit, push, update, log) WAF(Django)の知識 URL(ディスパッチャ)をトリガーにして Viewで処理をかく ModelにDBの内容がある ORMでリレーションを簡単に記述できる テンプレートでViewで処理した内容を表示させる チラ裏に移動させた。
マルチプロセッシング(multiprocessing) - Python | Welcome to underground
MultiprocessingとMultithreading? ver2.6から追加された multiprocessingモジュールを使って並列処理させる． threadingを使う方法もあるが，クラス継承しないと行けないとか ちょっと遅いとか上手くCPU使えてないとかちょっと不満があるので，multiprocessingを使って話をする． これはthreadingと似たようなAPIを提供するのだが，GILを効率的に回避する．(theadではなくsubprocessを使う) 何はともあれサンプルを示す．単純にカウントダウンするという面白みもなんともないもの． 1Gをカウントダウンする．この場合４スレッドに分散させるので250Mをカウントしていることになるが…． threading01.py import threading import time def countDown(n): whi
oinume journal
Raycastを使い始めて1年経ったので、どういうことに使っているかを振り返ってみる。去年書いた AlfredからRaycastに移行した - oinume journal の記事から少し使い方が変わっているところもあるのでメモがてら。 基本的な使い方 Cmd + QをRaycast起動のショートカットとして割り当てている。Pro版は使っていないのでAI機能などは使ったことがない。 ブラウザのブックマーク検索など、よく使うけどHotKeyを割り当てるほどでもないRaycastコマンドはbmのようにAliasを設定している。 Cmd + QでRaycastを起動してbmと入力するとブックマークの検索ができるので楽ちん アプリケーションランチャー機能 アプリケーションを起動するときのランチャーとして使っている。よく使うアプリにはHot Key(ショートカット)を割り当ててる。 Clipboar
Pythonパッケージpyprojを使って２つの座標の距離を求める
最近はPython使って位置情報をごりごり加工してますコンバンハ。 以前はMongoDBを使って半径XXＫｍ以内にある建物を求めるってことをやりました。今回は２つの座標間の距離を求めてみます。すっごく簡単なのでオススメ。 パッケージはpyprojを使います。 pyprojインストール $ pip install pyproj コード [python title="getdistance.py"] #!/usr/bin/env python # -*- coding:utf-8 -*- from pyproj import Geod class GetDistance: def get_distance(self, start, to): """ pyprojを使って距離を求める """ res = u'[ %(from)s ]から[ %(to)s ]まで %(distance_str)s
Python logging 各種出力ハンドラーの使い方について
Pythonのloggingモジュールについてちょっと調べてみました。 Python loggingモジュールの基本的な使い方 コンソールへの出力とファイルへの出力を試しましたが、それ以外の 出力ハンドラーについても調べたのでメモしておきます。 よく使うハンドラーの種類とimport元 よく使うであろうハンドラーはこんなかんじでしょうか。 loggingパッケージ StreamHandler(コンソールへの出力) FileHandler(ファイルへ出力) logging.handlersパッケージ SMTPHandler(メール送信) RotatingFileHandler(容量によりローテーションするログファイルへ出力) TimedRotatingFileHandler(時間によりローテーションするログファイルへ出力) SocketHandler(TCPソケットへ出力) Datagram
Boost.Pythonの使い方とNumpy/Scipy arrayの渡し方 - Risky Dune
scipyで書いたプログラムでも一部が遅くてそこをC++で実装したいというシナリオはよくある. それには色々な手段があるというのは以前の日記でも紹介した通り. 今回はBoost.Pythonでscipy/numpyのarray(ndarray)を取り扱う方法を説明する. 基本的な使い方はboost-python ではじめる大規模機械学習とかBoost.Python の機能をざっと紹介してみるも参考になる. 簡単な使い方 さて本題へ. boost.Pythonにおいてnumpy.ndarrayに対応するクラスは, boost::python::numericである. これは Boost.Python には、Python と C++ の型の相互変換を行うためのコンバータという機構が備わっており、すべての値の受け渡しにはこのコンバータが介在している。 とあるように, numpy.ndarray
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Charming Python: Functional programming in Python, Part 3
Charming Python: Functional programming in Python, Part 3
WebフレームワークXSS対策の自動化
もくじ — SQLAlchemy 0.6.5 ドキュメント (和訳)