Pythonでメモリを食い過ぎた時に見直すポイント - 西尾泰和のはてなダイアリー
ちょっと複雑なアルゴリズムをPythonで実装してみて、自分の予想以上にメモリを食ってしまったので何が原因なのかプロファイルしてみた。 辞書を大量に使ってはいけない 指摘されてみれば当たり前のことなんだけども、辞書はハッシュテーブルなのでメモリをたくさん使う。「グラフの頂点ごとに整数→整数のマッピングを持ちたいな」と思って、うっかり辞書を使ってしまったのだが、エントリー数が6個でも 1048バイト×頂点数 のメモリが吹っ飛んでいく。いくらハッシュのアクセスがO(1)だからといって、1048バイトmallocしてスラッシング起こしてんだったら全然安くない。エントリの個数とアクセス頻度によってはO(n)で線形探索したほうがよっぽどよい。 エントリーの個数が5件までならハッシュテーブルではないコンパクトな持ち方をするので280バイト。それでもでかい。 自作クラスのインスタンスも辞書を持っている
Pythonを取り巻く開発環境（PyCon JP 2012資料 #pyconjp） - YAMAGUCHI::weblog
はじめに こんにちは、Python界の情弱です。情弱ながらPyCon JP 2012で1セッション持たせてもらえることになりました。予め資料を公開しておきますので、当日は色々と質問・意見して頂ければと思います。 各トピックは各トピックでの総論になっていますので、細かい部分は本文最後の参照にあるリンクを見るとより理解が深まります。 「なおここに書いてある内容は所属する団体とは関係のない、私個人の見解ですので、予めご了承下さい。」テンプレ終わり。 イベント PyCon JP 2012 発表日時 2012-09-16 11:00-11:45 作者 @ymotongpoo URL http://2012.pycon.jp/program/sessions.html#session-16-1100-room357-ja スライド （追記: 2012/09/16 23:50:00） 発表の24:00頃
Think Stats
本書は「プログラミングのスキルを統計の理解に役立てよう」というコンセプトで書かれたものです。数学的な観点から語られることが多い統計について、計算処理の観点から説明。実際にPythonのコードを示し、実データを分析しながら統計の基礎を解説しています。日本語版では豊富な数学関数ライブラリを提供するPythonの科学技術計算用モジュールNumPyとSciPyに関する解説を付録として追加。NumPy/SciPyが持つ統計関数の解説のほか、本書に登場した問題をNumPy/SciPyを使って解く方法を紹介します。Pythonで書かれたサンプルコードを使って実際に手を動かしながら統計が学べる、プログラマのための統計入門の決定版です。 はじめに 1章 プログラマのための統計的な考え方 1.1 第一子は出産予定日よりも遅れるか？ 1.2 統計的なアプローチ 1.3 全米世帯動向調査 1.4 テーブルとレコー
Pythonでデザインパターン - モジログ
GitHub - faif / python-patterns https://github.com/faif/python-patterns GoFデザインパターンのPythonによるサンプルコードを集めたプロジェクト。以下の各ファイルが入っている。 - abstract_factory.py - adapter.py - borg.py - bridge.py - builder.py - chain.py - command.py - composite.py - decorator.py - facade.py - factory_method.py - flyweight.py - iterator.py - mediator.py - memento.py - null.py - observer.py - pool.py - prototype.py - proxy.py -
Pythonのwith文とJava7のtry-with-resourceとC#のusingの比較 - 西尾泰和のはてなダイアリー
http://nhiro.org/learn_language/with_statement.html Java7は名前の通りtryと抱き合わせになっている。C#とPythonは分離されている。なのでJava7でC#やPythonと同じ挙動をしたければ必要なくても空のfinallyを書くことになる。(追記: finallyやexceptを伴わないtryもOKでした。thanks id:nowokay) 本体が正常終了または例外を投げて異常終了した場合のどちらでも呼ばれる「後片付けメソッド」はC#だとDispose、Java7だとclose、 Pythonだと__exit__。しかしPython以外は引数を取らない。本体が正常に終了したのかどうかはどうやって知るんだろうか。知る必要はないという判断なんだろうか。追記: Pythonがどんな引数を取るのか他の言語の人には想像がつきにくいらしいの
「サーバーサイドの知識の無さに全俺が泣いた」レベルの入社当時の人に読ませたら少しはアドバイスになったであろうPythonとDjangoの前提知識メモ - 憧れ駆動開発
あの頃は青かった。教えるどころか無知をさらけ出すというのはこの事だった。死ぬほど恥ずかしいので消したかったけれど、この記事が一番アクセスがあって長い間いくらか読まれていたらしい。ためらった。ただ、かつての自分といくらかの人に参考になればうれしいけれど、そろそろ役目を終えたと信じたい。もし書きなおすのなら、もう少し違う言い方か伝え方にすると思う。 内容としては 当時の自分のスペック Pythonの言語で、当時の自分が知った方法(3項演算子とか) mercurial の基礎(init, commit, push, update, log) WAF(Django)の知識 URL(ディスパッチャ)をトリガーにして Viewで処理をかく ModelにDBの内容がある ORMでリレーションを簡単に記述できる テンプレートでViewで処理した内容を表示させる チラ裏に移動させた。
PyCon Taiwan 2012, Day 0 | gihyo.jp
これ以外に食費や現地での移動費（MRT：台北の地下鉄、タクシー等）がかかりますが、総じて物価が安いため、3、4日であればぜいたくしなければ1万円くらいの現金で余裕で過ごすことができます。 また飛行機は羽田空港～松山空港を選びましたが、どちらも中心部からのアクセスが（成田、桃園に比べて）よく、さらに羽田空港の国際線ターミナルは空いていたため移動は快適でした。 以下、記事担当の3人がそれぞれ、どのように0日目（PyCon Taiwan前日）を過ごしたかをレポートします。 Mozilla Taiwan訪問 もりもとです。午後から寺田さんの知人でありMozilla Taiwanでコミュニティマネージャーを務めるBob Chao氏を訪問しました。そこではPyCon JP 2011に発表者として参加したThinker Lee氏も働いていました。Mozilla Taiwanは、2011年10月19日に設
「Python の Web フレームワーク Django って凄い」ってアピールのに "django-generate-scaffold" を使って3分でブログを作るとよいかもな件 - 牌語備忘録 -pygo
Django で Ruby on Rails の scaffold 的なことをする『django-generate-scaffold』を使ってみる。 (Python==2.7, Django==1.4, django-generate-scaffold==0.0.3a1) Install: django-generate-scaffold $ pip install django-generate-scaffold startproject $ django-admin.py startproject ownsomeblog $ cd ownsomeblog/ $ python manage.py startapp blogs $ ls blogs/ manage.py ownsomeblog/ settings.py ownsomeblog/settings.py SQLite3 設定。
はてなブログ | 無料ブログを作成しよう
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
画像処理 (Pillow / PIL)
Pythonでの画像処理はPIL(Python Imaging Library)がポピュラーです。ただしPIL自身はPython 3系には対応しておらず、後継のPillowがそれに対応しているため、そちらを選択するとよいでしょう。 Pillowのインストール 下記コマンドを入力しPillowをインストールしてください。 ※これはpipがインストールされていることを前提としています。インストールしていない場合はpipの使い方とインストールを参照してください。 pip install pillow イメージファイル情報の取得 例で使用するイメージファイルは、本サイトのロゴを使用しています。 from PIL import Image img = Image.open('./logo.jpg') print(img.format) print(img.size) print(img.mode)
単純ベイズ：入門編 — 機械学習の Python との出会い
単純ベイズ：入門編¶ 最初に実装するのは，特徴量がカテゴリ変数である場合の単純ベイズ (Naive Bayes) です． この単純ベイズの実装を通じて，NumPy / SciPy を用いた行列・ベクトルの初歩的な扱いについて説明します．
「バックエンドの経験はなかった」Instagram創業者は、どうやってシステムをスケールさせてきたか
昨日のPinterestの記事「Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用」に続いて、やはり写真を中心としたサービスで急成長してきたInstagramのスケーラビリティについて、まとめてみました。 InstagramもPinterestと同様に、基本はAmazonクラウド上でPythonとフレームワークのDjangoを使ったシステムを構築しています。興味深いのは、創業者の二人ともバックエンドの経験がないなかで試行錯誤をしてシステムをスケールさせてきた点です。 Instagramは先月、Facebookに買収されると発表されています。この先、Instagramのシステムはどう変わっていくのでしょうか。 Instagramのシステム構成 約半年前、昨年12月にInstagramのブログに投稿された記事「What Powers In
GAE アプリ用に PyUnit を使って単体テストを書く
身の周りで起きること、起こすことの記録、それが lifelog。 自分で作るモノの置き場所、それが repository。 (「アジャイルソフトウェア開発の奥義」p.34) テストを最初に書くことによって、これまでとは違った視点で物事を見ざるをえなくなるということだ。テストを書こうとすれば、呼び出す側の立場でプログラムを見るようになる。[...snip...] テストを最初に書くことは、ソフトウェアを呼び出しやすい形式に設計することにつながるのだ。 その上、テストを最初に書こうとすれば、プログラムをテスト可能な形式に設計しようと努力するようになる。[...snip...] テストを最初に書くという行為は、ソフトウェアの分離を強いるのだ！ もうひとつの効果は、テストそのものが有益なドキュメントになるということである。[...snip...] この「ドキュメント」はコンパイルも実行も可能である
ファイルのサイズを判定するpythonプログラム — lights on zope
Recent entries Python Anywhere seko 2016-11-19 帯状疱疹 seko 2016-11-18 Chromebook購入 seko 2016-11-03 マカロニさん めざせデータサイエンティスト seko 2016-11-02 脳波計muse 購入 seko 2016-09-04 フェルデンクライスメソッド227回目 seko 2016-08-27 EXCELマクロ タスクが残っていてTypeNameとShell.Applicationを使って起動済みのIEが探せない seko 2016-04-19 pythonでNITE 化学物質総合情報提供システムへアクセス seko 2016-04-19 Raspberry Pi 3で侵入者を発見 seko 2016-04-03 Raspberry Pi 3 OSのインストール seko 2016-04-02
Python: 指定したパスのディレクトリ中のファイル一覧を出力
あるディレクトリから特定のファイルを検索したい場合、探索対象ディレクトリ内のファイルを全て取得する必要があります。今回は、引数にディレクトリを指すパスを指定することによって、そのディレクトリの内容を取得する関数を2つ示します。 ソースコード # coding: Shift_JIS import os # osモジュールのインポート # os.listdir('パス') # 指定したパス内の全てのファイルとディレクトリを要素とするリストを返す files = os.listdir('C:\Python25\') for file in files: print file 実行結果の一例 DLLs Doc include Lib libs LICENSE.txt lxml-wininst.log NEWS.txt PIL-wininst.log pysqlite-wininst.log pys
かっこ悪くて面倒でもテストコードを書こう - 今川館
Python | 10:08わたしはプログラマーではありませんが、いくつかの仕事でテストコードを見たり書いたりすることがあったので、その過程で思ったことをメモとして残しておきます。コーディングとテストを分けて工数を言う癖をやめようどっちもコードを書くのだから分けて考える必要はないテストコードの重要性は理解しているけど、工数も厳しいし客がテストコードを書くことに工数を割くことを認めてくれない。ありがちな話ですが、それがテストを書かないことの根拠であるならば少し考え直しましょう。コーディングとテストを異なる工程と考えるのをやめてしまえばそんなことに悩む必要はなくなります。つまり、「テストを書きながらコーディングする」のです。だいたい、普段プログラムを書いているときだって手元で動かしながらものを作っているでしょう。それと同じことをプログラムを書いてやればいいだけです。客がテストを書かせてくれない
Hashnote - Vimを最強のPython IDEにする
pythonbrewによるフレキシブルなPython環境の構築 Vimの設定とかはあまり関係ないですが最強を詠うために最強のPython環境が必要なので構築します。最強の環境とは インストールされているPythonのバージョンが違うことによって不可解なバグが発生しない インストールされているライブラリのバージョンが違うことに不可（ｒｙ インストールされているライブラリ同士が干渉して不可解な（ｒｙ だと思っています。これらを解決するために pythonbrew という素晴らしいソフトを利用します。 ただこのソフトはシェルが前提となっているのでWindowsをお使いの方は代わりに virtualenv をインストールして先に進んでください。 Pythonには大きく分けて2.x系と3.x系の大きなバージョンがあり、この二つは相容れないものとなっています。 2.x系はずっと使われてきたもので外部ラ
言語処理100本ノック - 東北大学 乾研究室 / Inui Lab, Tohoku University
FrontPage / 言語処理100本ノック 3 秒後に NLP 100 Drill Exercises に移動します。 (移動しない場合は、上のリンクをクリックしてください。) © Inui Laboratory 2010-2018 All rights reserved. 研究室紹介/About Us 過去に在籍したメンバー Members 研究室環境 Lab Facilities ↑研究会/Research Meetings 概要 Overview 総合研究会 Research Seminar 意味研究会 SIG Semantics 談話研究会 SIG Discourse 知識獲得研究会 SIG Knowledge Acquisition Embedding研究会 SIG Embedding KIAI Knowledge-Intensive Artificial Intellige
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[mod_python] force download and content-disposition
機械学習の Python との出会い — 機械学習の Python との出会い