djangoのQuerySetで大量のデータを扱う - logiqboard
メモリに載り切らないような大量のデータを扱うときは何かしらの工夫が必要で、djangoのQuerySetも例外ではありません。 簡単な例として、以下のコードをメモリが多くない環境で実行すると、ループに入る前にメモリをドカ食いして落ちます。 many_many_objs = MyDBLog.objects.all() # 1億件ぐらいあるとする for log in many_many_objs: print(log.body) どうする 件数が大きくなりえるQuerySetを扱う場所では、QuerySetを分割して扱うようにします。 QuerySetはスライスが使えるので、うまく活用しましょう。 def chunked(queryset, chunk_size=1000): start = 0 while True: chunk = queryset[start:start + chunk
Python Developers Festa 2012.07 ハンズオン 初級 — Python Developers Festa 2012.07 documentation
このドキュメントについて¶ このドキュメントは、Python Developers Festa 2012.07のPythonハンズオン初級向けの資料です。 このドキュメントのHTMLファイルはSphinxでビルドしています。bitbucketのリポジトリからソースファイルを入手することで、自分でビルドすることもできます。 http://bitbucket.org/tokibito/pyfes-201207 ハンズオンについて¶ ハンズオンでは、時間を設けての資料の解説は行いません。各自でこのドキュメントを読み進めながら実際にコードを入力して動かしてください。 わからないことがあれば、周りの人や講師に聞いてください。 他の人から質問された場合は、わかる範囲で答えてあげてください。教えることで理解も進みます。わからない場合は遠慮せずに講師を呼んでください。 また、資料の内容は結構な量なので、無
fabfileの構造化 - logiqboard
fabfile.pyって、task数個までならまあ1ファイルでいいんですが、それ以上増えてくるとスクリプト自体がカオスになって収集がつかなくなります。 更に似たような、けど微妙に違うtaskをいっぱい定義したりすると名前まで酷くなってきます。こんなかんじに。 @roles('lb') def lbserver_deploy(): """ロードバランサーにデプロイする""" ... @roles('app') def appserver_deploy(): """アプリケーションサーバーにデプロイする""" ... @roles('batch') def batchserver_deploy(): """バッチサーバーにデプロイする""" ... こんなファイルメンテする気が起こらないので、なんとか綺麗にしたいと思って調べたところ、fabric1.1から付いたクラスベースのtaskというのを
一週間ノマドやってみた - logiqboard
ばあさんが入院したというので、先週から実家に帰っていた。 さすがにこんな状況で日帰りだの1泊2日だの慌ただしいスケジュールで動くのもやだし、かといってまる一週間休みが取れるほど代休を残してるわけでもヒマなわけでもなかったので、休暇一切なしにしてみた。 平常通り働いて仕事終わりに病院に行く、要はノマドというやつである。 去年の震災時、先月のインフルエンザパンデミック時など、何度か非出社での作業を続けてきたので、それらも含めた感想などをまとめてみることにした。 もちもの 仕事のために持って帰ったのは以下のものだけ macbook air wimaxルーター 実家にもwifi環境があるので、ネット環境は快適といって差し支えなかった。 仕事 通常通り、9:00に作業開始報告して、18時に作業終了報告。 というか、自分一人のタスクに関してはほぼ通常通りに仕事ができた。ネットとノートPCがあれば特に不
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
