自作したサーバープログラムをCircusで動かす - 偏った言語信者の垂れ流し
Circusからファイルディスクリプタが渡されるのでsocket.fromfdを使えばいいらしい。 Python Pythonのバージョンは2.7.2。 myserver.py # coding: utf-8 import sys import socket import logging import select content = """HTTP/1.0 200 OK Content-Type: text/plain Length: 13 Hello world! """ content_length = len(content) def main(): sock = socket.fromfd(int(sys.argv[1]), socket.AF_INET, socket.SOCK_STREAM) try: while True: ready, notused, notused =
Celeryでタスクをプリフェッチする数を変更する - 偏った言語信者の垂れ流し
celerydのメインプロセスは、タスクのメッセージをブローカーから受け取った後、ワーカープロセスに処理を実行させる。 メッセージをブローカーから受け取る際、実行中のものとは別に、事前にメッセージを取得(プリフェッチ)するようになっている。 全てのワーカープロセスが処理中であってもプリフェッチは行われる。 それぞれのタスクの処理に長い時間がかかる場合、複数のマシンでcelerydを動かしていても、このプリフェッチによってタスクが待ち状態になってしまう状況が発生する。 このプリフェッチ数は CELERYD_PREFETCH_MULTIPLIER の値を設定することで変更できる。デフォルト値は4。これは1ワーカーごとの値となる。(例: concurrencyを3に設定した場合は12) http://docs.celeryproject.org/en/latest/configuration.h
Django REST frameworkとbpmappersを組み合わせて使う - 偏った言語信者の垂れ流し
DjangoでREST APIを簡単につくるためのライブラリは、django-tastypie以外にDjango REST framework(以下rest_framework)というのもある。 Django REST framework これとbpmappersを組み合わせて使う方法を調べたのでまとめる。 rest_frameworkモジュールのソースコードを読んだところ、rest_framework.serializersはbpmappersとほぼ同等の処理を行っている。 そのため、bpmappersを使わずにrest_framework.serializersですべて実装してしまっても良いと思う。 今回はあえてそれをしない。 試したコード models.py from django.db import models class Item(models.Model): name = m
django-tastypieとbpmappersを組み合わせて使う - 偏った言語信者の垂れ流し
Djangoでtastypieを使ってREST APIを作る際に、bpmappersをどうやって組み合わせればよいか調べてた。 tastypieのCookbookのページにカスタムの値を追加する例がある。 Adding Custom Values tastypieのソースコードを読んだところ、dehydrateメソッドで値の変換をするので良さそうに見えたので、ここにマッピング処理を挿し込む。 Django1.5.4, tastypie0.10.0。 試したコード myapp/models.py from django.db import models class Item(models.Model): name = models.CharField(max_length=20) price = models.PositiveIntegerField() myapp/mappers.py i
Djangoのsettingsの分割と構造化について - 偏った言語信者の垂れ流し
Djangoの設定ファイルであるsettingsの分割、構造化について。 開発、ステージング、本番、テストなど環境ごとにsettingsの内容は変える必要があるので、settings.pyを分割したり、共通部分をまとめたりする。 settingsの分割についてはdjangoprojectのWikiにいろいろな方法が書かれている。 SplitSettings – Django また先日、VさんがDjangoのsettingsについて書いていた。 Django トラノマキ · GitHub いろんな方法があって、それぞれメリットデメリットはあるので、自分にあったものを使えばいいと思う。銀の弾丸はない。 2013/10時点の暫定案 いくつかのプロジェクトで試してる方法はあるので、まとめておく。 方針としては以下のとおり。 個人用の設定はリポジトリにコミットしない --settings指定を省略し
FluentdにPythonから日本語の文字列を投げてみる - 偏った言語信者の垂れ流し
Fluentdに対して、fluent-logger-pythonで日本語のデータを投げて正常に動作するか試してみる。 バージョンはUbuntu 12.04(precise)、Python 2.7、td-agent 0.10.35、fluent-logger-python 0.3.3。 fluent_test.py # coding: utf-8 from fluent import sender, event def main(): sender.setup('debug') event.Event('from_python', {u'日本語のキー': u'日本語のテスト(unicode)'}) event.Event('from_python', {'日本語のキー': '日本語のテスト(utf8)'}) if __name__ == '__main__': main() unicode型
Fluentd(td-agent)のインストールとPythonからの利用 - 偏った言語信者の垂れ流し
Fluentdを使おうと思って調べてる。 Fluentdを使うと、各種ログを集約したり、いろいろな出力先に振り分けたりが簡単にできる。 Rubyで実装されていて、gemでインストールすることができるけど、今回はRubyの実行環境も含めてパッケージ化されたtd-agentを使う。 GitHub - treasure-data/td-agent: This repository is OBSOLETE, check gh/treasure-data/omnibus-td-agent バージョンはUbuntu 12.04(precise)、Python 2.7、td-agent 0.10.35、fluent-logger-python 0.3.3。 ドキュメントがあるので、この通りでよさそう。 http://help.treasure-data.com/kb/installing-td-agen
jsonモジュールのobject_hookを使ってJSONからオブジェクトを生成する - 偏った言語信者の垂れ流し
Pythonのjsonモジュールのloads関数には、object_hookという引数があり、JSONの値の変換時にフックすることができる。 詳しくはドキュメントを参照。 18.2. json — JSON エンコーダおよびデコーダ — Python 2.7.x ドキュメント 試したPythonのバージョンは2.7。 json_to_object.py # coding: utf-8 import json DATA = """ { "attr1": "foo", "attr2": "bar", "_class": "Foo", "attr3": { "attr3_1": "spam", "attr3_2": "egg", "_class": "Bar" } } """ class Base(object): def __init__(self, **kwargs): # 属性として値を持
PhantomJSを試してみる - 偏った言語信者の垂れ流し
スクレイピングとかテストに便利ってことで聞いてたPhantomJSを試してみる。 PhantomJSはヘッドレスのWebKitをJavaScriptAPIで使えるようにしたもの。ライセンスはNewBSD。 PhantomJS | PhantomJS PhantomJSにはJavaScriptの実行環境が含まれているが、Node.jsではなくWebKitのJavaScriptCoreらしい。 which javascript engine is used by phantomjs? - Google グループ Node.jsを使っていない理由はPhantomJSのFAQに書いてあった。 FAQ | PhantomJS PhantomJSをNode.jsから使えるようにラップしたモジュールはサードパーティでいくつかあるらしい。 インストールして動かしてみる インストールは、Windows, M
2点を通る直線から離れた位置にある点までの距離を求める - 偏った言語信者の垂れ流し
タイトルの通り。2点を通る直線から離れた位置にある点までの距離を求めるのに、NumPyを使って計算します。 点a(x1, y1), 点b(x2, y2), 点c(x3, y3)があり、aとbを通る直線abから離れた位置に点cがあります。 点cから直線abへ引いた垂線の長さをLとします。このLを求めたい。 イメージとしてはこんな感じ。 Lを求めるには、ベクトルの外積を使って求めると簡単とか。 点aから点bと点cを結ぶの2つのベクトルuとvを考えます。 ここで、uとvの角をθとします。 uとvの外積は、次の式で表せます。 u×v = |u||v|sin θ両辺を|u|で割って右辺と左辺を入れ替えると、次のようになります。 |v|sin θ = u×v / |u|また、Lは、三角関数の公式より次の式で表せます。 L = |v|sin θ前述の式から、 L = u×v / |u|となります。 uと
NumPyで2元1次方程式の解を求める - 偏った言語信者の垂れ流し
NumPyの行列計算って強力なんすね。いろいろ試してみてる。 3x + 2y = 14 x + y = 6こういう2元1次方程式の解を求める場合。 NumPyだとnumpy.linalg.solveで逆行列の積を求められるので係数のarrayを作って使えばいいらしい。 >>> A = numpy.array([[3, 2], [1, 1]]) >>> P = numpy.array([14, 6]) >>> X = numpy.linalg.solve(A, P) >>> X.astype(int) array([2, 4]) x = 2, y = 4となる。 これは便利だなー。 参考 numpy.linalg.solve — NumPy v1.11 Manual numpy.linalg.invとnumpy.linalg.solveを用いた逆行列計算 - 睡眠不足？！ 高速数値計算ライブ
Circus+WEBrick+Rackを動かしてみる - 偏った言語信者の垂れ流し
前回の続き。 自作したサーバープログラムをCircusで動かす - 偏った言語信者の垂れ流し さすがにもうちょっとまともなサーバーをRubyで動かしてみたかったので、WEBrickでRackアプリケーションを動かしてみることにした。 Rackのインストール 環境がUbuntu12.04、Ruby1.9.1なのでとりあえずaptで入れてしまう。 $ sudo aptitude install ruby-rack hello_rack.rb WEBrickのHTTPServerクラスを継承して、Circusから渡されるfdを使えるようにした。 RackアプリケーションはHello, world!と表示するだけのシンプルなもの。 require 'socket' require 'webrick' require 'webrick/utils' require 'rubygems' requir
シェルスクリプトでサーバーを起動、停止する - 偏った言語信者の垂れ流し
Flaskとかで作ったちょっとしたサーバーの起動/停止用のシェルスクリプト。 gunicornでデーモン状態にしている。 startで起動、stopで終了、restartでstop+start。 #!/bin/sh PROGNAME=`basename $0` BASEDIR=`dirname $0` PIDFILE=$BASEDIR/$PROGNAME.pid start() { echo "Starting server..." cd $BASEDIR gunicorn flaskhello:app -p $PIDFILE -D } stop() { echo "Stopping server..." kill -TERM `cat $PIDFILE` rm -f $PIDFILE } usage() { echo "usage: $PROGNAME start|stop|restar
isk-daemonを使ってみる - 偏った言語信者の垂れ流し
オープンソースの類似画像検索エンジンisk-daemonを使ってみたので、その際の手順やはまりどころなどを書いておきます。 現時点では、isk-daemonはあまりメンテされていないようで、面倒な点が多々あり「使ってみよう」という方は覚悟しておいたほうがいいかもしれません。 クライアントについては、XML-RPC/JSON-RPC/SOAPが使えますが、今回はPythonでXML-RPCを使いました。 使用したOSはUbuntu7.10です。Pythonのバージョンは2.5.1です。Windowsでも動かせるのですが、必要なモジュールやファイルパスの設定などで面倒な部分があるので今回は避けました。 準備 動作に必要なパッケージをインストールしておきます。 python2.5 libmagick libmagick++Ubuntuの場合だとaptで、 python2.5 libmagick9
PyCon JP 2011 に参加した - 偏った言語信者の垂れ流し
勉強会などの感想を書くのは久しぶりかもしれない。 最近ブログに書けないネタが多いので書けそうなことは書く。 8/27のPyConJP 2011に参加してきました。 PyCon JP 2011 今回は講演者とかではなく一般参加者。 見てきたセッション Webフォームウィジェットツールキットを総括する http://2011.pycon.jp/program/talks#web aodagさんの話。ｷｬｰ!ﾀﾞｸﾞさまー。 WTFormsは使ったことあるのだけど、まあ機能少なくて貧弱は同意。 ただ、小さいのでちょっとしたものに使うのはこれぐらいでもいいかなって思ってる。 deform/colanderがなかなか興味深い。万能型。 Pythonで働くということ http://2011.pycon.jp/program/talks#panel-discussion-python shachoたちの
gunicornのWorkerを書いてみた - 偏った言語信者の垂れ流し
gunicornはWorkerクラスを差し替えられるので少し調べてた。 gunicorn.workers.sync.SyncWorker を継承してechoサーバのWorkerを書いてみた。 # coding: utf-8 # echo_worker.py import errno import socket from gunicorn import util from gunicorn.workers import sync READ_BLOCK_SIZE = 1024 class SyncEchoWorker(sync.SyncWorker): def handle(self, client, addr): try: self.handle_echo(client, addr) except StopIteration: self.log.debug("Ignored prematur
リモートでプログラミングを教える際に使うツール類 - 偏った言語信者の垂れ流し
プログラミングを知り合いなどに教えるときに使ってるツール類。 前提だけども、こういったツール類をすぐに使いこなせるぐらいコンピュータ、インターネットに慣れてる人であること。 リモートじゃない場合はどうやって教えてるか 直接画面を見せながらプログラムを入力して、動かして説明してる。ファイルを渡すときはUSBメモリで渡す。 つまりこれらを各種ツールを使ってインターネットごしに同様にできるようにする。 繋ぐ(場所の問題の解決) まずは横にいる状態、つまりネットワーク的に同じ空間にいる状態を作らないと各種ツールを使うのに不便です。 グローバルIPで片方に繋がる環境があれば必要なかったりするかもしれないけど、必要であればVPNやSSHなどでトンネル掘るなりして、LAN環境を作ります。 VPN 手軽に使いたいならHamachiなどのP2Pでつなげるもの、しっかりやるならOpenVPNといったところか。
gunicornメモ - 偏った言語信者の垂れ流し
unicornのpython版だとか。 Gunicorn - Python WSGI HTTP Server for UNIX ubuntuだとaptでbuild-essentialをいれとけば、easy_installやpipで問題なくインストールできるっぽい。 Workerは差し替えが可能らしい。id:mopemope先生のmeinheldには、gunicorn用のWorkerが含まれている。 $ cat myapp.py def app(environ, start_response): data = "Hello, World!\n" start_response("200 OK", [ ("Content-Type", "text/plain"), ("Content-Length", str(len(data))) ]) return iter([data]) $ gunico
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NumPyで2点間の距離を求める - 偏った言語信者の垂れ流し
Pythonプロフェッショナルプログラミングという本がでます - 偏った言語信者の垂れ流し
