はてなブックマーク

August 2011 (1) July 2011 (1) June 2011 (2) April 2011 (2) March 2011 (2) February 2011 (2) January 2011 (6) December 2010 (6) November 2010 (5) October 2010 (8) September 2010 (2) August 2010 (3) July 2010 (9) June 2010 (4) March 2010 (1) February 2010 (7) January 2010 (2) はじめに Graphvizによる有向グラフの自動生成の続編です。 前回は、こんなXMLデータを元に、 <?xml version="1.0" encoding="UTF-8"?> <addressbook> アドレス帳 <person> <name>

はじめに xls2dbという Pythonモジュールを使って、Excel(.xls)ファイルを SQLite3のデータベース形式に変換します。 例えば、マスタやテスト用データをExcelで作成してSQLiteで使用、というような用途で使えます。 xls2db (公式サイト github) https://github.com/jesusabdullah/xls2db README.rst の Why?? の節を読むと、作者(Joshua Holbrook氏)が何故このモジュールを作ったかが、なんとなく分かります。 …データ登録に苦労されたみたいでです。 とりあえず、このツールを使えば、コマンド一発でExcelファイルをSQLite3のデータベースファイル形式に変換出来ます。 ワークシートの記述ルール lxs2dbでは、変換元のExcelワークシートの記述に一定のルールがあります。 (記述ル

はじめに Google App Engine/Python 上に JSONPのサービスを実装してみます。 また、クライアントからサーバへののJSONP呼び出しは jQueryを使用します。 サンプルを作ってみる JSONPの概要説明はネットで検索すればいろいろ見つかるので省略し、さっさと実装していきます。 簡単な実装 まずは、固定値を返す最小限の実装を試します。 サーバー側(GAE/Python) # -*- coding: utf-8 -*- import simplejson import datetime from google.appengine.ext import webapp from google.appengine.ext.webapp.util import run_wsgi_app class JSONPHandler(webapp.RequestHandler):

はじめに 今回は Google Maps API のマーカーを、Google Chart API を使ってお手軽に変更する方法を紹介します。 デフォルトのマーカーに対し、色や文字を変える程度であれば、画像ファイルを用意しなくても簡単にマーカーを差し替えることが出来ます。 デフォルトのマーカーを使うときは、次のようにマーカーを作成します。 (デフォルトのマーカーを使う) var marker = new google.maps.Marker({ position: myLatLng, map: map }); これで作成すると、次のようなマーカーが表示されます。 (出典は Google Maps Javascript API V3 Examples の marker-simple.html) また、マーカーに独自の画像を指定することも出来ます。 (画像ファイルを指定) var marker

はじめに Django でアップロードされた画像のサムネイルを 簡単に 扱う方法を調べてみました。 よくある方法 ネットで検索して一番多いのは、Modelクラスのsave()メソッドをオーバーライドする方法です。 (例) http://djangosnippets.org/snippets/2094/ 上記のページのソースコードを要約すると次のようになります。 class Photo(models.Model): image = models.ImageField(upload_to ="photos/originals/%Y/%m/") thumbnail = models.ImageField(upload_to="photos/thumbs/%Y/%m/") ... # save()メソッドをオーバーライド def save(self, force_update=False, for

プロファイルの結果は同期／非同期で大きく異なりましたが、全体の処理時間はほぼ同じでした。 最後に 非同期でログ出力を行う場合の注意点を挙げておきます。 処理全体が速くなるわけではない 非同期処理では、ログの書き出しを遅延させているだけです。CPUに余裕があるときにログが書き出されます。複数スレッドでの協調作業になるため、全体としては若干遅くなる傾向にあります。 ただし「ログ出力のために本来の処理が遅くなる」という事態を*ある程度*回避出来ます。 マルチコアのCPUであれば多少速くなるかもしれませんが、あまり期待しない方が良いです。 異常終了の時、直前のログが出力されないことがある 全てのログを出力する前にプログラムが終了すると、終了直前のログが出力されないことになります。 メモリ消費量が多くなる 別スレッドで出力されるまで、ログの内容はメモリ上にバッファリングされます。そのためバッファ領域

August 2011 (1) July 2011 (1) June 2011 (2) April 2011 (2) March 2011 (2) February 2011 (2) January 2011 (6) December 2010 (6) November 2010 (5) October 2010 (8) September 2010 (2) August 2010 (3) July 2010 (9) June 2010 (4) March 2010 (1) February 2010 (7) January 2010 (2) 降水量が知りたい 以前、気象データを取得する – METAR編 で、全国の空港の気象情報(METAR)の取得を試み、最終的には 全国の不快指数 というGAEアプリを作成し、METARの自動収集・グラフ表示が出来るようにしました。 しかし、 METAR

August 2011 (1) July 2011 (1) June 2011 (2) April 2011 (2) March 2011 (2) February 2011 (2) January 2011 (6) December 2010 (6) November 2010 (5) October 2010 (8) September 2010 (2) August 2010 (3) July 2010 (9) June 2010 (4) March 2010 (1) February 2010 (7) January 2010 (2) はじめに データストアはスキーマレス いきなりですが、 Googleのドキュメント：Python を使用したデータモデリング には次のように書いてあります。 データストア エンティティにはスキーマがありません。同じ種類の 2 つのエンティティは、同じ

August 2011 (1) July 2011 (1) June 2011 (2) April 2011 (2) March 2011 (2) February 2011 (2) January 2011 (6) December 2010 (6) November 2010 (5) October 2010 (8) September 2010 (2) August 2010 (3) July 2010 (9) June 2010 (4) March 2010 (1) February 2010 (7) January 2010 (2) はじめに XML か YAML か？ どちらが優れているかという事はさておき、少なくとも 「YAMLの方が人に優しい」 と思います。 優しいとは 「読みやすい」「書きやすい」 という意味です。 昔、初めて Tomcat を使ったとき、設定ファイル(s

GeoIP Python API Cygwin上の Python から GeoIP-API が使えるようにします。 (参考) GeoIP Python API GeoIP C API GeoIP C API 先に Python版ライブラリが依存しているC言語版ライブラリをインストールします。 ダウンロードページからアーカイブを取得します。 今回の例では GeoIP-1.4.6.tar.gz を使用しています。 ダウンロード後、cygwinコンソールを開き、解凍、ビルド、インストールを行います。 (解凍) $ tar xvzf GeoIP-1.4.6.tar.gz (ビルド) $ cd GeoIP-1.4.6 $ ./configure ... $ make ... $ make check ... (インストール) $ make install ... $ ls /usr/local/li

ditaa とは テキストで書かれたブロック図(アスキーアート)から画像を作成するソフトウェアです。 (Webサイト) http://ditaa.sourceforge.net/ (紹介記事：MOONGIFT) http://www.moongift.jp/r/2008/11/ditaa/ 例えば、次のアスキーアートを ditaa で変換すると、 +----------+ +----------+ | cDEF {o} | +----------+ | Client +--+-->| Internet +----->| Server | +----------+ | | | +----------+ | +----------+ ... | | +----------+ | | Client +--+ +----------+ 次の画像が出来ます。 と、これだけ見ると「素晴らしい！」となり

(補足) 件数は 0 ～ 100 まで数字を入力して下さい。 解説 パレート図の作成は複合グラフ(Compound Charts)機能を利用してます。 Compound Charts の説明ページ 以下に、どんなパラメータを設定してパレート図に仕上げているかを説明します。 リクエストURI グラフ作成のために Google Chart API のサーバへ送っている リクエストは次の通りです。 (可読性のために改行を入れてます) http://chart.apis.google.com/chart ?cht=bvg &chco=0033ff,aa0000 &chm=D,aa0000,1,-1,3,1|o,aa0000,1,-1,10,1 &chd=t1:50,40,30,20,10|33.33,60.00,80.00,93.33,100.00 &chbh=a,5,30 &chxt=x,x,y

図の掲載は省略しますが、string::reserve() の Call Graph でも改善されていることが確認出来ます。 開発者が直接new/deleteを記述していなくても、プロファイルを取ってみるとヒープの取得・解放が頻発してて、しかもstringクラス絡みが結構な割合…ということが時々有ります。(例えば、詳細なログを多く出しているような真面目なプログラムにその傾向が…) 頻繁にヒープの取得・解放を繰り返すようなシステムは、例え受入れ試験を通過したとしても、その後、長期安定稼働してくれるか不安になります。何かの拍子にシステム全体が不安定になったとき、自分たちの担当したプロセスはちゃんと動いてくれるだろうか…などと考えると、夜も眠れません心配になってきます。 STL(特にコンテナやstringクラス)を使っている場合、ヒープの取得を完全に無くすことは難しい(限りなく無理)ですが、回数

【重要】 (2011年6月追記) 清水川大先生がWindows版インストーラを作成されました。 Sphinx-User.jp – Windowsへのインストール(スタンドアロンインストール) 本記事の内容を実行するよりはるかに簡単なので、こちらのインストーラの使用をお薦めします。 「必要最低限のツールしか入れたくない」、「苦労してみたい」・・・などの特別な理由をお持ちの方は以下にお進みください。 # 本記事は、2010年12月末時点の状況を基に作成しています。 はじめに 年賀状作成のために久々に WindowsXP を起動したついでに blockdiag を動かそうとしたら、予想以上に手間がかかってしまい、難しさを痛感。 その時の手順を記録・再現しました。 今回は、次の方針でインストールを試みました。 OS は WindowsXP Windows系OSはコレしか持ってないので… Cygwi

はじめに 以前、GAE/Python で HTTPリクエストを並列化 で HTTPリクエストの同時発行を試みましたが、制限だらけの GAE で出来るなら、普通のPCでも出来るはず！ ということで、いくつかの方法を試してみました。 GAE では google.appengine.api.urlfetch パッケージの非同期リクエストを使って簡単に実現出来ましたが、残念ながら urlfetch は GAE 専用なので同じ手は使えません。 ネットで検索すると gevent + urllib の組み合わせで出来ることが分かりましたが、同じ事をやっても面白くないので別の方法を探し PycURL に辿り着きました。 ということで、PycURL を使った方法から紹介し、その後で gevent と multiprocessing を使った方法も紹介します。 その１：PycURL を使う (PycURL の

August 2011 (1) July 2011 (1) June 2011 (2) April 2011 (2) March 2011 (2) February 2011 (2) January 2011 (6) December 2010 (6) November 2010 (5) October 2010 (8) September 2010 (2) August 2010 (3) July 2010 (9) June 2010 (4) March 2010 (1) February 2010 (7) January 2010 (2) はじめに 前回はツールを使ったビルド時間短縮について述べましたが、今回はビルドが速くなるソースコードの書き方について取り上げます。 大規模なプロジェクトでは、ツールを使ってビルド時間を数分の１に短縮したとしても、更にビルドに数分から数十分(もしかした

August 2011 (1) July 2011 (1) June 2011 (2) April 2011 (2) March 2011 (2) February 2011 (2) January 2011 (6) December 2010 (6) November 2010 (5) October 2010 (8) September 2010 (2) August 2010 (3) July 2010 (9) June 2010 (4) March 2010 (1) February 2010 (7) January 2010 (2) スマートポインタとは？ 特に難しいことはありません。 「動的に確保されたオブジェクトを所有し、オブジェクトが不要になった時点で自動的に破棄してくれる、賢い(スマート)ポインタ」です。 ここでは、STLのスマートポインタ(auto_ptr) について説

August 2011 (1) July 2011 (1) June 2011 (2) April 2011 (2) March 2011 (2) February 2011 (2) January 2011 (6) December 2010 (6) November 2010 (5) October 2010 (8) September 2010 (2) August 2010 (3) July 2010 (9) June 2010 (4) March 2010 (1) February 2010 (7) January 2010 (2) はじめに 今回は GAE(Google App Engine for Python) 上で GeoIP を使ってみます。 GeoIP とは？ MaxMind社が開発したシステム(データベース＋ミドルウェア)で、IPアドレスから地理情報を引くことが出来

はじめに 今回は python-weather-api というライブラリを使い Yahoo!, Google, NOAA から気象データを収集します。 python-weather-api とは (Webサイト – Google Code) http://code.google.com/p/python-weather-api/ “A python wrapper around the Yahoo! Weather, Google Weather and NOAA APIs” と謳っている通り、Yahoo!, Google, NOAA の３つの天気APIに対応した気象データ取得用ライブラリで、次のような特徴があります。 (特徴) 複数の天気APIに対応 Yahoo!, Google, NOAA の３つの天気APIに対応します。 python-weather-apiを使うことで、各APIの詳

August 2011 (1) July 2011 (1) June 2011 (2) April 2011 (2) March 2011 (2) February 2011 (2) January 2011 (6) December 2010 (6) November 2010 (5) October 2010 (8) September 2010 (2) August 2010 (3) July 2010 (9) June 2010 (4) March 2010 (1) February 2010 (7) January 2010 (2) はじめに 公開しているGAEアプリ GraphViz学習帳 のログを見ると、週に数回の頻度で DeadlineExceededError が発生しています。 今回はその原因と対策についてまとめてみました。 原因を調べる まずは、エラーが発生した時の状

August 2011 (1) July 2011 (1) June 2011 (2) April 2011 (2) March 2011 (2) February 2011 (2) January 2011 (6) December 2010 (6) November 2010 (5) October 2010 (8) September 2010 (2) August 2010 (3) July 2010 (9) June 2010 (4) March 2010 (1) February 2010 (7) January 2010 (2) (改訂履歴) 2010/12/26: ver.0.5.5 で中の人に色々と要望を対応して頂けたので、記事の内容もそれに合わせて修正しました。 2010/12/28: '-f'オプション、'--antialias'オプションの記述を追加。画像も –an

はじめに 以前から SWIG を使った Python・C/C++の連携に興味がありましたが、Instant というモジュールを使えばもっとお手軽に出来ることを知り、ちょっと試してみました。 Instantとは Python から C/C++のコードを呼び出すためのモジュールです。 (Webサイト) http://heim.ifi.uio.no/~kent-and/software/Instant/doc/Instant.html Python と 他の言語を連携させるツール類は Instant 以外にも色々ありますが、Instant には次のような特徴があります。 Python のコード中に、インラインでC/C++をインラインで記述出来る。 WebサイトのTOPには、次のようなサンプルが載ってます。 from instant import inline add_func = inline(

解説 リクエストURI グラフ作成のために Google Chart API のサーバへ送っている リクエストは次の通りです。 (可読性のために改行してます) http://chart.apis.google.com/chart ?cht=r &chxt=y,x &chls=4|4 &chco=FF0000,00FF00 &chxp=0,0,20,40,60,80,100 &chd=t:76,78,91,78,58,72,76|55,65,59,77,87,45,55 &chxl=1:|項目(1)|項目 (2)|項目(3)|項目(4)|項目(5)|項目(6) &chm=s,FF0000,0,-1,12,0|s,FFFFFF,0,-1,8,0|o,00FF00,1,-1,12,0|o,FFFFFF,1,-1,8,0 &chts=000000,20 &chtt=レーダーチャート &chdl=デ

August 2011 (1) July 2011 (1) June 2011 (2) April 2011 (2) March 2011 (2) February 2011 (2) January 2011 (6) December 2010 (6) November 2010 (5) October 2010 (8) September 2010 (2) August 2010 (3) July 2010 (9) June 2010 (4) March 2010 (1) February 2010 (7) January 2010 (2) はじめに スレッドセーフなコードを書く pthread を使ってスレッドセーフなコードを書くと、概ね次のようになります。 pthread_mutex_t mutex; // MUTEX Person safe_person; // 保護する変数 ..

August 2011 (1) July 2011 (1) June 2011 (2) April 2011 (2) March 2011 (2) February 2011 (2) January 2011 (6) December 2010 (6) November 2010 (5) October 2010 (8) September 2010 (2) August 2010 (3) July 2010 (9) June 2010 (4) March 2010 (1) February 2010 (7) January 2010 (2) はじめに 今回は簡単なサンプルコードを使い、KCachegrindでのプロファイル結果の見方について説明していきます。 (試験環境) 記事の作成のために使用した環境は次の通りです。 Ubuntu 10.04 – Kernel: 2.6.32-23-g