はてなブックマーク

Cython の基礎¶ Cython の本質を一言で表すなら、「Cython とは C のデータ型を持った Python である」といったところでしょう。 Cython は、まるで Python のように動作します。Python のコードは、ほとん どが Cython のコードとして使えます (いくつか Cython の制約 はありますが、現時点では、ほぼ同じといえます)。 Cython のコンパイラは Python のコードを C のコードに変換し、等価な Python/C APIへの呼び出し に変えます。 しかし、 Cython のできることはそれだけではありません。パラメタや変数に C のデータ型を持たせられるのです。 Python の値と C の値を操作するコー ドを自在に組み合わせることができ、それらの間に互換性があれば、自動的に 変換を行います。Python における参照カウン

Cython のインストール¶ Enthought Python Distribution [EPD], Python(x,y) [Pythonxy], Sage [Sage] といった、科学技術計算向け Python ディストリビューション の多くには、最初から Cython がバンドルされていて、 Cython 自体をセット アップする必要はありません。ただ、入っている Cython が古すぎるような場 合には、以下の説明に従って Cython を更新してください。このドキュメント のチュートリアルにあるサンプルは、特に脚注のない限り、 Cython 0.11.2 以降で動作します。 他の Python ソフトウェアと違って、 Cython を動かすには、システム上に C コンパイラが入っていなくてはなりません。 C コンパイラの入手方法は、ど んなシステムを使っているかで異なります:

MetaData でデータベースを構築する¶ SQLAlchemy のクエリやオブジェクトマッピングの仕組みは、テーブルその他のスキー マレベルのオブジェクトからなる データベースメタデータ を土台としています。 メタデータ関連のオブジェクトの主要な役割は、 CREATE や DROP 文の実行 (いわ ゆる DDL としての働き)、SQL クエリの構築、データベース上の既存のデータ構 造に関する情報の表現、の3つです。 データベースメタデータは、:class:~sqlalchemy.schema.Table, Column, ForeignKey, Sequence といった様々なコンポーネントと、 そのプロパティを定義して表現します。これらのコンポーネントは全て sqlalchemy.schema パッケージから import できます。データベースメタ データは、 SQLAlchem

Note このドキュメントは、 Cython 0.17.1 のメインドキュメントの和訳です。 オリジナルのドキュメントは、 http://docs.cython.org/0.17.1 を 参照してください。 株式会社アクセンス・テクノロジー の増田が、この翻訳とメンテナンスを行なっています。翻訳文に関するご 連絡は、 ymasuda@accense.com にお寄せ下さい。

Note このドキュメントは、 Cython 0.17.1 のメインドキュメントの和訳です。 オリジナルのドキュメントは、 http://docs.cython.org/0.17.1 を 参照してください。 株式会社アクセンス・テクノロジー の増田が、この翻訳とメンテナンスを行なっています。翻訳文に関するご 連絡は、 ymasuda@accense.com にお寄せ下さい。

オブジェクトリレーショナルマッパ　チュートリアル¶ このチュートリアルでは、SQLAlchemy でオブジェクトリレーショナルマッピングを 行い、データベースに Python オブジェクトを保存したり、データベースからオブ ジェクトを取り出したりする方法を説明します。チュートリアル中の例文は doctest の形式に準拠していて、 >>> で始まる行は、 Python のコマンドプロ ンプトから何か命令を入力していることを表し、その後に続く行が出力されるべき 結果を表しています。

データベースエンジン¶ SQLAlchemy を使うアプリケーションは、全て データベースエンジン (Engine) を扱うところから始まります。エンジンは、実際のデータベースや DBAPI にアクセ スするためのいわば足場です。エンジンは、それぞれのデータベースや API との組 み合わせごとに、特定のコネクションプールや ダイアレクト (Dialect) を経 由してアクセスします。 この関係は、以下のような図で表せます: +-----------+ __________ /---| Pool |---\ (__________) +-------------+ / +-----------+ \ +--------+ | | connect() <--| Engine |---x x----| DBAPI |---| database | +-------------+ \ +---

mapper の設定¶ この節では、 mapper() や relation() といった、オブジェクトとリレーションの間を マッピングする際に最もよく使う設定パターンについて解説します。この節を読む 前に、 オブジェクトリレーショナルマッパ　チュートリアル を一通り終えて、 mapper や relation の初 歩的な使い方を学んでおいてください。 カラムプロパティ (column property) のカスタマイズ¶ mapper は、特に指定のない限り、マップ対象の Table クラス内に定義された全てのカラムを、マッ プ後のオブジェクトのアトリビュートに結びつけます。この挙動を変更するにはい くつか方法があり、 SQL 式を使ってより複雑なこともできます。 テーブルクラスが参照しているカラムのうち、一部だけをアトリビュートとして読 み出させるには、 include_proper

セッションを使う¶ SQLAlchemy でオブジェクト・リレーショナルマッパを設定するときには、 Mapper を API のエントリポイントに使います。しかし、 ORM を使うときにもっ ともよく扱うのは、セッション (Session) で す。 セッションの役割¶ 大雑把に言えば、 Session は、データベース との対話を全て担当し、データベースから読み出したり生成したマッピングインス タンスを「保存しておく場所」です。セッションは Unit of Work パターンを実装しているので、オブジェクトに加えられた全ての変更を追跡して、 適時変更部分をデータベースに flush します。セッションのもう一つ重要なポ イントは、セッションがインスタンスの 一意な コピー、すなわち「あるプラ イマリキーに対応するただ一つのオブジェクト」を保持しているということです。 これは、いわゆる I

© Copyright 2007, 2008, 2009, 2010, the SQLAlchemy authors and contributors. Created using Sphinx 1.0.5.

概要¶ SQLAlchemy の SQL ツールキットやオブジェクトリレーショナルマッパは、データ ベースを Python で操作するための網羅的なツールです。 SQLAlchemy の機能は大 きくいくつかに分かれていて、それぞれを個別に使うことも、組み合わせて使うこ ともできます。以下の図は、主要な機能について示しています。図中の矢印はコン ポーネント間の依存関係を表しています: 上の図から判るように、 SQLAlchemy の前面に出ている二つの主要な部分は オブジェクトリレーショナルマッパ(Object Relational Mapper) と SQL式記述言語 (SQL Expression Language) です。 SQL式は ORM とは別に使えます。ORM を使う場合、SQL 式言語は ORM の公開 API の一部として働き、オブジェクト-リレーショナルの設定やクエリを

© Copyright 2007, 2008, 2009, 2010, the SQLAlchemy authors and contributors. Created using Sphinx 1.0.5.

Pythonで「㍑」でハマる ダメ >>> u'\u3351'.encode('iso-2022-jp') >>> u'\u3351'.encode('sjis') >>> u'\u3351'.encode('euc-jp') うまくいく >>> u'\u3351'.encode('utf-8') >>> u'\u3351'.encode('cp932') >>> u'\u3351'.encode('iso-2022-jp-2004') >>> u'\u3351'.encode('eucjis2004') 「\u3351」は「㍑」です。 Python内蔵のコーデックは割とクソまじめで、エンコーディング方式の微妙な違いをちゃんと区別する。たとえば「iso-2022-jp」「sjis」「euc-jp」は ISO-2022-JP相当の文字しか表現できない。ここには、通称「JIS2004」の JI

ひかり電話の解析 ひかり電話は、アダプタの起動時に怪しい方法で自分の電話番号等を取得し、動作を始める。 その怪しい方法、つまりプロビジョニングの手法を調べてみる。調査継続中。 NTT東日本・Bフレッツ NGNではない普通のフレッツの場合。 PPPoEで特定の場所に接続して、その上でadd-con.mcasにHTTPでPOSTすると設定情報が得られる。 http://asterisk.s242.xrea.com/hikaridenwa-a0.html http://voip-info.jp/index.php/ひかり電話_プロトコル NTT東日本・フレッツ光ネクスト NGNなフレッツの場合。 ←→網　プロバイダ接続のPPPoE →網　DHCP Discover ←網　DHCP Offer →網　DHCP Request Type=55 Parameter Request List Type=

Twitterのボットのサンプル http://twitter.com/oclk を動かしてるボットのソース。 2010年6月からTwitter APIのBasic認証が使えなくなるとのことで、OAuth対応しました。 初期化、ベリファイ、API実行の各段階で、tweepy.OAuthHandlerオブジェクトが保持しているいくつかの値を保持しなきゃいけない。 本当だったら、値を保存しておいてset_request_token()とかやるんだけど、めんどくさいので全部をピックルしちゃう。 こんなんでも動くかららくちん。 #!/usr/bin/python #vim:fileencoding=utf-8 import os import os.path import time import pickle import optparse import tweepy # Constant PIC

Pig調査 このページはアルバイトのkosukeが自分なりにPigについて調査しまとめたwikiです。 Pigとは？ Pigの強み Pigの弱み インストール 3つの動作方法 Gruntを使ってみる UDFsについて

tRMLを使ってテンプレートでPDFを生成する Kay-framework を使った  デモのページ を作成しました。 django_trml2pdf を使った、古い方のページは こちら 。 注意: django_trml2pdf は、 template2pdf パッケージに統合されました。 -- 2010/03/03 ymasuda このところ帳票を作るコードを扱っています。DjangoでPDF...というと、!ReportLabで platypus のコードを 頑張って書いている人、結構いるんじゃないでしょうか。あれは大変ですね。ちょっと変更するたびに、 Pythonコードをいじらなきゃいけない。テーブルの構成とかレイアウトを組み替えるときなんか、すごく大変。 それに、値をいちいちいちいちいちいちいちいち文字列に変える処理を書いていると、とっても疲れます。 表示の部分は、やっぱりテンプ

Ubuntuでホスト名の自動補完をする Ubuntuに搭載されているbashというか、正確に言えば「/etc/bash_completion」は強力な補完機能を提供しています。 実は、sshとかpingとかする時のホスト名の補完もできるのです。 「/etc/hostname」に書いておけば、ここから候補が選ばれます。 でも、そんなのいちいち書くのはめんどくさいですよね、というのがこのページの趣旨です。 実は、sshでどっかに接続すると作成される「~/.ssh/known_hosts」の記録からも補完されます。 でも、そんな恩恵を受けたことなんて無いですよね。 最近のsshは、known_hostsの中のホスト名の部分を読めなくしてしまったのです。 これは、誰がどこのホストに接続したことがあるという情報がセキュリティ上の問題になる可能性があるからだそうです。 でも、たとえばノートPCを一人で

hadoopのインストール(シングルノード) 作者：kosuke 動作環境：ubuntu8.10,hadoop0.20.1 1. Sun Java 6のインストール 下記のとおりにsun-java6-jdkをインストールする。 apt-get install sun-java6-jdk 2. ユーザーのグループ化 hadoopのグループを作って、hadoopユーザーをhadoopグループに登録する。 sudo addgroup hadoop sudo adduser --ingroup hadoop hadoop 3. sshでローカルホストにログインできるようにする。 まずhadoopユーザーに切り替える。 $su - hadoop sshをインストールする。 ~$sudo apt-get install ssh hadoop userのためにsshのキーを作成する。 ~$ssh-key

Hadoop 調査 このページはアルバイトのkosukeが自分なりにhadoopについて調査しまとめたwikiです。 Hadoopインストール(シングルノード) Hadoop Map/Reduceのしくみ Hadoop バックアップタスク Hadoop 障害対策 hadoop vs python? hadoopの動作環境

(2009/09/08 ymasuda) マルチテーブル継承と unique_together を一緒に使うとちょっと困る Django のマルチテーブル継承は、親のモデルをデータベース上で独立のテーブルを持ったモデルとして表現しておき、子のモデルでは拡張したフィールドと親モデルへの一対一リレーションを張ることで、モデルを拡張できる仕組みです。他の人が作ったモデルを拡張したり、運用中のモデルに手を加えずに拡張したい場合に使えます。 このマルチテーブル継承について、社内からこんな質問を受けました。 Djangoのマルチテーブル継承で、 継承した側のクラスにunique_togetherを指定する。 unique_together条件を破るようなデータを入れてsave()すると、 継承された側のクラスのオブジェクトだけが保存される。 簡単な対処はトランザクションにつっこむことだけど、 いちいち

NILFS - 過去に遡れるファイルシステム NTTさんが開発中の NILFSを試しに使っています。 これは、ログ構造ファイルシステム（ Log-structured file system）の一種で、簡単に言えば過去の状態に簡単に遡れることを特徴とするファイルシステムです。 もちろん、物理的なディスクの容量に制限を受けるのはあたりまえですが、ディスクの容量が許す限り、過去の複数の時点のファイルシステム全体の状態を保存しておくことができます。 さらに、それら過去の時点のファイルシステムを、読み込み専用の形でマウントすることができます。 過去の複数の時点の状態を保存していたら、すぐにディスクがいっぱいになってしまうのではないかという心配はいりません。 ファイルシステム全体のコピーをいちいち保存しているわけではなく、変化があったファイルの、変化があった部分だけを保存しているそうです。 この分野

アマゾンEC2でchrootなLinuxを動かす EC2がどうも怖いのは、インスタンスをシャットダウンするとディスクが消えて無くなることです。 そのため、適宜S3にバックアップをしなさいという話になっています。 長らく貧弱な自前サーバを運用してきた身としては、どうも居心地の悪い不安感がつきまといます。 完璧なデータセンターで運用されているはずなので、マシントラブルでコケて落ちることなんて皆無なんでしょうけれどね。 それで、EC2のオプションサービスであるEBS（Elastic Block Store）というディスクにLinuxを構築することにします。 EBS上にLinuxを構築したとしても、そのままでは起動することができません。 そこで、起動の途中で/sbin/initが動いた瞬間に、EBS上のLinuxにすげ替える戦略で行きます。 この戦略は、昔から多くの人々がやっているし、そもそも通常