12.1. pickle — Python object serialization — Python v2.6.4 documentation
pickle — Python object serialization¶ Source code: Lib/pickle.py The pickle module implements binary protocols for serializing and de-serializing a Python object structure. “Pickling” is the process whereby a Python object hierarchy is converted into a byte stream, and “unpickling” is the inverse operation, whereby a byte stream (from a binary file or bytes-like object) is converted back into an o
日本語文字列コード問題まとめ
【1】 文字列コード問題との戦い Pythonに限った話ではないのですが、 日本語を取り扱うコードを書いていると やっかいなエンコーディングトラブルに遭う事は少なくないでしょう。 エンコーディングトラブルとは コンパイラ・インタプリタがソースコードを解釈できない。 画面表示が化ける。 意図した入力ができない。 エンコード・デコード時にエラーがでる。 正しいファイル名のつもりなのにファイルが見つからない。 出力させたファイルの中身が読めない。 などといった現象を基本としていろんな問題を引き起こします。 問題のすべては「コード変換」に発生します。 実際の文字列が何のエンコーディングで、 渡す先が何のエンコーディングを期待しているか？ それらを確認して合致させるように変換をするということが基本です。 【2】 「Python日本語版が必要」というのは誤解 P
いやなブログ - スクリプト言語用のデバッガの使い方 - Ruby, Python, Perl
スクリプト言語用のデバッガの使い方 - Ruby, Python, Perl スクリプト言語用の CUIのデバッガの使い方を簡単にまとめました。対象言語は Ruby, Python, Perl です。 私は C, C++ でプログラムを書いているときはデバッガ (主に GNU/Linux 上の gdb) を頻繁に利用します。しかし、スクリプト言語ではそれほどでもありません。これはおそらく次のような理由によります。 ビルドが不要なので printf デバッグが容易 (ある程度大きい C++ のプログラムではビルド時間が長いので printf の挿入はしんどい) 異常終了時にスタックトレースが表示される (Ruby, Python なら自動、Perl の場合は use Carp; $SIG{__DIE__} = \&Carp::confess; など) オブジェクトのインスペクトが簡単 (Ru
Beautiful Soup documentation
Beautiful Soup Documentation by Leonard Richardson (leonardr@segfault.org) 这份文档也有中文版了 (This document is also available in Chinese translation) Этот документ также доступен в русском переводе. [Внешняя ссылка] (This document is also available in Russian translation. [External link]) Beautiful Soup 3 has been replaced by Beautiful Soup 4. You may be looking for the Beautiful Soup 4 documentation Bea
本文抽出ライブラリWebstemmerのblog本文抽出用特化スクリプト「blogstemmer」を書いてみた - FutureInsight.info
以前のエントリーで本文抽出ライブラリWebstemmerを使ってみました。 Webstemmerによるブログの本文抽出 - FutureInsight.info Webstemmerは非常に興味深い本文抽出ライブラリなのですが、ニュースサイトなどの複雑な階層構造を持っているサイトの本文抽出に特化しているため、逆にblogのようなシンプルなケースでの本文抽出に用いるには、ちょっとオーバースペックです。 Webstemmer Webstemmer はニュースサイトから記事本文と記事のタイトルをプレインテキスト形式で自動的に抽出するソフトウェアです。サイトのトップページの URL さえ与えれば全自動で解析するため、人手の介入はほとんど必要ありません。 そのあたりのことを考慮して、本文抽出ライブラリWebstemmerのblog本文抽出用特化スクリプト「blogstemmer」を作成してみました。
Webstemmerによるブログの本文抽出 - FutureInsight.info
Pythonで記載されたレイアウト+diffベースで本文抽出を行うWebstemmerを用いてブログの本文抽出にチャレンジしました。いつも通り技術エントリーは非常に長いので、興味のある人だけ続きをごらん下さい。 検索エンジンのフロントエンド部分の実装の目処がたったので、次はクローラ、インデクサの実装です。PythonにはTwistedという極めて優秀な非同期Webアプリケーションフレームワークがあるので、クローラを記載することは全く難しくありません。この辺りはPythonクックブックの14章ウェブプログラミングを参照して下さい。Python クックブック 第2版鴨澤 眞夫 當山 仁健 吉田 聡 おすすめ平均 リファレンスとセットで 2.5以降対応版の第3版を Amazonで詳しく見る by G-Toolsさて、クローラ部分の目処は立ったとして、問題はインデクサです。Luxを検索エンジンに使
Universal Encoding Detector: character encoding auto-detection in Python
Character encoding auto-detection in Python. As smart as your browser. Open source. >>> import urllib >>> urlread = lambda url: urllib.urlopen(url).read() >>> import chardet >>> chardet.detect(urlread("http://google.cn/")) {'encoding': 'GB2312', 'confidence': 0.99} >>> chardet.detect(urlread("http://yahoo.co.jp/")) {'encoding': 'EUC-JP', 'confidence': 0.99} >>> chardet.detect(urlread("http://amazo
Python 辞書型のソート
Python で辞書に対して、value をキーにしてソート。 sorted(dict.items(), lambda x,y : cmp(x[1], y[1])) key をキーにしてソートする場合は、以下かな。試してないからわからない。 sorted(dict.items(), lambda x,y : cmp(x[0], y[0])) 面倒くさいのは、dict.items() は(key, value)というタプル(tuple)のリストなので、 key にアクセスするときには [0] で、value にアクセスするときには [1] でアクセスしないと いけないところ。 色々と google してみたけど、結局この方法しか見つからなかった。 他にうまい方法があれば教えてください。 #!/usr/bin/env python # -*- coding: utf-8 -*- # impor
python での線形代数
python での行列・ベクトル数値計算 python で行列ベクトル演算が可能です。でも、実際に行列ベクトル計算をしようとしたとき戸惑わされました。python での行列ベクトル演算について手頃な解説がありませんでした。コード例も殆どなく、試行錯誤で使う必要がありました。回り道をしました。特に Matrix と array の使い分けに戸惑いました。結論は「慣れるまでは Matrix を使わずに array の範囲だけで使っとけ。」です。慣れた後でも Matrix を使うメリットは限られます。array だけで済ましたほうが余分なことを考えずに済みます。 このような遠回りをすることなく python での数値計算を手っ取り早く始められるようにように、この Web page を書きました。C 言語や数値計算についての素養はあるが python は使い始めの方、早急に行列 ベクトル演算を行う
いやなブログ - 文字列操作の比較表: Ruby, Python, JavaScript, P...
文字列操作の比較表: Ruby, Python, JavaScript, Perl, C++ Ruby, Python, JavaScript, Perl, C++ の文字列操作の比較表を作りました。配列操作の比較表の続編です。間違いなどがあったらご指摘いただけると助かります。 Ruby (String) Python (str) JavaScript (String) Perl C++ (std::string)
cmecab -- Mecab-Pyhton高速バインディング
cmecab -- Mecab-Python高速バインディング 初出: 2007/7/14 Status: alpha MecabのPythonバインディングの改良高速版です。 SWIGを使わず、Mecabの最低限の機能だけをPython-C APIで実装しました。 mecab-pythonバインディングの以下のメソッドを実装しています。 createTagger Tagger.parseToNode Nodeからのデータ取得（surface, feature, posid, char_type, statのみ) →もう少しくだけた紹介はこちら。 更新情報 →最新情報はこちらでどうぞ [2007/7/16] 多少性能改善。バージョン番号をつけました。0.1 [2007/7/15] 公開。 ベンチマーク結果 1.5kb程度の同一の短いテキストを10000回形態素解析した結果を取得す
Macに形態素解析ツールMeCabのインストール (Idea Clip)
Mac(10.4 Tiger)に形態素解析ツールMeCabをインストールする 最新バージョン0.97だとエラー吐くようなので0.96でインストール すんなり入る $ cd mecab-0.96 $ ./configure $ make $ make check $ sudo make install 続いてMeCab 用の辞書（IPA辞書）のインストール 文字コードをUTF8に指定 $ cd mecab-ipadic-2.7.0-20070801 $ ./configure --with-charset=utf8 $ make $ sudo make install ここまでで形態素解析ができる 仮名とカタカナと英語が混じった文章を形態素解析してみる $ mecab 私はNewYorkに住む青山テルマです。 私 名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシ は 助詞,係助詞,*,*,
Pythonと日本語 - KNarumiの日記
Pythonで日本語扱うのは結構面倒が多いのかも知れないと思った。Pythonの問題ってよりは環境の問題って気もするけど。 どっから考えるべきか分からんけどとりあえず実験用のファイルを作る。 # yakiniku.py print 'hello world' print '焼肉' print ['焼肉', 'spam'] 1行目はコメント。yakiniku.pyってファイルに上の内容を保存したとする。この時ファイルのエンコーディングが何かが重要になる。 試しにcp932*1で保存して実行してみる。実行したのはWinXPのコマンドプロンプト C:\hoge\hoge\hoge>python yakiniku.py File "fenc.py", line 2 SyntaxError: Non-ASCII character '\x8f' in file fenc.py on line 2,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python/pickle - PukiWiki
3.15 cPickle -- より高速な pickle
Amazon.co.jp: Natural Language Processing with Python: Bird, Steven, Klein, Ewan, Loper, Edward: 本
Loading...
System Unavailable
Pythonの文字化け対策:sys.setdefaultencodingの謎 - ぎじゅっやさん
転送中