ppkfなんてのを作ってみました | SiteBites Blog
思いっきり車輪の再発明しまくりですが、必要があったのでPythonだけで日本語の文字コード判別をさせてみるようなのを試作しました。 追記: 恐れ多くも Matzさんから名前について突っ込まれてしまいました。 Kanji Filter部分も作ろうかとおもってるうちに、べつに判別だけできればPython2.4以上はCJKCodecs標準だからいいか、とヘタレたということです;-P 追伸: ppkfのアーカイブはここにあります (070409) 以下説明です。同梱されているREADMEと同じ内容です。 概要 日本語の文字コードを判別するためのユーティリティです。Pythonで記述されたプログラムの中から使います。 Python2,4以降、CJKCodecsの標準提供により日本語の取り扱いも標準化されつつあると思いますが、多数のエンコード方式が混在し、コードと区点の対応が一対一とならない日本語環境
Universal Encoding Detector: character encoding auto-detection in Python
Character encoding auto-detection in Python. As smart as your browser. Open source. >>> import urllib >>> urlread = lambda url: urllib.urlopen(url).read() >>> import chardet >>> chardet.detect(urlread("http://google.cn/")) {'encoding': 'GB2312', 'confidence': 0.99} >>> chardet.detect(urlread("http://yahoo.co.jp/")) {'encoding': 'EUC-JP', 'confidence': 0.99} >>> chardet.detect(urlread("http://amazo
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
