Universal Encoding Detector: character encoding auto-detection in Python
Character encoding auto-detection in Python. As smart as your browser. Open source. >>> import urllib >>> urlread = lambda url: urllib.urlopen(url).read() >>> import chardet >>> chardet.detect(urlread("http://google.cn/")) {'encoding': 'GB2312', 'confidence': 0.99} >>> chardet.detect(urlread("http://yahoo.co.jp/")) {'encoding': 'EUC-JP', 'confidence': 0.99} >>> chardet.detect(urlread("http://amazo
MBCS 文字列の折り返し - その 1 - 彷徨えるフジワラ
Mercurial の 1.4 版から、端末表示幅にあわせてヘルプテキストが折り返されるようになったのだけど、案の定というか、言語設定を日本語にしてある(LANGUAGE=ja 等)場合、折り返された行末で表示が乱れるケースがちらほらと。 ぱっと見、複数バイトで構成される文字の途中で改行されているんだろうなぁ、と原因の目星は付いていたのだけど、何やかにやでついつい後回しになっていたパッチ作成作業に、ようやく着手することに。 ソースを追いかけていくと結局のところ、Python 標準の行折り返しライブラリである textwrap モジュールが、明らかに１文字＝１バイトな文字コードしか念頭に置いていないことが原因っぽいことが判明。 そんな textwrap を Mercurial で使ってしまっていること自体は、まぁ良しとしましょう。でも、21 世紀ももうすぐ 10 年が経とうとしているこのご時
Pythonにおけるエンコーディングの扱いとエンコーディングの変換について - 試験運用中なLinux備忘録・旧記事
(2010/11/1)本記事の内容はバージョン2系のPythonについて書かれている。バージョン3系ではエンコーディングの扱いが変わっており、「バージョン3系のPythonにおける文字列とそのエンコーディングに関する覚え書き(文字列型とバイト列型)」で扱っている。 (2014/11/20)リファレンスのリンク先を修正した。 エンコーディングとエンコード/デコード操作 エンコーディングの変換 encode()やdecode()が失敗する場合について エンコーディングとエンコード/デコード操作Pythonにおいて、UTF-8やCP932(WindowsのShift_JIS)などのそれぞれのエンコーディングの文字列はUnicodeの文字列と相互に変換することができる。 各エンコーディングにエンコードされている文字列オブジェクトのメンバ関数decode()の引数にそのエンコーディング名を指定すると
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
