[B! python][charset] wozozoのブックマーク

Python でエンコーディングを判定する - 傀儡師の館.Python：楽天ブログ

2008.05.25 Python でエンコーディングを判定する (1) テーマ：プログラミング言語 Python を使う(339) カテゴリ：Python Python でエンコーディングの自動判定をするにはいくつかの方法がある。文字列のコードを直接調べてその情報だけで判定するタイプと、HTML や XML ファイルに含まれるメタ情報なども利用し、そうした情報で判定できないものは文字コードの情報から判定するタイプがある。前者のタイプでは、pykf や、nkfpython、kanjilib などがある。pykf は、ShiftJIS, EUC-JP, JISコードを相互に変換するためのPython拡張モジュールで、Universal Encoding Detector や encutils のようには、メタ情報を使わない直接文字コードをチェックするタイプ。日本語のみを前提とするのであれば

wozozo 2010/09/15

リンク

pythonで文字コード変換のテスト - Vox

windows+python2.5でバイナリファイルからSJISの文字列を読み取ってutf8文字列としてsqliteに保存。後でsqliteから読み出してSJISで保存。ってことをpythonでやろうとして大いに躓く。一応理解したものの、どうにも把握しづらいのでまとめてテストコードを晒してみる # -*- coding: utf-8 -*- # vim:fileencoding=utf-8 #バイトコード j = '日本語' #unicode文字列 uj = u'日本語' #9'バイト' print len(j) #3'文字' print len(uj) #unicode文字列なので、pythonが自動的にstdoutに適合するよう変換する print uj #utf8のバイトコードをunicodeに変換して出力 print unicode(j,'utf-8') #上と同じだがdec

wozozo 2009/09/06

リンク

はてなブログ | 無料ブログを作成しよう

fire tv stickを旅のお供に自宅用に買ったFire TV Stickだが、旅行にも持っていくと地味に便利で、最近は旅の荷物にときどき入れてる。最近のホテルは、だいたいWi-fiが整備されているし、テレビも設置されている。そしてテレビはだいたいHDMI端子が付いている。なので、部屋に入ってサクッと…

wozozo 2009/03/08

日本語

リンク

lxmlで日本語のWebページのタイトルを取得する - Pyro Memo

日本語が化けて大変苦労したのでメモ。結論として、XML（またはHTML）を解析する前にunicode関数に通しておく、ということで良いのかな？相変わらず文字コード関連はよく分からない。 from urllib import urlopen from lxml import etree html = urlopen("http://b.hatena.ne.jp") charset = html.headers.getparam('charset') html_data = unicode(html.read(),charset) et = etree.fromstring(html_data, parser=etree.HTMLParser()) title_element = et.xpath("./head/title")[0] title = title_element.text.e

wozozo 2009/03/06

lxml 文字化け日本語

リンク

Pythonと日本語表示と文字コード、unicode 、str 、utf-8 、shift-jis 、、、 - Cassiopeiaの日記

Pythonは使いやすい覚えやすい気持ちいいとまで言う人もいる。たしかにその通りだと思った。しかし、日本語を使おうとした時に急に気持ち良くなくなる。そう感じたのは僕だけではないはずだ。ということで今日の日記のネタはPythonと日本語となりました。 (WindowsXPにココから "Python 2.5.1 Windows installer" をインストールした環境でテストしています。) まずは、あなたが書いたコードはutf-8で保存する。そして、そのコードの先頭には以下を記入する。 # -*- coding: utf-8 -*- あなたはエディタに何を使っていますか？　秀丸、メモ帳、vim、meadow、或いは Python Scripter、eclipse ？いずれにしてもファイルを保存する時のエンコードはutf-8にすべし。では早速気持ちよくない(表示が文字化けする！)例。

wozozo 2008/12/10

リンク

なんとなくencodeとdecode 使ってみた - 牌語備忘録 -pygo

いつも使う時わけわからなくなるのでメモ(´･ω･`) Pythonの対話モードでencodeとdecode 使ってみる。ユニコード -> 'utf8' >>> u'牛タン'.encode('utf8') '\xe7\x89\x9b\xe3\x82\xbf\xe3\x83\xb3' >>> print '\xe7\x89\x9b\xe3\x82\xbf\xe3\x83\xb3' 牛タン 'utf8' ｰ> ユニコード >>> '\xe7\x89\x9b\xe3\x82\xbf\xe3\x83\xb3'.decode('utf8') u'\u725b\u30bf\u30f3' >>> '牛タン'.decode('utf8') u'\u725b\u30bf\u30f3' >>> print u'\u725b\u30bf\u30f3' 牛タン >>> unicode('牛タン', 'utf8')

wozozo 2008/10/30

リンク

2008-01-08 - プログラミング日記 ] エンコーディング指定

odz buffer: Pythonのエンコーディング (http://d.hatena.ne.jp/odz/20080106/1199638622) 入出力周りのエンコーディングの設定の方法が書かれていた。この例で、エンコーディングを取得する前半と入出力のエンコーディングを設定する後半に分けて考える。 import sys, locale, codecs enc = locale.getpreferredencoding() sys.stdout = codecs.getwriter(enc)(sys.stdout) sys.stdin = codecs.getreader(enc)(sys.stdin) 『Pythonチュートリアル』には以下のコードが載っていた。 import codecs, sys sys.stdout = codecs.lookup('utf-8')[-1](sy

wozozo 2008/10/22

リンク

PythonのUnicodeEncodeErrorを知る - HDEラボ

Pythonにはじめて触って、いつのまにか1年が過ぎたのですが、一番はまったのは、やっぱりunicodeの扱いだったと思います。特に、 UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-12: ordinal not in range(128) のようなエラーにはさんざん悩まされました。ここがたとえばrubyなど他の言語と比べてわかりにくいために、Pythonが取っつきにくい言語になっているのではないか、と個人的には思います。そこで、このエラーに関係するはまりどころとTipsをいくつか列挙してみました。これからPythonに触れられる方の参考になればと思います。なお、環境はUNIX上のPython 2.4, 2.5を想定しています。 u1はunicode型で、s1はstr型です。s1にどのよ

wozozo 2008/10/19

リンク

Python で日本語を扱う基本をまとめてみるメモ(その2) - 猫(=・ω・=)顔 1.0β

「その1」のまとめ ⇒Python で日本語を扱う基本をまとめてみるメモ(その1) - 猫(=・ω・=)顔 1.0β 1行めか2行めで # coding: 〜を指定する。 '' は通常の文字列。保存した形式のままの「バイト列」。 u'' は Unicode 文字列。多バイト文字環境で1文字を1文字として扱うために必要。通常の文字列から Unicode 文字列への変換は unicode() 関数を使う。今日のお題 unicode() 関数をもうちょっと探る Unicode 文字列を作る別の方法文字コードの変換方法 (1) Unicode 文字列から任意の encoding へ文字コードの変換方法 (2) encoding-A から encoding-B へ unicode() 関数をもうちょっと探る前回のおさらい。以下、通常の文字列(バイト列)は、メンドクサイから全部 euc-