[B! python][unicode] bunhikoのブックマーク

Python で日本語を扱う基本をまとめてみるメモ(その2) - 猫(=・ω・=)顔 1.0β

「その1」のまとめ ⇒Python で日本語を扱う基本をまとめてみるメモ(その1) - 猫(=・ω・=)顔 1.0β 1行めか2行めで # coding: 〜を指定する。 '' は通常の文字列。保存した形式のままの「バイト列」。 u'' は Unicode 文字列。多バイト文字環境で1文字を1文字として扱うために必要。通常の文字列から Unicode 文字列への変換は unicode() 関数を使う。今日のお題 unicode() 関数をもうちょっと探る Unicode 文字列を作る別の方法文字コードの変換方法 (1) Unicode 文字列から任意の encoding へ文字コードの変換方法 (2) encoding-A から encoding-B へ unicode() 関数をもうちょっと探る前回のおさらい。以下、通常の文字列(バイト列)は、メンドクサイから全部 euc-

bunhiko 2007/08/09

リンク

Python で日本語を扱う基本をまとめてみるメモ(その1) - 猫(=・ω・=)顔 1.0β

久々の Python ネタ! (=´ω｀=)ノ 1ヶ月ぐらいかけてようやくこの本: 速効!Pythonプログラミングバージョン2.5対応作者: 上平哲出版社/メーカー: 秀和システム発売日: 2007/04/27メディア: 単行本購入: 1人クリック: 29回この商品を含むブログ (15件) を見るを読み終えた！「EUC とか UTF とかのエンコーディング方法をキチンと処理するための Python の正しいお作法ってどうなの？」というのが知りたくてヨドバシの書籍コーナーでいろいろ物色してこの本を選んだのだが、それがとても丁寧にかかれてて良かった。日本語に関してだけじゃなく、全般的に例が多くて丁寧。言語仕様からこういう結果になる、という説明じゃなく、こう書くとこういう理由でこう動く、という事例オリエンテッドな感じで Python 初心者な自分には読みやすかったっす。っつーことで、以

bunhiko 2007/08/08

リンク

日本語文字列コード問題まとめ

【1】文字列コード問題との戦い Pythonに限った話ではないのですが、日本語を取り扱うコードを書いているとやっかいなエンコーディングトラブルに遭う事は少なくないでしょう。エンコーディングトラブルとはコンパイラ・インタプリタがソースコードを解釈できない。画面表示が化ける。意図した入力ができない。エンコード・デコード時にエラーがでる。正しいファイル名のつもりなのにファイルが見つからない。出力させたファイルの中身が読めない。などといった現象を基本としていろんな問題を引き起こします。問題のすべては「コード変換」に発生します。実際の文字列が何のエンコーディングで、渡す先が何のエンコーディングを期待しているか？それらを確認して合致させるように変換をするということが基本です。【2】「Python日本語版が必要」というのは誤解 P

bunhiko 2007/04/07

リンク

perl, python & ruby - chr() vs. Unicode : 404 Blog Not Found

2006年11月23日22:00 カテゴリLightweight Languages perl, python & ruby - chr() vs. Unicode というわけで、404 Blog Not Found:There's more than one language to cook your probl emsでPython & Ruby Cookbooksを一気読みしたので、気になる点を少しずつ書いて行くことにする。まずは、文字の扱い。文字列でない点に注意。少なくとも、文字列をバイト列と見なして相互変換することは、LLに限らずたいていの言語で出来るようになったのだけど、文字を文字として扱うという点に関しては各言語ともまちまちで、多言語派の私としては結構頭のいたいところ。ここでは、私が一番流暢なPerlを軸に、RubyとPythonではどうなっているのかを調べてみた。数値

bunhiko 2006/11/24

リンク

日本語環境でのPython (for Python 2.3 or later)

日本語環境でのPython (for Python 2.3 or later) - Pythonで日本語処理を行うために(for Python... 皆さんがPythonを使いはじめるとき、なんと言っても気になるのは「ちゃんと日本語使えるのかなぁ」ということではないかと思います。結論から言えば、現在のPythonは日本語環境で利用可能です。しかし、快適に日本語を使うためには、ちょっとした準備が必要です。ここでは、Python 2.3 を基本に説明を行います。 Python の文字列型まず、Python の文字列型データは 8 ビット透過ですので、文字列の中に文字コードが 0 から 255 までのどんな値が含まれていても処理することが出来ます。 Python の文字列型データに日本語が含まれていても、ビット落ちなどの障害が発生することはありません。いったんデータとして日本語文字列を