csvモジュールがUnicode入力をサポートしていない罠 - bonlife
id:piro_sukeさんがアレコレやってるのを見てちょいと試しているうちに、予想外なところで罠にハマってしまったbonlifeです。同じことで躓く人はあまりいないような気がしますが、備忘録メモです。 csvモジュールで日本語を扱う場合に気をつけないと悲しい気持ちになってしまうかもしれませんよ、というお話。 サンプル1 sys.getdefaultencoding() で得られる文字コードは cp932 ファイルの文字コードは cp932 出力するCSVの文字コードは cp932 # -*- coding: cp932 -*- import sys import csv import codecs print "default encoding : %s" % (sys.getdefaultencoding()) f = codecs.open('out.csv','wb','cp932
Re: google app engine のユニコードの処理に苦しんだ方への処方箋 - 西尾泰和のはてなダイアリー
hikaliの開発日誌 | [Pythonゲーム修行]google app engine のユニコードの処理に苦しんだ方への処方箋 とりあえず Python 2.5.2 (r252:60911, Nov 29 2008, 16:55:50) [GCC 4.0.1 (Apple Inc. build 5465)] on darwin Type "help", "copyright", "credits" or "license" for more information. >>> print "あ" + "い" あい というわけで Pythonの内部では、マルチバイト文字列はUnicodeでないと処理できない。 これも、知らないと結構はまるのですが（当然できるものと思い込んでいるため）、たとえば「+」を使って文字列を連結することもできません。 というのは事実誤認。 それから >>> prin
PythonのUnicodeEncodeErrorを知る - HDEラボ
Pythonにはじめて触って、いつのまにか1年が過ぎたのですが、一番はまったのは、やっぱりunicodeの扱いだったと思います。 特に、 UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-12: ordinal not in range(128) のようなエラーにはさんざん悩まされました。ここがたとえばrubyなど他の言語と比べてわかりにくいために、Pythonが取っつきにくい言語になっているのではないか、と個人的には思います。 そこで、このエラーに関係するはまりどころとTipsをいくつか列挙してみました。これからPythonに触れられる方の参考になればと思います。 なお、環境はUNIX上のPython 2.4, 2.5を想定しています。 u1はunicode型で、s1はstr型です。s1にどのよ
yebo blog: Unicode 6.0.0でケータイ絵文字が追加
2010/10/13 Unicode 6.0.0でケータイ絵文字が追加 Unicode 5.2.0の改定版である「Unicode 6.0.0」が公開されている。Unicode 6.0.0では2088文字が追加されたが、最大の特徴はGoogleやAppleから提案されたケータイ絵文字が1000以上追加されたことだ(関連1、関連2)。特定の企業ロゴを除き、携帯電話で利用されている絵文字が対応することになった。絵文字は1F600-1F64F (顔文字)、1F300-1F5FF、1F680–1F6FFにある。日本のキャリア間で絵文字をどうするああすると言っていた事が懐かしい :-P 。変換などという姑息な事をせずとも、Unicode 6.0に対応すれば、絵文字はPCだろうが携帯だろうが共通で利用できるようになったわけだ。 投稿者 zubora 投稿時間 18:18 ラベル: Mobile, Tec
utf8_general_ci と utf8_unicode_ci の違い - Ceekz Logs (Move to y.ceek.jp)
以前までは、データベース MySQL を利用したアプリケーションを作るときは、文字コードとして EUC-JP を利用していました。最近は、国際化との兼ね合いなどから UTF-8 を利用するようにしています。 MySQL で UTF-8 を扱う場合、照会順序として utf8_bin を使用していました（何も考えずに）。 utf8_bin の場合、部分一致探索 LIKE などの使用時に英字の大文字小文字が区別されてしまう。大文字小文字を区別されないようにするためには、照会順序として utf8_general_ci を使用すればよいのですが、他にも utf8_unicode_ci があることに気がつきました。 utf8_general_ci と utf8_unicode_ci では、どこが違うのだろう？ utf8_general_ci also is satisfactory for both
携帯の絵文字のUnicodeへの収録 - Cafe Babe
先ほど，日本の携帯で使われている「絵文字」のUnicodeへの収録を検討していることと，そのためのデータがGoogleのブログで発表された．詳細は以下を見て頂きたい． Emoji for Unicode: Open Source Data for the Encoding Proposal（Google Code） Googleの日本語ブログでも，もうすぐ日本語訳（？）を公開するそうである（追記：公開された．）．この案は，将来的にISO/IEC JTC 1/SC 2に提案することになると思われる． この提案で誤解して欲しくないことは，この提案は，既存の携帯の変更を伴わないことである．つまり，この提案は，例えばGmailのような複数の携帯キャリアの絵文字を扱わねばならないシステムを意図したものであり，従来私用領域（Private Use Area）に割り当てていた文字を正式に符号化すると共に
絵文字のユニコード符号化: 符号化提案用のオープンソースデータ
絵文字とは、顔の表情やその他のシンボルなどを絵で表現した文字で、日本の携帯電話ユーザーの間で特に人気があり、広く使用されているものです。先月、Gmail でも絵文字が使用可能になりました。詳しくはGmail チームのブログポスト「Gmail で絵文字が使えるようになりました 」をご覧ください。 これらの絵文字は携帯電話会社が各々独自に創作したもので、メールやウェブなどで使われています。絵文字は元々各携帯会社のユーザー同士で使用されることを前提に作られたものですが、現在では各社間である程度の互換性を保つための絵文字変換表も利用されています。 ユーザーは携帯会社や機種の違いに関わらず、見慣れている絵文字が表示されることを期待しています。自分がメールで送った絵文字が、受信側でも同じか同等の絵文字で表示されること、ウェブで見る絵文字が他の携帯ユーザーにも同じに見えること、また検索エンジンで絵文字を
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
nkf
ウェブで利用される文字コード、UnicodeがASCIIを上回る--グーグルが明らかに