Python の日本語 - veryberry_cafeの日記
この結果の差はなんだろう。 C:\py\python >>> import sys >>> sys.stdout.encoding #標準出力のエンコード 'cp932' >>> sys.stdin.encoding #標準入力のエンコード 'cp932' >>> sys.getfilesystemencoding()#ファイルシステムのエンコード 'mbcs' >>>cp932は、MS932とも呼ばれる。Shift_JISのこと。shift_jis(ms932)などと書かれる。じゃぁmbcsって？ 1文字が複数バイトで表現される文字の集合。また、そのような文字集合に割り当てられた文字コードの体系。日本語や中国語などの文字セット/コードのように、1文字を2バイトで表現する文字セットやコード体系を特にDBCS(Double Byte Character Set)という。 MBCSとは Pyt
PEP-0263 — j-lab
オリジナルヘッダ PEP: 0263 Title: Defining Python Source Code Encodings Version: 43264 Last-Modified: 2006-03-23 21:13:19 +0100 (Thu, 23 Mar 2006) Author: Marc-Andre Lemburg <mal at lemburg.com>, Martin v. Lowis <loewis at informatik.hu-berlin.de> Status: Final Type: Standards Track Python-Version: 2.3 Created: 06-Jun-2001 Last-Modified: 2006-05-18 Post-History: 翻訳 Title: Python ソースコードのエンコーディング定義 Version
Unicodeオブジェクトへの変換コスト - odz buffer
unicode(s, enc) より s.decode(enc) が早くて decoder(s)[0] は もっと早いという話を聞いたので試してみた。 #!/usr/bin/env python # coding: cp932 from timeit import Timer import codecs decoder = codecs.getdecoder('cp932') setup = 'from __main__ import decoder' print Timer("unicode('日本語', 'cp932')", setup).timeit() print Timer("'日本語'.decode('cp932')", setup).timeit() print Timer("decoder('日本語')[0]", setup).timeit() 結果 2.018347583
iandeth. - 文字列のutf8-flag状態を手軽に調べる - DBI::data_string_desc()
yet another way to peek at scalar's utf8-flag... DBIモジュールのperldocを読んでいて「む、これイイかも」と思えたユーティリティ関数。任意の文字列なりスカラ変数なりを渡すと、utf8-flag状態 / ascii or non-ascii 判定 / 文字数 / バイト数 ... 等の詳細情報をポロッと返してくれます。 use DBI; print DBI::data_string_desc('hoge');#実行結果 UTF8 off, ASCII, 4 characters 4 bytes 以下、いろんなパターンでの実行結果: # 'abc' UTF8 off, ASCII, 3 characters 3 bytes # utf8 flagged 'abc' UTF8 on, ASCII, 3 characters 3 bytes
Windows 版 ActivePerl 5.8.X で日本語のファイル名を使う。
結論から言うと、UTF-8を内部コードにしているとき、Windows で日本語ファイル名を使いたいときは、プログラムの頭でこんな風に宣言すると便利である。 use strict; use encoding 'shiftjis'; use open ':encoding(shiftjis)'; use open ':std'; use File::Spec::Functions; use subs qw(open); sub open { use Encode; return CORE::open(shift,encode('shiftjis',shift),encode('shiftjis',shift)); } Perl 5.8.X では内部コードに UTF-8が使える。しかし、そのために日本語のファイル名が正しく扱えないことがある。 たとえば、次のプログラムは何の問題もなく動作する。
Unicode::Normalize で遊ぶ - daily dayflower
Unicode の規格では，文字の合字（リガチャ等）等を統一的に扱えるように，「正規化」という処理が仕様として定まっています。この正規化処理のうち「互換性分解」という処理を行うと副作用として半角カナを全角カナに変換できます（逆に全角カナ→半角カナはできません）。 #!/usr/bin/perl use strict; use utf8; use Encode; use Unicode::Normalize; my $src = 'ﾎﾟﾝｼﾞｭｰｽ'; my $dst = Unicode::Normalize::NFKC($src); print Encode::encode('utf8', "${src} => ${dst}\n"); # OUTPUT is: ﾎﾟﾝｼﾞｭｰｽ => ポンジュースUnicode の正規化についてはperl5.8のUnicodeサポート および http:/
Perl 5.8 と UNICODE - daily dayflower
http://www.pure.ne.jp/~learner/program/Perl_unicode.html やnaoya 氏の記事でいいつくされているのですが，最近はまっていることがあるので現在の進捗をメモっておきます。 Perl 5.8 以降の文字列スカラーの内部表現 いわゆる UTF-8 ビットがたっているかいないか，また，実際にワイド文字として区切られているかどうか。個別に設定はできるけれど混乱の元になるので，対になっていると思っていればいいです。 my $text = '日本語'; # $text == "\x{e6} \x{97} \x{a5} \x{e6} \x{9c} \x{ac} \x{e8} \x{aa} \x{9e}"; # 文字列リテラルは『バイト列』 # utf8::is_utf8($text) == trueUTF-8 表記は，ワイド文字は \x{80} 以
Python でUTF-8, shift_jis, euc_jpなど日本語を使う方法
[Home] [Setting up Mac OS X] [Python]: [ファイルを読む] 日本語を使う Pythonで日本語を使う Python 2.4以降では、標準で日本語を扱うことができます。 PythonのソースコードをUTF-8で書くには 日本語を扱うPythonのスクリプトの中では、UTF-8の文字コードを使うのが 楽です。 Mac OS Xのターミナルで日本語を扱う場合は、 ここの「4. Terminalの設定を変える」の 指示に従ってください。 以下、ソースコードの簡単な例を示します。 #!/usr/bin/env python # -*- coding: utf-8 -*- import re jtext = u'子猫が隠れんぼをしています' print 'jtext has', len(jtext), 'Japanese characters.' if re.se
Windows版 ActivePerl 5.8.X 日本語テキストファイルの操作
前回の続き、結論から言うと、とりあえず、Windows 版 ActivePerl 5.8.X でシフトJISの日本語テキストファイルを操作するときは、次のように宣言したほうがいいということ。 use encoding "shiftjis"; use open ":encoding(shiftjis)"; use open ":std"; map{ binmode($_,":crlf"); } qw/STDIN STDOUT STDERR/; 1行目、use encoding "shiftjis"; --- テキストファイルの中でシフトJISを使うという宣言。そして、標準入出力もシフトJISになる。 2行目、use open ":encoding(shiftjis)"; --- オープンするファイルのデフォルトのエンコードの宣言。つまり、シフトJISとして扱う。 3行目、use open "
Windows版 ActivePerl 5.8.X で日本語テキストファイルの標準入出力
前に、「Windows版 ActivePerl 5.8.X で日本語処理をする」でencodingプラグマについて触れた。しかし、この機能には小さなバグがあった。Perl 5.8.7/5.8.8で確認しているので、それ以前のバージョンで発生すると思われる。 たとえば、次のように宣言する。use encoding "shiftjis";こうすると、Perlの次のような動作になる。 ソースファイルはシフトJISコードで扱う 内部コードはUTF-8を使用する 標準入力(STDIN)からシフトJISコードをUTF-8に変換して読み込む 標準出力（STDOUT)へUTF-8をシフトJISコードに変換して書き込む 果たして本当にそうなっているのか？ 次のプログラムをtest1.plとして保存して、perl test1.pl 実行してみると、STDIN,STDOUT,STDERRのそれぞれのファイルハン
Perl5.8 の UNICODE 対応
perl は 5.8 から Unicode(utf-8) がサポートされました．5.6 でも Unicode に対応はしていましたが，ぜんぜん使い物にならず，ようやく 5.8 でまともに使えるようになったということです．ただせっかく使えるにもかか わらず perldoc などを見てもイマイチ使い方がわからないので，独自にまと めてみたのがこのページです． 誤った書き方や勘違いをしてい ることもあるので，形式的ですがこのページの内容は無保証です． 内容 文字コード変換 perlIO jperlからの移行 UTF-8フラグ 文字コード自動判別 Unicode Standard Unicode 正規化 その他 参考資料 文字コード変換 とりあえず perl5.8 で新しく組み込まれた機能を見るために，euc-jp から shift_jis への変換スクリプトをいくつか載せます． openを利用し
ActivePerl 5.8.X で日本語処理をする
Windows で ActivePerl 5.8.X 以降を使う場合、次のように宣言すると、標準入出力やPerl/Tkも日本語で使えるようになる。ソースプログラムも Shift-JISコードで保存できるようになって便利。 use encoding 'shiftjis'; ただし、さまざまな問題があるので、以下の点に気をつける必要がある。 use encoding 'shiftjis' の副作用 - https://hardsofttalk.seesaa.net/article/200801article_6.html shiftjis 、CP932、MacJapanese の違い - https://hardsofttalk.seesaa.net/article/200802article_1.html また、Perl/Tkでの日本語の例は下記の記事に加筆していく予定。 Perl/Tkで日
char、wchar_t（WCHAR）とTCHAR(dinop.com)
文字列を扱う型としてよく知られているchar型はsizeof(char)＝1バイトの型だ。 charに代入できるのは半角文字1文字で、漢字など2バイトからなる全角文字を代入したいとき は（微妙な表現だが）2つのcharが必要になる。 ユニコードを扱うための型として用意されたのがこのwchar_tだ。sizeof(wchar_t)＝2バイトの 型でありchar型よりも使用バイト数が多い。 wchar_tに代入できるのはユニコードでの1文字で、半角や全角文字などの区別はない。 ヘッダーの中では以下のように宣言されている。 typedef unsigned short wchar_t; typedef unsigned short WCHAR; // wc, 16-bit UNICODE character つまりwchar_tとWCHARのどちらもunsigned short型として定義されて
Perl 5.8.x で文字コードの自動判別と変換
Perl 5.8.x で文字コードの自動判別と変換 2004-11-03-3: [Perl][Code] use Encode qw/from_to/; use Encode::Guess qw/euc-jp shiftjis 7bit-jis/; my $data = 'データ'; my $enc = guess_encoding($data); my $from = $enc->name; my $to = 'euc-jp'; from_to($data, $from, $to); print $data; - Encode http://perldoc.com/perl5.8.0/lib/Encode.html - Encode::Guess http://www.perldoc.com/perl5.8.0/lib/Encode/Guess.html
iandeth. - XML::Parser と encoding指定について
Perl XMLでencoding='Shift_JIS'や'euc-jp'を使う Hippo2000さんの上記ページにお世話になったのでご紹介。 PerlでXML扱う際におそらく使う事になるであろう XML::Parser モジュールですが、標準インストールの状態ではエンコーディング指定が EUC-JP や Shift_JIS になっているXMLを読み込むとエラーになります（XMLのヘッダ情報が以下のようになっているもの）。 <?xml version="1.0" encoding="euc-jp" ?> または <?xml version="1.0" encoding="shift_jis" ?> なのでこれらのXMLを XML::Parser にて読み込む為に必要な処置／対策が Hippo2000さんのページにて簡潔に述べられています。感謝〜。 ※XML::SimpleやXML::D
Perl 5.8 Unicode で再びはまり中 : NDO::Weblog
Perl 5.8 Unicode で再びはまり中 [ Perl ] またしても Perl 5.8 での Unicode ではまっています。ドキュメントにはコマンドラインスイッチ -C や環境変数 PERL_UNICODE で、PerlIO レイヤにおける UTF-8 の扱いを制御できるそうなのですが、どうにもうまくいきません。 以下、はまり記録です。 少し前に 'Perl 5.8 以降においての Unicode 文字列の扱い方' というエントリを書きました。UTF-8 で記述された外部ファイルを open する場合などには PerlIO レイヤを使って明示的に UTF-8 であることを指定すると良い、という話などです。 open $fh, "<:utf8", $file; といった具合で。自力で外部ファイルを open する場合にはこれでいいのですが、ファイルの open() をモジュール
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Unicode HOWTO
naoya.dyndns.org is offline
naoya.dyndns.org is offline
naoya.dyndns.org is offline