iandeth. - 文字列のutf8-flag状態を手軽に調べる - DBI::data_string_desc()
yet another way to peek at scalar's utf8-flag... DBIモジュールのperldocを読んでいて「む、これイイかも」と思えたユーティリティ関数。任意の文字列なりスカラ変数なりを渡すと、utf8-flag状態 / ascii or non-ascii 判定 / 文字数 / バイト数 ... 等の詳細情報をポロッと返してくれます。 use DBI; print DBI::data_string_desc('hoge');#実行結果 UTF8 off, ASCII, 4 characters 4 bytes 以下、いろんなパターンでの実行結果: # 'abc' UTF8 off, ASCII, 3 characters 3 bytes # utf8 flagged 'abc' UTF8 on, ASCII, 3 characters 3 bytes
Windows 版 ActivePerl 5.8.X で日本語のファイル名を使う。
結論から言うと、UTF-8を内部コードにしているとき、Windows で日本語ファイル名を使いたいときは、プログラムの頭でこんな風に宣言すると便利である。 use strict; use encoding 'shiftjis'; use open ':encoding(shiftjis)'; use open ':std'; use File::Spec::Functions; use subs qw(open); sub open { use Encode; return CORE::open(shift,encode('shiftjis',shift),encode('shiftjis',shift)); } Perl 5.8.X では内部コードに UTF-8が使える。しかし、そのために日本語のファイル名が正しく扱えないことがある。 たとえば、次のプログラムは何の問題もなく動作する。
Unicode::Normalize で遊ぶ - daily dayflower
Unicode の規格では，文字の合字（リガチャ等）等を統一的に扱えるように，「正規化」という処理が仕様として定まっています。この正規化処理のうち「互換性分解」という処理を行うと副作用として半角カナを全角カナに変換できます（逆に全角カナ→半角カナはできません）。 #!/usr/bin/perl use strict; use utf8; use Encode; use Unicode::Normalize; my $src = 'ﾎﾟﾝｼﾞｭｰｽ'; my $dst = Unicode::Normalize::NFKC($src); print Encode::encode('utf8', "${src} => ${dst}\n"); # OUTPUT is: ﾎﾟﾝｼﾞｭｰｽ => ポンジュースUnicode の正規化についてはperl5.8のUnicodeサポート および http:/
Perl 5.8 と UNICODE - daily dayflower
http://www.pure.ne.jp/~learner/program/Perl_unicode.html やnaoya 氏の記事でいいつくされているのですが，最近はまっていることがあるので現在の進捗をメモっておきます。 Perl 5.8 以降の文字列スカラーの内部表現 いわゆる UTF-8 ビットがたっているかいないか，また，実際にワイド文字として区切られているかどうか。個別に設定はできるけれど混乱の元になるので，対になっていると思っていればいいです。 my $text = '日本語'; # $text == "\x{e6} \x{97} \x{a5} \x{e6} \x{9c} \x{ac} \x{e8} \x{aa} \x{9e}"; # 文字列リテラルは『バイト列』 # utf8::is_utf8($text) == trueUTF-8 表記は，ワイド文字は \x{80} 以
Windows版 ActivePerl 5.8.X 日本語テキストファイルの操作
前回の続き、結論から言うと、とりあえず、Windows 版 ActivePerl 5.8.X でシフトJISの日本語テキストファイルを操作するときは、次のように宣言したほうがいいということ。 use encoding "shiftjis"; use open ":encoding(shiftjis)"; use open ":std"; map{ binmode($_,":crlf"); } qw/STDIN STDOUT STDERR/; 1行目、use encoding "shiftjis"; --- テキストファイルの中でシフトJISを使うという宣言。そして、標準入出力もシフトJISになる。 2行目、use open ":encoding(shiftjis)"; --- オープンするファイルのデフォルトのエンコードの宣言。つまり、シフトJISとして扱う。 3行目、use open "
Windows版 ActivePerl 5.8.X で日本語テキストファイルの標準入出力
前に、「Windows版 ActivePerl 5.8.X で日本語処理をする」でencodingプラグマについて触れた。しかし、この機能には小さなバグがあった。Perl 5.8.7/5.8.8で確認しているので、それ以前のバージョンで発生すると思われる。 たとえば、次のように宣言する。use encoding "shiftjis";こうすると、Perlの次のような動作になる。 ソースファイルはシフトJISコードで扱う 内部コードはUTF-8を使用する 標準入力(STDIN)からシフトJISコードをUTF-8に変換して読み込む 標準出力（STDOUT)へUTF-8をシフトJISコードに変換して書き込む 果たして本当にそうなっているのか？ 次のプログラムをtest1.plとして保存して、perl test1.pl 実行してみると、STDIN,STDOUT,STDERRのそれぞれのファイルハン
Perl5.8 の UNICODE 対応
perl は 5.8 から Unicode(utf-8) がサポートされました．5.6 でも Unicode に対応はしていましたが，ぜんぜん使い物にならず，ようやく 5.8 でまともに使えるようになったということです．ただせっかく使えるにもかか わらず perldoc などを見てもイマイチ使い方がわからないので，独自にまと めてみたのがこのページです． 誤った書き方や勘違いをしてい ることもあるので，形式的ですがこのページの内容は無保証です． 内容 文字コード変換 perlIO jperlからの移行 UTF-8フラグ 文字コード自動判別 Unicode Standard Unicode 正規化 その他 参考資料 文字コード変換 とりあえず perl5.8 で新しく組み込まれた機能を見るために，euc-jp から shift_jis への変換スクリプトをいくつか載せます． openを利用し
ActivePerl 5.8.X で日本語処理をする
Windows で ActivePerl 5.8.X 以降を使う場合、次のように宣言すると、標準入出力やPerl/Tkも日本語で使えるようになる。ソースプログラムも Shift-JISコードで保存できるようになって便利。 use encoding 'shiftjis'; ただし、さまざまな問題があるので、以下の点に気をつける必要がある。 use encoding 'shiftjis' の副作用 - https://hardsofttalk.seesaa.net/article/200801article_6.html shiftjis 、CP932、MacJapanese の違い - https://hardsofttalk.seesaa.net/article/200802article_1.html また、Perl/Tkでの日本語の例は下記の記事に加筆していく予定。 Perl/Tkで日
Perl 5.8.x で文字コードの自動判別と変換
Perl 5.8.x で文字コードの自動判別と変換 2004-11-03-3: [Perl][Code] use Encode qw/from_to/; use Encode::Guess qw/euc-jp shiftjis 7bit-jis/; my $data = 'データ'; my $enc = guess_encoding($data); my $from = $enc->name; my $to = 'euc-jp'; from_to($data, $from, $to); print $data; - Encode http://perldoc.com/perl5.8.0/lib/Encode.html - Encode::Guess http://www.perldoc.com/perl5.8.0/lib/Encode/Guess.html
iandeth. - XML::Parser と encoding指定について
Perl XMLでencoding='Shift_JIS'や'euc-jp'を使う Hippo2000さんの上記ページにお世話になったのでご紹介。 PerlでXML扱う際におそらく使う事になるであろう XML::Parser モジュールですが、標準インストールの状態ではエンコーディング指定が EUC-JP や Shift_JIS になっているXMLを読み込むとエラーになります（XMLのヘッダ情報が以下のようになっているもの）。 <?xml version="1.0" encoding="euc-jp" ?> または <?xml version="1.0" encoding="shift_jis" ?> なのでこれらのXMLを XML::Parser にて読み込む為に必要な処置／対策が Hippo2000さんのページにて簡潔に述べられています。感謝〜。 ※XML::SimpleやXML::D
Perl 5.8 Unicode で再びはまり中 : NDO::Weblog
Perl 5.8 Unicode で再びはまり中 [ Perl ] またしても Perl 5.8 での Unicode ではまっています。ドキュメントにはコマンドラインスイッチ -C や環境変数 PERL_UNICODE で、PerlIO レイヤにおける UTF-8 の扱いを制御できるそうなのですが、どうにもうまくいきません。 以下、はまり記録です。 少し前に 'Perl 5.8 以降においての Unicode 文字列の扱い方' というエントリを書きました。UTF-8 で記述された外部ファイルを open する場合などには PerlIO レイヤを使って明示的に UTF-8 であることを指定すると良い、という話などです。 open $fh, "<:utf8", $file; といった具合で。自力で外部ファイルを open する場合にはこれでいいのですが、ファイルの open() をモジュール
Shift-JISテキストを正しく扱う
最近の更新履歴 2006-10-28: 「Shift-JISの漢字を含むファイル名/パス名」について若干追記。 2005-03-26: 「最初に」中、XML日本語プロファイル第2版に基づき、若干追記。 2005-03-09: 「最初に」中、文章を若干修正。 2003-06-24: Shift-JISの漢字を含むファイル名/パス名 2003-05-31: 「最初に」中、「シフトJIS」などの表記について。 2003-05-24: CP932重複定義文字の変換 2002-08-30: Perl 5.8.0 について。 2002-01-17: 長い文字列に対する正規表現検索 2001-12-15: ShiftJIS::Collate が overrideCJK パラメータを廃止したことに伴う 日本語文字列を並び替えるの書き換え。 最初に 日本語の文字コードにはいくつかのものが使われています。ある
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
naoya.dyndns.org is offline
naoya.dyndns.org is offline
naoya.dyndns.org is offline