utf8プラグマでfat commaを使うと左辺がdecodeされるバグ(perl-5.10.2で修正予定) - このブログはURLが変更になりました
id:miyagawa さんからTwitterで教えてもらったネタ。Twitterだけで完結するのはもったいないのでここに書いておく。 元ネタはこちら。matsuuNet::Twitter/Net::Twitter::Lite最新版のencode/decode周りがおかしい。utf8プラグマとLWPが絡むともうなんつーかバッドノウハウのオンパレードですよ。 ( 2009-08-27 00:14:01 )miyagawa@matsuu 3.04005 でなおしたはずなんですがね。update() には decode したのを渡さないとだめです。 ( 2009-08-27 00:15:31 )miyagawa@matsuu 動作がおかしいスクリプトをみせてもらえれば対応できます。ただし Net::Twitter 3.x で直したのは、2.xでたまたま動いていた（utf8 バイトを渡せばなんとな
#perl - utf8::decode()ではなくEncode::decode_utf8()を使うべき理由 : 404 Blog Not Found
2009年09月13日13:00 カテゴリLightweight Languages #perl - utf8::decode()ではなくEncode::decode_utf8()を使うべき理由 駄目です。 [を] Perl の utf8 まわりのおまじない 最近良く使うおまじない、というかイディオム。 utf8::decode($text) unless utf8::is_utf8($text); こういう場合は、Encode::decode_utf8()でないと。 以下をごらんください。 #!/usr/bin/perl use strict; use warnings; use Encode; use Devel::Peek; for my $bytes ( "\x2F", "\xC0\xAF", "\xE0\x80\xAF", "\xF0\x80\x80\xAF" ) { my $u
Perl の utf8 まわりのおまじない
Perl の utf8 まわりのおまじない 2009-09-12-4 [Programming] 自分用メモ。 最近良く使うおまじない、というかイディオム。 utf8::decode($text) unless utf8::is_utf8($text); （追記：より良いおまじない。詳細は後述。 $text = Encode::decode_utf8($text) unless utf8::is_utf8($text); ） Perl の CGI モジュールでクエリから得られるデータの文字列のutf8フラグの有無が環境によって違うことがあってイライラ。 でもこのおまじないでなんとかなった。 こんな文脈で使う： use utf8; use CGI; ... my $text = $q->param('text') || ""; utf8::decode($text) unless utf8:
にひりずむ::しんぷる - Perlのutf8でつまずいたとき
冬通りに消え行く制服ガールは、夢物語にリアルを求めない。 - subtech Perl の utf8 関係が未だ全く理解できない。わからないことがわからないので整理 現状やってること * utf8 フラグを全く考慮せずに書き、文字化けした時点で 1. use utf8 つけたりはずしたり 2. utf8::encode, utf8::decode を適当にする モダンなPerlでは use strict; use warnings; use utf8; と書くのが作法ですが、utf8に関しては確かに取っ付き辛かったです。 過去に、 にひりずむ::しんぷる:uft8+Encodeで日本語は解決する というような記事を書いたり、ほかの人がいっぱい書いているのでその辺は割愛して、「文字化けした時点で」自分がやっていること use utf8 use Encode スクリプトはutf8で書く 外部か
YAML::Syck::Dumpしたら文字化けした件 - 吾輩のメモである
ちょっとこしょこしょとperlでコードを書いてたんですが、YAML::Syck::Dumpを使ったら出力がなぜか文字化け(まあ正確にはニュアンスがちょっと違う気がするけど) うーむ。なんだろなーと少し悩んで解決方法を探してるうちに色々わかったのでメモ。 少し前振りを。 事の発端?はCentOSなんですね。最近はもっぱら仕事で使う事が多いのでCentOSを使う事が多いのですが、CentOSのデフォルトの文字コードがUTF-8なんですよ。 丁度手前のエントリでも書きましたが、サーバに入ってターミナルでvi使って直でコード書くことが多いんですね。(元々基本一人でコード書く事が多いし、ガリガリかいて即動くか試すってタイプなんで。)ということで書いたソースファイル自体がUTF-8なんですよね。んで、どこで見知ったか ソースコード自体がUTF-8の時はuse utf8;を書いておく っていう生半可な知
にひりずむ::しんぷる - いまさらTTをutf8環境下で何も考えずに扱えるモジュールを書いたけど使わない方がいいと知った
理由は下記参照 Template-Toolkit - モダンなPerl入門 - モダンなPerl入門 2008-02-18 - Bulknews::Subtech - subtech やはり、プログラムやモジュールでは「この文字列は Unicode 文字列であるかバイト列であるかわからない」という入出力パラメータを扱うべきではなく、つねに「Unicode 文字列」や「バイト列」であることを明確にしておくべき。 これには激同なので、そういう方向で。 つまり、バイト列だろうが内部コードだろうがおいしく頂いちゃうモジュールはよろしくないよってこと。 と、いいつつも自作モジュールは大抵おいしく頂いちゃう仕様なのだけども
にひりずむ::しんぷる - いまさらTTをutf8環境下で何も考えずに扱えるモジュールを書いた
HTML::Template::Proをそれなりに使ってきたのだけど、このたびTemplateを使うことにした。 HTML::Templateでもはまったけど、utf8な文字を普通に使うと文字化けする。 解決策は以下のリンク先にいくつかあります。 use Encode; - 今日のCPANモジュール Template::Toolkitでutf-8を扱う - Lism.in * blog - nekoya (id:studio-m) use strict; use utf8; use Template; binmode STDOUT => ':utf8'; my $tt = Template->new( UNICODE => 1, # unicodeで書かれたファイルをflagged utf8にして読む ENCODING => 'utf8', # $varsがbyteだったらutf8でdec
にひりずむ::しんぷる - flaged utf8時のprintf "%20s"とか
utf8フラグ付き文字の場合、length()とかsubstr()とかはバイト単位でなくて、文字単位で扱ってくれてすごい便利。 で、printfの文字列指定子である「%s」も文字単位で扱うようになる。 そのせいで、2バイト表記文字のフォーマットが崩れちゃう。 use strict; use warnings; use utf8; my $sb_str = 'abcde'; my $mb_str = 'ぁぃぅぇぉ'; printf "%-10s : %d\n", $sb_str, length($sb_str); printf "%-10s : %d\n", $mb_str, length($mb_str); abcde : 5 ぁぃぅぇぉ : 5 欲しかったのは abcde : 5 ぁぃぅぇぉ : 5 なのに！ うまい方法わからなかった！ 仕方ないのでこんな書いて sub mb_count
UTF8 フラグあれこれ - daily dayflower
UTF8 フラグについてわかってるつもりだったんですが，utf8::is_utf8 considered harmful - Bulknews::Subtech - subtech を読んで混乱したので，自分なりにまとめてみました。間違いがありましたらご指摘よろしく。 まとめ スカラー変数の内部表象の状態を示すものとして UTF8 フラグというものがある スカラー変数は（リファレンス等は別として）下記のものを格納できる (A) 文字列（内部表象: UTF-8） (B) 文字列（内部表象: ISO-8859-1） (C) バイナリ列 純粋なバイナリストリーム（画像ファイル等）かもしれないし， UTF-8 octet stream かもしれないし， CP932 octet stream かもしれないし，etc, etc ... Perl は（後方互換性確保などの理由から）ISO-8859-1
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
