タグ

Encodeと小飼弾に関するdankogaiのブックマーク (51)

  • perl - Encode-2.23 Released! : 404 Blog Not Found

    2007年05月30日03:00 カテゴリAnnouncementLightweight Languages perl - Encode-2.23 Released! Encode 2.23 を Release したのでお知らせします。 Dan Kogai / Encode - search.cpan.org http://www.dan.co.jp/~dankogai/cpan/Encode-2.23.tar.gz 404 Blog Not Found:perl - Encode-2.22 Released!XSでPerl APIを直接呼び出している場合、一部APIににまだ文字列化されていないScalar(正確にはSV)を渡すとperlがほげるというのが原因でした。 これを修正するために追加した変数がmemory leakしているというお達しがpumpkingの方からあったので即刻VER

    perl - Encode-2.23 Released! : 404 Blog Not Found
  • perl - Encode-2.22 Released! : 404 Blog Not Found

    2007年05月29日16:45 カテゴリAnnouncementLightweight Languages perl - Encode-2.22 Released! Encode 2.22 を Release したのでお知らせします。 Dan Kogai / Encode - search.cpan.org http://www.dan.co.jp/~dankogai/cpan/Encode-2.22.tar.gz 今回も、きっかけはMIYAGAWA++ 端的にまとめると、 % perl -MEncode -le '$u = "\x{3000}"; print encode("ascii", $u, sub{ $_[0] })' Segmentation fault (core dumped) となるというものです。ところが、それと全く同義のはずの % perl -MEncode -le

    perl - Encode-2.22 Released! : 404 Blog Not Found
  • 404 Blog Not Found:perl tips - Encodeを速く使う方法

    2007年04月23日01:30 カテゴリLightweight LanguagesTips perl tips - Encodeを速く使う方法 はっきり言ってこれはフェアではない。 みかログ: ErlangとPerlの速度比較 Perl側は,Encodeが遅い. Encode::from_toがinplaceでコンバートしてしまうために,直前に文字列コピーがあるのも影響しているのかも なぜなら、Encode::from_to()は速度ではなく、安全性に最適化しているから。 そもそもはじめからUTF-8、それもutf8フラグがたっている文字列にfrom_toを使うのはばかげている。 for(my $i = 0; $i < 0xffff; $i++) { my $str2 = $str; Encode::from_to($str2, "UTF-8", "Shift_JIS"); } は単に

    404 Blog Not Found:perl tips - Encodeを速く使う方法
  • perl - Encode-2.20 Released! : 404 Blog Not Found

    2007年04月22日23:55 カテゴリLightweight LanguagesAnnouncement perl - Encode-2.20 Released! Encode 2.20 を Release したのでお知らせします。 Dan Kogai / Encode - search.cpan.org http://www.dan.co.jp/~dankogai/cpan/Encode-2.20.tar.gz 一番変わったのはgsm0338の扱いです。Encode::Byteから新規書き下ろしのEncode::GSM0338にサポートを移しました。日ではどうでもいい話ですが、海外からときどきうまく動かないというクレームがあったので。回避法も一応ドキュメントには書いてあったのですが、ちょくちょく来るので直したというわけです。 はっき言って、この ESTI GSM 03.38 という

    perl - Encode-2.20 Released! : 404 Blog Not Found
  • 404 Blog Not Found:CPAN - HTTP::Response::Encoding Released!

    2007年04月17日22:30 カテゴリLightweight Languages CPAN - HTTP::Response::Encoding Released! HTTP-Response-Encoding を Release したのでお知らせします。 on CPAN (coming soon) http://www.dan.co.jp/~dankogai/cpan/HTTP-Response-Encoding-0.03.tar.gz どういうものかというと、こういうものです。 use LWP::UserAgent; use HTTP::Response::Encoding; my $ua = LWP::UserAgent->new(); my $res = $ua->get("http://www.example.com/"); warn $res->encoding; prin

    404 Blog Not Found:CPAN - HTTP::Response::Encoding Released!
  • ruby|perl - 文字コードのちょっと高度な判定 : 404 Blog Not Found

    2007年01月11日21:00 カテゴリLightweight Languages ruby|perl - 文字コードのちょっと高度な判定 これははっきり言って悩ましい。ですが、判定が曖昧な場合はその旨をきちんと通知するのがBetter Practiceではないかと思います。 Matzにっき(2007-01-03) 手元のcalkiがUTF-8の「》」相当の文字(U+8BB)を含むエントリが文字化けするので、 nkf-utf8のソースを見てみた。 どうも自動判定の優先順位がEUC-JP,SJIS,JIS,UTF-8で固定されていて、 EUCの範囲内に収まる文字列はすべてEUC-JPとみなすことになっている。 で、UTF-8の「》」はEUC-JPの「損」と同じバイト列なのだ。例えば、以下を行ごとにコード判定すると、以下のような結果になります。 son.utf8 » 損 »損 »Son nk

    ruby|perl - 文字コードのちょっと高度な判定 : 404 Blog Not Found
  • perl - Encode::Alias does not realias canonicals : 404 Blog Not Found

    2006年11月19日22:30 カテゴリLightweight Languages perl - Encode::Alias does not realias canonicals 全国のPerl Mongerのみなさんこんばんわ。Encode Maintainerの弾でございます。 非常に稀ながら、知っていないとbugと勘違いするfeature (少なくとも undocument だった!) があったのでお知らせします。 以下のtest scriptをご覧下さい。 use strict; use warnings; use Encode; use Encode::Alias; use Test::More tests => 3; define_alias( qr/sjis$/i => '"cp932"' ); # Look here! my $char = "\x{FF5E}"; my

    perl - Encode::Alias does not realias canonicals : 404 Blog Not Found
    dankogai
    dankogai 2006/11/19
    define_alias( qr/shiftjis$/i => '"cp932"' ); #が上手く行かない理由
  • perl - Encode-2.18 Released! : 404 Blog Not Found

    2006年06月04日06:00 カテゴリAnnouncementLightweight Languages perl - Encode-2.18 Released! Encode 2.18 を Release したのでお知らせします。CPANの更新を待てない人はこちらから。 きっかけは、こちらのコメント。 404 Blog Not Found:perl - Jcode の EUC-JP-miyagawa君のコメント 一応こういうのを前につくりました>携帯絵文字 http://search.cpan.org/~miyagawa/Encode-JP-Mobile/ それでInstallしてみて、さらにenc2xs -Cでdemand loadするように再設定したら、enc2xs -CがEncode::JP::Mobileを無視してしまう。なぜかと調べてみると、Encode::Fooは調べても

    perl - Encode-2.18 Released! : 404 Blog Not Found
  • perl - Jcode の EUC-JP : 404 Blog Not Found

    2006年06月01日14:55 カテゴリLightweight Languages perl - Jcode の EUC-JP これに関しては、Perl 5.8以降とそれ以前で、挙動が異なります。 ひとりでもグループ - 浅倉卓司@blog風味? あんまり問題を聞かないけれど、CP932系じゃないとしたら問題になりそうなんだけれどなぁ。 ただし、双方ともASCII + JISX0201 (半角カナ) + JISX0208 (全角カナ) + JISX0212 (補助漢字) という点は同じです。 あまり問題にならないのは、Jcodeのユーザーは、どちらかというと「古き佳きJUNETより」、すなわち「文字化けするような字を使う方が悪い」派が多いからではないでしょうか。私もどちらかというとそちら寄りかも知れません。 Jcodeの変換表がCP932系でないのであれば*2、compatibleオプシ

    perl - Jcode の EUC-JP : 404 Blog Not Found
  • perl - Encode::from_to() and fallback options : 404 Blog Not Found

    2006年05月21日12:00 カテゴリLightweight Languages perl - Encode::from_to() and fallback options ゆうすけさん、いつも詳細なレビューありがとうございます。 [Perl] Encode::FB_XMLCREFでコード変換に失敗&対策 ゆうすけブログ /ウェブリブログ FB_XMLCREF が利用できないバージョンが確認できました。 が、ちょっと事実誤認があるので。 これ、単に、 2.12までEncode::from_to($str, $from, $to, $check)は、decode()の時にもencode()を$checkの値を使っていたが、 2.13以降では、encode()時にのみ$checkの値を適用する という仕様変更に伴うものです。これのきっかけは、miyagawa君からの報告でした。 ふたたび

    perl - Encode::from_to() and fallback options : 404 Blog Not Found
  • (en)?cod(e|ing)の話をするならcodeしてる奴を呼ばんか!? : 404 Blog Not Found

    2006年05月18日11:55 カテゴリLogosPsychoengineering (en)?cod(e|ing)の話をするならcodeしてる奴を呼ばんか!? これを見てちゃぶ台をひっくり返したくなった。 デビルマン 永井豪 とダイナミックプロ 革命の日々! レガシーエンコーディングなオフ会 今日、ミラクルリナックスの吉岡さん主催の 「文字コードヲタクで集まってピザとビールを楽しむ会」に参加してきた。 (うそ、当はレガシーエンコーディング変換機能の開発オフラインミーティング) まあ見落とした私が悪いんだし、水曜日の晩は勉強会系の誘いがそれ以外にも3あって、そのうち滅多に開催されない一つに出たのだけれども、これを知っていればそちらを優先したのに。 率直に申し上げて、諸君の誰よりもこの問題に時間を割いてきて、またこの問題に関して誰よりも知られ(特に国外*0)、また諸君の誰よりもこの問題

    (en)?cod(e|ing)の話をするならcodeしてる奴を呼ばんか!? : 404 Blog Not Found