第33回 enc2xs：標準の文字コード表にはない文字を変換する | gihyo.jp
Encodeを使っても文字化けするとき Encodeは特定のエンコーディングにしたがって配列されたバイナリを「文字列」に置き換えるためのモジュールですが、かならずしもすべてのエンコーディングがあらゆるバイナリの組み合わせに対応しているわけではありません。 たとえば、「シフトJIS」環境における機種依存文字の例としてよく取り上げられる丸付き数字をEncodeのお作法通りにdecode、encodeする場合、「シフトJIS」だからと思って安易にshiftjis系列のエンコーディングでdecodeしてしまうと、丸付き数字のマッピングデータがないため「?@」のように文字化けを起こしてしまいます。 use strict; use warnings; use Encode; my $binary = pack('C*', 0x87, 0x40); # ①; my $string = decode(
第32回 Encode：日本語だけ扱えればよいのではなく | gihyo.jp
一般的には推奨されないencodingプラグマ 前回取り上げたencodingプラグマは、簡単なjperl用のスクリプトを移植したい場合には便利ですが、perlunifaqというPerl付属のマニュアルにははっきり「Don't use it.」と書いてあるくらい、一般的には使えないプラグマと認識されています。 前回も見たように、encodingプラグマが対応しているのは、ソースコードに埋め込まれている文字列やそれに類する正規表現、そして標準入力からのデータを指定された文字コードからPerlの内部表現に変換し、標準出力へ出力する際には内部表現を指定された文字コードに変換することだけです。ほかのファイル入出力部分や、コマンドラインから受け取った引数、標準エラー出力などの変換は行わないので、ちょっと凝ったことをしようと思うと、結局「外から入ってきたものはデコード、外に出すものはエンコード」という
第31回 encoding：いつまでもjperlから抜け出せない方に | gihyo.jp
いまさら使う人はいないと思っていますが かつて、jperlと呼ばれるものがありました。これは当時まだシングルバイト文字にしか対応していなかったPerl本体にパッチをあてて日本語（など）の2バイト文字をより直感的に扱えるようにしたもので、いまとなっては史料的価値しかありませんが、1990年代にはそれなりに重宝されていましたから、筆者を含めて、お世話になったことのある方も少なからずいることでしょう。 jperlはその後、ライブラリレベルで日本語対応できるようにしたjcode.pl（1992年）や、その流れをくむJcode.pm（1999年）を経て、2000年にリリースされたPerl 5.6からは本家のほうでUnicode対応が始まったことで、その歴史的役割を終え、開発も事実上終了したのですが、困ったことに、それから10年がたったいまなお、jperlを求めたり、勧めたりする動きはやまないようです
perl - Encode 中級 : 404 Blog Not Found
2008年05月08日04:00 カテゴリLightweight Languages perl - Encode 中級 以前書いた 404 Blog Not Found:perl - Encode 入門 は大好評でしたが、 ウェブで利用される文字コード、UnicodeがASCIIを上回る--グーグルが明らかに:マーケティング - CNET Japan UnicodeがASCIIを追い越し、World Wide Web上で最も多く利用されている文字コード体系になったとGoogleのシニアインターナショナルソフトウェアアーキテクトMark Davis氏がブログで述べている。 という時代に完全対応するには、入門以上の知識がちょっと必要になります。 例えば、本blogをホストしてくれているlivedoor blogの文字コードはEUC-JP。「時代はUnicode」だと言っても、こうした事情もまだ
perl - EncodeをCodeReposに : 404 Blog Not Found
2007年11月18日20:00 カテゴリLightweight LanguagesOpen Source perl - EncodeをCodeReposに Perl 5.10もRC1が出たので、次のEncodeのReleaseに備えて、EncodeをCodeReposに上げておきましたのでお報せします。 今までも何度かせっかく送ってもらったpatchを見逃してしまったりといったこともありますし、CodeReposには日本を代表するPerl Mongersが集っているので、公開開発の場所としては最適かと思われます。 今後は、 CodeRepos CPAN の順でReleaseしていく所存ですので、みなさまよろしくお願いします。 Dan the Encode Maintainer 「Lightweight Languages」カテゴリの最新記事
404 Blog Not Found:perl tips - Encodeを速く使う方法
2007年04月23日01:30 カテゴリLightweight LanguagesTips perl tips - Encodeを速く使う方法 はっきり言ってこれはフェアではない。 みかログ: ErlangとPerlの速度比較 Perl側は，Encodeが遅い． Encode::from_toがinplaceでコンバートしてしまうために，直前に文字列コピーがあるのも影響しているのかも なぜなら、Encode::from_to()は速度ではなく、安全性に最適化しているから。 そもそもはじめからUTF-8、それもutf8フラグがたっている文字列にfrom_toを使うのはばかげている。 for(my $i = 0; $i < 0xffff; $i++) { my $str2 = $str; Encode::from_to($str2, "UTF-8", "Shift_JIS"); } は単に
Encode::Supported
Dan Kogai Alex Davies Alex Kapranoff Alex Vandiver Andreas J. Koenig Andrew Pennebaker Andy Grundman Anton Tagunov Autrijus Tang Benjamin Goldberg Bjoern Hoehrmann Bjoern Jacke bulk88 Craig A. Berry Curtis Jewell Dave Evans David Golden David Steinbrunner Deng Liu Dominic Dunlop drry Elizabeth Mattijsen Flavio Poletti Gerrit P. Haase Gisle Aas Graham Barr Graham Knop Graham Ollis Gurusamy Sarathy
Win32にEncode::Detectを入れる(2) - Charsbar::Note
以前のエントリは手作業が多くてややこしかったので、もう少し自動化。Win32::InternetShortcutがAPIの都合でXSからの変換を明示的にC++にしないとVCでインストールできなかったので、あれこれ調べた成果ともいう。 1) CPANからtarballを落として解凍 これは前回と同じ。http://search.cpan.org/dist/Encode-Detect/ 2) VC98の人はDetector.xsを編集 最新版の人はいらないそうですが、Detector.xsの冒頭にある extern "C" { と対応する } を削除。 extern "C" { #define PERL_NO_GET_CONTEXT /* we want efficiency */ #include "EXTERN.h" #include "perl.h" #include "XSUB.h"
Win32にEncode::Detectを入れる - Charsbar::Note
このエントリのフォロー記事が http://d.hatena.ne.jp/charsbar/20060622/1150903898 にあります。 先日Plaggerの推奨モジュールとなったEncode::Detect。 This module provides an interface to Mozilla's universal charset detector, which detects the charset used to encode data. とのことで、多少のクセはあるものの判定精度はなかなかよろしいらしいのですが、なにせCPAN Testersのうち無事にインストール成功したのはたったの3人。Linuxユーザ含めて11人が失敗していて、バグレポートもあがっているのに半年近く更新されていないのですから個人的にはあまり使う気にならんのだよなあと、思いつつも、やっぱり気にはな
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Data-Visitor-Encode-0.10007
Encode-JavaScript-UCS-0.01 - JavaScript unicode character encoding - metacpan.org
encoding-split-0.02 - Metapackage (bundle) for automated upgrades - metacpan.org