Encodeでラクラク日本語処理 - JPerl Advent Calendar 2009
こんにちは！ラブプラスとときメモ４の狭間で揺れ動いているxaicronです！！ 今日は日本でプログラムを書いていたら避けては通れない気がする、Encodeの話をしようと思います！ はじめに まず、この記事を読む前に、Perlのバージョンの確認をしてください。以下のようにやればバージョンが表示されます。 % perl -v ここで、5.8.1より下の数字ができてきた方は、Perlのバージョンアップをしてください。5.8.1より下のバージョンでは、Perlの内部文字コードが安定していないので、いい感じになりません。できれば5.8.8以上のバージョンを使いましょう。 それから、文字コードってなによって人も適当にWikiとかで調べてから読んだ方がいいと思います！！ Encode.pm Encodeは昔のjcode.plやJcode.pmに代わる、現在の文字コード処理のスタンダードModuleです。
(en)?cod(e|ing)の話をするならcodeしてる奴を呼ばんか!? : 404 Blog Not Found
2006年05月18日11:55 カテゴリLogosPsychoengineering (en)?cod(e|ing)の話をするならcodeしてる奴を呼ばんか!? これを見てちゃぶ台をひっくり返したくなった。 デビルマン 永井豪 とダイナミックプロ 革命の日々！ レガシーエンコーディングなオフ会 今日、ミラクルリナックスの吉岡さん主催の 「文字コードヲタクで集まってピザとビールを楽しむ会」に参加してきた。 （うそ、本当はレガシーエンコーディング変換機能の開発オフラインミーティング） まあ見落とした私が悪いんだし、水曜日の晩は勉強会系の誘いがそれ以外にも3本あって、そのうち滅多に開催されない一つに出たのだけれども、これを知っていればそちらを優先したのに。 率直に申し上げて、諸君の誰よりもこの問題に時間を割いてきて、またこの問題に関して誰よりも知られ(特に国外*0)、また諸君の誰よりもこの問題
perl - EncodeでXSSを防ぐ : 404 Blog Not Found
2009年03月03日19:00 カテゴリLightweight Languages perl - EncodeでXSSを防ぐ 良記事。 第7回■文字エンコーディングが生み出すぜい弱性を知る：ITpro だけど、問題点のみ具体例があって、対策にないのが片手落ちに感じられたので、その点を補足。 結論だけ言ってしまえば、Perlなら以下の原則を守るだけです。 404 Blog Not Found:perl - Encode 入門 すでにOSCONでもYAPCでも、あちこちそちこちでこの基本方針に関しては話したのですが、ここ 404 Blog Not Found でも改めて。 Perl で utf8 化けしたときにどうしたらいいか - TokuLog 改め だまってコードを書けよハゲ入り口で decode して、内部ではすべて flagged utf8 で扱い、出口で encode する。これが
Encode::compat::MIME::Header::ISO_2022_JP つーモジュールをでっちあげた - kazuhoのメモ置き場
perl 5.8.7 以前かつ Encode のバージョンアップできねーみたいな環境でも互換性を保ちながら書けるように。 use Encode; use Encode::compat::MIME::Header::ISO_2022_JP; my $subject = encode('MIME-Header-ISO_2022_JP', '日本語の件名'); みたいな感じ。コピペプログラミング万歳。コードは http://coderepos.org/share/browser/lang/perl/Encode-compat-MIME-Header-ISO_2022_JP/ に置いてあります。 アドバイスをくれた id:miyagawa++ id:tokuhirom++ Encode メンテナの id:dankogai++ Encode::MIME::Header::ISO_2022_JP コピ
perl - Encode 中級 : 404 Blog Not Found
2008年05月08日04:00 カテゴリLightweight Languages perl - Encode 中級 以前書いた 404 Blog Not Found:perl - Encode 入門 は大好評でしたが、 ウェブで利用される文字コード、UnicodeがASCIIを上回る--グーグルが明らかに:マーケティング - CNET Japan UnicodeがASCIIを追い越し、World Wide Web上で最も多く利用されている文字コード体系になったとGoogleのシニアインターナショナルソフトウェアアーキテクトMark Davis氏がブログで述べている。 という時代に完全対応するには、入門以上の知識がちょっと必要になります。 例えば、本blogをホストしてくれているlivedoor blogの文字コードはEUC-JP。「時代はUnicode」だと言っても、こうした事情もまだ
404 Blog Not Found:perl - Encode 入門
2008年04月09日01:00 カテゴリLightweight Languages perl - Encode 入門 すでにOSCONでもYAPCでも、あちこちそちこちでこの基本方針に関しては話したのですが、ここ 404 Blog Not Found でも改めて。 Perl で utf8 化けしたときにどうしたらいいか - TokuLog 改め だまってコードを書けよハゲ 入り口で decode して、内部ではすべて flagged utf8 で扱い、出口で encode する。これがすべてです！とにかくこの基本方針をまもっていれば幸せになれます。ここでは、EUC-JPでエンコードされたファイル中の「小飼弾」「こがいだん」「コガイダン」「Kogai Dan」を正規表現で書き換えて標準出力にEUC-JPで出力するプログラムを例にとって説明します。 decode() then encode(
文字コードの部屋 -- エンコードの種類
ISO 646 の 多バイト拡張 これまでよく使われてきた、SJIS, ISO-2202-JP, EUC-JP について。 コード範囲 +------+------------------+------+------------------+ | 0 1 | 2 3 4 5 6 7 | 8 9 | A B C D E F | +------+------------------+------+------------------+ | | | | | | | | | | | | | | | | | | + Ctr +------------------+------+------------------+ | | | | | | | | | | | | | | | +------+------------------+------+------------------+ シフト JIS +
perl - no encoding; # whenever possible : 404 Blog Not Found
2007年06月22日19:15 カテゴリiTech perl - no encoding; # whenever possible うーん、これ、かなり5.8 portersの想定の範囲外の使われ方だったのですね。 Time to ditch encoding.pm: blog.bulknews.net Perl でソースコードにマルチバイトなリテラルを埋め込む場合には encoding プラグマを使うのが定石でしたが、 元々、encodingプラグマは、JPerlなど、L10Nなperlを発展的に解消させる、あるいは成仏させるためのプラグマ。5.7当初は$^ENCODING直接操作させないためのものでしたが、これを工夫すれば、L10N perlの成仏にも使えるという指摘を私がして、実験的にcharsetというpragma moduleを書いたのですが、5.8のpumpkingであるjh
404 Blog Not Found:perl tips - Encodeを速く使う方法
2007年04月23日01:30 カテゴリLightweight LanguagesTips perl tips - Encodeを速く使う方法 はっきり言ってこれはフェアではない。 みかログ: ErlangとPerlの速度比較 Perl側は，Encodeが遅い． Encode::from_toがinplaceでコンバートしてしまうために，直前に文字列コピーがあるのも影響しているのかも なぜなら、Encode::from_to()は速度ではなく、安全性に最適化しているから。 そもそもはじめからUTF-8、それもutf8フラグがたっている文字列にfrom_toを使うのはばかげている。 for(my $i = 0; $i < 0xffff; $i++) { my $str2 = $str; Encode::from_to($str2, "UTF-8", "Shift_JIS"); } は単に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2log.net