第4回 UTF-8の冗長なエンコード | gihyo.jp
今回は、文字コードに関連するセキュリティの話題では古参ともいえるUTF-8の冗長なエンコードというテーマについて紹介します。 UTF-8とは UTF-8は、各文字を1～4バイトの可変長で表現するUnicodeの符号化方式のひとつです。 U＋0000からU＋007Fの範囲の文字を0x00から0x7Fの1バイトで表現しているため、US-ASCIIと互換性がある、バイト列の途中からでも文字の先頭バイトを簡単に検出できる、多バイト文字の途中に0x00や0x5C（\）、0x2F（/）などが現れない、などの特徴があります。 UTF-8での文字のビットパターンは表1のようになります。 表1 UTF-8でのビットパターン
ここギコ！: JSONやData::DumperでのUTF-8データ出力エスケープ回避
Posted by nene2001 at 09:17 / Tag(Edit): json yaml perl utf-8 / 1 Comments: Post / View / 0 TrackBack / Google Maps JSONモジュールでデータを出力する際、UTF-8の含まれたオブジェクトをobjToJson関数で変換すると、 { "parent_category_id" : "0", "mapplets" : [ { "murl" : "http://rkmt.net/soft/pemapplet.xml", "registered" : "2007-06-16 12:34:58", "name" : "PlaceEngine Mapplet", "id" : "14", "description" : "Place Engine \u306e\u30de\u
ExcelでUTF8のcsvファイルを開く方法 - OKWAVE
UTF-8のCSVファイルを開く エクセル2000でUTF-8の文字コードで作られたCSVファイルを開くと 文字化けしてしまいます。 文字化けせずに開く方法を御存知の方、教えてください。 VBAを使う方法でも構いません。（コードを教えてください。） 宜しくお願いします。 以上 ExcelでUTF-8のcsvデータを表示するには あるデータベースから出力したCSV形式のデータがあるのですが、 文字コードがUTF-8なので、直接Excelで開くと文字化けがあります。 なので、一度出力したcsvファイルの拡張子をtxtに変えて、 それをExcelから開くという作業をして対応しています。 （そうすると文字コードが選択できるので） しかしcsvをtxtに変えてExcelで開くと、 思いもよらぬところで改行されてしまい、 正しくデータが表示されません。 例）csvでそのまま開いたとき ユーザーコード
PerlでRSS取得 ～ 文字化け ～ utf8→ShifJIS変換できない
XML::RSSを使用してRSSのタイトルを取得するPerlスクリプトを作っています。 DBCSの場合、文字化けするので、以下のようにfrom_toを使用してutf8をShiftJISに変換しようとしましたが、エラーが出ます。 SBCSでは問題無いのですが。 Encode::Guessで調べるとutf8が返ってくるので、「from_to( $title, 'utf8','shiftjis' )」でutf8をShift-JISに変換すればよいのかと思ったのですが。 ■環境 ・perl v5.8.3 built for MSWin32-x86-multi-thread ・Windows2000(SP4) ■エラーメッセージ Cannot decode string with wide characters at c:/Perl/lib/Encode.pm line 184. ■ソース #!/u
Perl 5.8.x における日本語コード変換のメモ
Perl 5.8ではEncode.pmが標準モジュールとなり、多バイト文字を標準で簡単に扱えるようになりました。が、jcode.plやJcode.pmを用いたコード変換の経験があると、逆にこれが仇となって文字化けの嵐に遭います。（私の場合そうだったというだけで、普通はそんなこと無いのかもしれないのですが。）漸く最近になって基本的な考え方が飲み込めるようになって来たので、この辺をまとめておこうと思います。なお、本メモは新たにPerl 5.8.x的なPerlスクリプトを書く際に気をつけることをまとめたものであり、基本的には既存のスクリプトにPerl 5.8 + Encode.pmを適用するためのものではありません。また、utf8でスクリプトを書くことを前提にしています。が、どちらにせよ、この知識は参考になると思います。（たぶん。） 本文冒頭ですが、まず参照先を示しておきます。以下のドキュメント
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.favorite-labo.org/archives/269.html
