YAPC::Asia2009の特別研修「Perl, Unicode, and AJAX」は自由な感じの研修でした - こんにちはこんにちはmonmonです！
小飼弾（id:dankogai）さんのAjaxの基礎講義でした。 ただ、ダブルブッキングだったらしく、16時前にdanさんは抜けました。（一通りの説明したので研修を疎かにしてはないです） ということで、16時からはMaki（id:lestrrat）さんとEmerson Millsさんがいろんな話をしてくれました。 これが何でも聞ける形式で面白い時間でした。こっちのコーナーが一日だったとしても面白かっただろうなぁと。 今回の研修は前日のMooseの研修と違い、ほぼ自由な感じでした。なので質問とかどんどんしてなかったら多分何も得られてなかっただろうなと思います。 その分、関係ないことも色々質問できて楽しかったです。 IRCの話とかそういうの。 研修と関係ないことメモ。 danさんは<script>のことをチートと言います。 danさんはemacs使います。 ただ、今回はsyntaxの拡張とか入
第4回 UTF-8の冗長なエンコード | gihyo.jp
今回は、文字コードに関連するセキュリティの話題では古参ともいえるUTF-8の冗長なエンコードというテーマについて紹介します。 UTF-8とは UTF-8は、各文字を1～4バイトの可変長で表現するUnicodeの符号化方式のひとつです。 U＋0000からU＋007Fの範囲の文字を0x00から0x7Fの1バイトで表現しているため、US-ASCIIと互換性がある、バイト列の途中からでも文字の先頭バイトを簡単に検出できる、多バイト文字の途中に0x00や0x5C（\）、0x2F（/）などが現れない、などの特徴があります。 UTF-8での文字のビットパターンは表1のようになります。 表1 UTF-8でのビットパターン
絵文字が開いてしまった「パンドラの箱」第3回--Unicode提案の限界とメリット
前回までを振り返る--Unicodeコンソーシアムの影響力 前回はどこまでお話ししましたっけ。世界中の文字の収録を目的とした文字コード規格、Unicodeは、米国のIT企業を中心に結成されたUnicodeコンソーシアムが制定するデファクト規格に過ぎないこと。しかし公的な国際機関が定めるデジュール規格ISO/IEC 10646と同期することで、WTO/TBT協定にもとづき世界中の国々に普及させられるメリットを得たこと。 また、Unicodeコンソーシアム自体はオープンな組織だけれど、意志決定を行うUTC（Unicode Technical Committee/Unicode技術委員会）で一票を投じる権利を持つのは一握りの団体に限られること。そしてUTCはISO/IEC 10646のアメリカ・ナショナルボディであるL2委員会と合同でしか開催されておらず、同時にL2委員会とUnicodeコンソー
絵文字が開いてしまった「パンドラの箱」第1回--日本の携帯電話キャリアが選んだ道
Unicodeが携帯電話の絵文字を収録へ 絵文字ってなに？そう聞かれても多くの人は、ああ、それはと答えられるはず。そう言えばちょっと前に『メールのハートマークにだまされるな！ 8割の女性は「恋人以外にも使う」』（RBB NAVI）なんていうニュースもありました。携帯電話の個人普及率が9割を上回る（平成20年内閣府消費動向調査）この国において、絵文字はごくありふれたものになっている現実があります。 2008年の11月27日、Googleが携帯電話で使われる絵文字を国際的な文字コード規格、Unicodeに収録しようというプロジェクト進行中であることを発表しました。では、このニュースは何を意味するのでしょう。そして私たちに何をもたらすのでしょう。今回から3回に分けて考えてみようと思います。 まず歴史を振り返ってみましょう。じつは絵文字を使ったのは携帯電話が最初というわけでありません。先行するもの
ここギコ！: JSONやData::DumperでのUTF-8データ出力エスケープ回避
Posted by nene2001 at 09:17 / Tag(Edit): json yaml perl utf-8 / 1 Comments: Post / View / 0 TrackBack / Google Maps JSONモジュールでデータを出力する際、UTF-8の含まれたオブジェクトをobjToJson関数で変換すると、 { "parent_category_id" : "0", "mapplets" : [ { "murl" : "http://rkmt.net/soft/pemapplet.xml", "registered" : "2007-06-16 12:34:58", "name" : "PlaceEngine Mapplet", "id" : "14", "description" : "Place Engine \u306e\u30de\u
PerlでRSS取得 ～ 文字化け ～ utf8→ShifJIS変換できない
XML::RSSを使用してRSSのタイトルを取得するPerlスクリプトを作っています。 DBCSの場合、文字化けするので、以下のようにfrom_toを使用してutf8をShiftJISに変換しようとしましたが、エラーが出ます。 SBCSでは問題無いのですが。 Encode::Guessで調べるとutf8が返ってくるので、「from_to( $title, 'utf8','shiftjis' )」でutf8をShift-JISに変換すればよいのかと思ったのですが。 ■環境 ・perl v5.8.3 built for MSWin32-x86-multi-thread ・Windows2000(SP4) ■エラーメッセージ Cannot decode string with wide characters at c:/Perl/lib/Encode.pm line 184. ■ソース #!/u
Unicode 15.1 Character Code Charts
European Scripts Armenian Armenian Ligatures Carian Caucasian Albanian Cypriot Syllabary Cypro-Minoan Cyrillic Cyrillic Supplement Cyrillic Extended-A Cyrillic Extended-B Cyrillic Extended-C Cyrillic Extended-D Elbasan Georgian Georgian Extended Georgian Supplement Glagolitic Glagolitic Supplement Gothic Greek Greek Extended Ancient Greek Numbers Latin Basic Latin (ASCII) Latin-1 Supplement Latin
ユニコード
UNICODE 戻る 更新履歴 上の方が新しい 2007/04/15 「UTF8符号化法」の表を見やすいように修正。 リンク 文字符号について 新しいUnicode符号化方式 UTFCP UTFCP2 UTFCP-TABLE 文字符号化方式比較 文字コード用語 UNICODEとは UNICODEの目的 文字符号系が各国でバラバラだと、プログラムを各国に合わせて局地化(ローカリゼーション)することが必要で、保守・管理が大変。 ISO 2022の様に、コード系を切り替えることによって世界中の文字に対応できる文字符号化方式が既に存在するが、このような「状態を持つ(モーダルな)」文字符号化方式は、ファイルやテキスト中の場所によって、同一符号に異なる文字が対応してしまうため、プログラムが複雑になる傾向がある。 全世界で、同じ番号に必ず同じ文字を対応させる文字符号系を用いることが
Unicode対応 JIS X 0208 文字コード表
Unicode対応 JIS X 0208 文字コード一覧 JIS X 0208 の区点番号、JISコード、シフトJISコード、EUCコード、Unicode(UTF-8, UTF-16)の文字コード対応一覧です。 文字コードとその文字を順に出力しているだけですので、表示される文字はフォントによって決まります。 01区～08区 JIS非漢字（各種記号、英数字、かな） 13区～13区 NEC特殊文字（機種依存） 16区～47区 JIS第1水準漢字 48区～84区 JIS第2水準漢字 文字コードについてのページや、文字コード一覧についての説明もあります。 JIS X 0208 JIS非漢字 文字コード表 区 点 JIS SJIS EUC UTF-8 UTF-16 字 01 01 2121 8140 A1A1 E38080 3000 01 02 2122 8141 A1A2 E38081 3001
Perl 5.8.x における日本語コード変換のメモ
Perl 5.8ではEncode.pmが標準モジュールとなり、多バイト文字を標準で簡単に扱えるようになりました。が、jcode.plやJcode.pmを用いたコード変換の経験があると、逆にこれが仇となって文字化けの嵐に遭います。（私の場合そうだったというだけで、普通はそんなこと無いのかもしれないのですが。）漸く最近になって基本的な考え方が飲み込めるようになって来たので、この辺をまとめておこうと思います。なお、本メモは新たにPerl 5.8.x的なPerlスクリプトを書く際に気をつけることをまとめたものであり、基本的には既存のスクリプトにPerl 5.8 + Encode.pmを適用するためのものではありません。また、utf8でスクリプトを書くことを前提にしています。が、どちらにせよ、この知識は参考になると思います。（たぶん。） 本文冒頭ですが、まず参照先を示しておきます。以下のドキュメント
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
An Unicode vendor-specific character table for japanese (日本語のUnicodeベンダ依存文字表)
http://www.favorite-labo.org/archives/269.html
http://www.asahi-net.or.jp/~hc3j-tkg/unicode/index.html