encodingに関するphiroseのブックマーク (5)

  • 危険な文字

    公開日: 2006年5月20日 Shift_JIS Shift_JIS で ¥ (0x5c) を含む文字 ISO-2022-JP ISO-2022-JP で ¥ (0x5c) を含む文字 ISO-2022-JP で " (0x22) を含む文字 ISO-2022-JP で ' (0x27) を含む文字 ISO-2022-JP で / (0x2f) を含む文字 ISO-2022-JP で < (0x3c) を含む文字 ISO-2022-JP で > (0x3e) を含む文字 EUC-JP や UTF-8 ではこのような危険な文字はない。 Shift_JIS Shift_JIS で ¥ (0x5c) を含む文字 ― (0x815c) ソ (0x835c) Ы (0x845c) 噂 (0x895c) 浬 (0x8a5c) 欺 (0x8b5c) 圭 (0x8c5c) 構 (0x8d5c) 蚕 (0

  • 漢字1文字が最大8バイト、Unicodeの「IVS」とは?

    「漢字1文字は2バイト」という常識が、大きく変わろうとしている。現在改正中の「常用漢字表」に対応するためには、Unicodeの4バイト文字を使用する必要があるが、それだけでは済まない恐れがある。今後、戸籍や住民基台帳で使われている文字がUnicodeに追加されると、漢字1文字が最大8バイトになるかもしれない。文字コードに詳しい京都大学人文科学研究所附属東アジア人文情報学研究センターの安岡孝一准教授が、問題の核心を解説する。(日経コンピュータ) 先日公開した『新常用漢字表が迫るUnicode移行、「シフトJIS」では対応不可能』の読者から、「今後のシステムでは漢字1文字を最大4バイトで処理すればいいのか」という質問を頂いた。実は、UTF-8あるいはUTF-16で漢字を表す場合、最新のUnicodeにおけるIVS(Ideographic Variation Sequence)を考慮すると、漢

    漢字1文字が最大8バイト、Unicodeの「IVS」とは?
  • 新常用漢字表が迫るUnicode移行、「シフトJIS」では対応不可能 | 日経 xTECH(クロステック)

    普段使用する漢字の指針となる「常用漢字表」が、2010年度にも改正される。新たに追加される196文字の中に、文字コード「シフトJIS」にない漢字が含まれているため、情報システムに大きな影響を与えそうだ。最新のJIS規格「JIS X 0213:2004」の改正に委員としてかかわった京都大学人文科学研究所附属東アジア人文情報学研究センターの安岡孝一准教授が、問題の核心を解説する。     (日経コンピュータ) 2009年11月10日、文部科学省の「文化審議会国語分科会」において、常用漢字表の改正案が承認された。現行の常用漢字表にある1945字から「銑」「錘」「勺」「匁」「脹」の5字を削除し、新たに196字を追加する改正案で、2010年度の内閣告示を目指している。 新しい常用漢字表が告示されると、「シフトJIS」や「EUC-JP」といった従来からある文字コードを使用するシステムで大きな問題が生じ

    新常用漢字表が迫るUnicode移行、「シフトJIS」では対応不可能 | 日経 xTECH(クロステック)
    phirose
    phirose 2009/12/18
    これを機にShift-JISとか駆逐されるといいと思う
  • 絵文字の修正提案をめぐる、ひとまずの総括 - もじのなまえ

    ここ数回、ISO/IEC 10646の追補8(Amd8)として審議中だった絵文字に対し、ぼくもふくめた5人が提出した修正案(N3711)にについてご報告してきました。 正確にはまだ最終決着とは言えない段階なのですが、ひとまずここまでの総括をしたいと思います。 WG2東京会議の審議結果について われわれの文書については、絵文字を一括して審議した分科会「Emoji Ad-Hoc meeting」で取り上げられ、その結果は「Emoji Ad-Hoc Meeting Report」の第17条(p.4)に明記されました。 17. In reference to documents N3711, N3713: The Ad-hoc agreed on a basic goal that names and glyphs for Emoji symbols in the UCS should refle

    絵文字の修正提案をめぐる、ひとまずの総括 - もじのなまえ
  • 第4回 UTF-8の冗長なエンコード | gihyo.jp

    今回は、文字コードに関連するセキュリティの話題では古参ともいえるUTF-8の冗長なエンコードというテーマについて紹介します。 UTF-8とは UTF-8は、各文字を1~4バイトの可変長で表現するUnicodeの符号化方式のひとつです。 U+0000からU+007Fの範囲の文字を0x00から0x7Fの1バイトで表現しているため、US-ASCIIと互換性がある、バイト列の途中からでも文字の先頭バイトを簡単に検出できる、多バイト文字の途中に0x00や0x5C(\⁠)⁠、0x2F(/)などが現れない、などの特徴があります。 UTF-8での文字のビットパターンは表1のようになります。 表1 UTF-8でのビットパターン

    第4回 UTF-8の冗長なエンコード | gihyo.jp
  • 1