講習会「文字集合と文字エンコーディング」を開催しました — ディノオープンラボラトリ

「文字集合と文字エンコーディング」というタイトルで、経験2〜3年目の人をターゲットに社内勉強会を開催しました。文字集合という単語を知っている必要はないですけど、少なくともUTF-8とShift_JISとでは扱える文字の種類数が違うことだけは伝えたかったので、その意味では目標が達成できたと思っています。 まとめ 文字集合とは、扱える文字の集合 JIS X 0208なら6000文字くらいの日本語の文字 UCS-2なら60000文字くらいの世界中の主要な文字 文字エンコーディングとは、文字の集合をバイト列に直す方式 Shift_JISはJIS X 0208（など）を1〜2バイトにする UTF-8はUCS-2を1〜3バイトにする 文字エンコーディング関連のツールを使いこなそう nkfやlvを使いこなそう 日本語を探すならlgrep 最終兵器：hexjaで16進ダンプ ムービー

[hon53]

nkf lv lgrep hexja

[phare]

正確に言うとUTF-8の扱う文字集合はUCS-4で、UTF-8の1文字は1〜4バイトになりますけど、説明が長くなりそうだったので上のように説明してしまいました。UCS-2だけ扱うなら1〜3バイトであり、身近なデータであればASCII1バイト

[aki77]

文字コード

[mitsuki_engawa]

"UCS-4 can now be taken effectively as an alias for the Unicode encoding form UTF-32, except"略、らしい。http://www.unicode.org/versions/Unicode5.0.0/appC.pdf

[lizy]

んー、http://www.unicode.org/glossary/ を見る限りUCS2とUTF16は区別されているように思われます（UTF16はバイトの並びに関する記述があるがUCS2にはない）

[bellbind]

UCS2とUTF16は、番号と数値が同値でも、前者が「文字の集まり全体」を指し、後者がそういった文字集合上の番号とデータ表現との「変換手法」を指すもの。概念として区別したほうがいい。↓符号化とフォーマットは別物

[ockeghem]

↑UCS-2は、BMPのみを表現する文字エンコーディング(big endian)も指すので、「サロゲートのないUTF-16」と書いても間違いではないと思いますが/http://d.hatena.ne.jp/nurse/20090325#1237964260 などを参照されたし