Variable Byte Code と UTF-8、またはUTF-24が存在しないわけ : 404 Blog Not Found

2009年08月05日00:30 カテゴリLightweight Languages Variable Byte Code と UTF-8、またはUTF-24が存在しないわけ 実は、これに非常に良く似た符号化を、我々は日々目にしています。 γ符号、δ符号、ゴロム符号による圧縮効果 - naoyaのはてなダイアリー 通常の整数は 32 ビットは 4 バイトの固定長によるバイナリ符号ですが、小さな数字がたくさん出現し、大きな数字はほとんど出現しないという確率分布のもとでは無駄なビットが目立ちます。 UTF-8です。 UTF-8は、0x0から0x10FFFFまでの整数を、以下のようにしてバイト列に変換します。 Range/Offset0123 0x00-0x7F0xxxxxxx 0x80-0x3FF110xxxxx10xxxxxx 0x400-0xFFFF1110xxxx10xxxxxx10xx

[yass]

" UTF-8というのは実によく出来ています。どのbyteが文字の先頭で、そして先頭byteを見れば「その文字にあと何byte必要なのか」がたちどころにわかるようにもなっています。"

[TOKOROTEN]

@voluntas

[side_tana]

どれだけ節約するか」という視点も去ることながら、「どの程度冗長性も残すか」ということもかなり大事

[tinsep19]

そうやって考えると、UTF-8というのは実によく出来ています。どのbyteが文字の先頭で、そして先頭byteを見れば「その文字にあと何byte必要なのか」がたちどころにわかるようにもなっています。

[mumincacao]

うにこ～どはばいなりえでぃたで見てもなんとなくうにこ～どだったことがわかるのがすてき☆　っていうか SJIS も制御こ～どが入るからかおすなことになるよね・・・　（´・ω・｀；【みかん

[paella]

うん、これは明快にして面白い記事。圧縮しすぎることへの弊害をUTF-8の構造と共に説明してくれている。

[tarchan]

ASCIIしか知らないソフトウェアでもそれなりに処理できる冗長性

[Nagise]

UTF-8は途中からバイト列を読み始めても文字の境目が分かるのが嬉しいよね。

[myrmecoleon]

「符号化を考えるときには、「どれだけ節約するか」という視点も去ることながら、「どの程度冗長性も残すか」ということもかなり大事になってきます」

[mattn]

アプリを作る側からすると strstr(text, "小飼弾") 出来ないエンコーディングは辛い