文字コード地獄秘話 第1話：Unicodeにおける全角・半角 | ALBERT Engineer Blog
ごあいさつ 皆様はじめまして、文字コードおじさんです。細々とカメラ屋を営んでおりましたが、エンジニアとしての技量を評価され、ALBERTのシステム開発・コンサルティング部で働くことを許されました。特技はサーバーの統廃合です。 今回は最初ということですが、Unicodeにおける全角・半角の取り扱いについて触れてみようと思います。なお、さも連載するかのように第1話と銘打っていますが、上層部の無慈悲な裁決によっては1話打ち切りもありえますので、その際はご容赦ください。 固定観念を捨てよう 「全角50文字、半角100文字まで」といったような文言を見かけたことがあると思います。 特にUnicode以前のレガシーな処理系では全角文字に2バイト、それ以外は1バイトという割り当てが慣習となっていました。 このため、「全角=2バイト文字、半角=1バイト文字」という観念が世間に定着しているのが現状です。 しか
Unicode - CyberLibrarian
対応する日本語による文字の通用名称がJIS X 0221:2020に掲載されている場合は、それらを採用しました。 ■はJIS X 0213に含まれている文字です。 JIS X 0213に含まれている非漢字には、JISに掲載されている「日本語通用名称」を「JIS名称」の欄に、JISコードを「JIS」の欄に掲載しました。ただし、Unicodeでは文字が単独で登録されていない25字と、非漢字ではなく漢字として登録されている1字は例外です。 ブロック名等は、基本的に「Character Code Charts」（文字コード表）に基づいています。 表示上の便宜のため、合成可能記号の前にはU+25CC(DOTTED CIRCLE)を配置してあります。 フォント 文字が正しく表示されない場合は、次のサイトなどでフォントを見つけてインストールすれば表示されることがあります。 また、各文字コード表のページか
Unicode（東アジア） - CyberLibrarian
Unicodeの字種の表です。 下表のリンク先のページに、十六進数の数値文字参照で記述した文字コード表を掲載しています。文字コード表中の各文字は、ユニコード・コンソーシアムが提供しているUnihanデータベースの該当文字へリンクしてあります。文字コード表中の文字は、環境によっては正しく表示されない場合がありますが、各ページからリンクしているPDFでは正しく表示されます。 字源的には同じだが字形の異なる中国語、日本語、朝鮮語、ベトナム語の漢字に同じコードを与えて統合した漢字です。 CJK統合漢字、拡張Aと拡張Bには、JIS X 0213の漢字が含まれています。 拡張Bには、多数の重複字の存在が指摘されています。 拡張Fには、文字情報基盤整備事業が提案した漢字（1,645字）、大蔵経テキストデータベース研究会が提案した漢字（2,884字）も含まれています。 拡張Gには、大蔵経テキストデータベー
Go 言語と Unicode 正規化
今回は少し目先を変えて「Unicode 正規化（normalization）」のお話。 2羽の「ペンギン」 まず「ペンギン」という文字列を思い浮かべてみる。 この文字列を Unicode のコードポイントで表すと以下のようになる。 ペ：U+30DA ン：U+30F3 ギ：U+30AE ン：U+30F3 ところでペンギンの「ペ」と「ギ」は半濁点および濁点を含む。 Unicode は「ペ」と「ギ」をそれぞれ2つの要素に分解できる。 ペ：U+30D8 + U+309A ン：U+30F3 ギ：U+30AD + U+3099 ン：U+30F3 U+309A および U+3099 はそれぞれ半濁点と濁点を表す「結合文字（combining character）」である。 「ヘ」や「キ」のような「基底文字（base character）」に結合文字を1つ以上1 付加した文字を「合成列（composite
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
