開発メモ: UTF-8とUCS-4の変換メモ

UTF-8とUCS-4の相互変換をC/C++で書いた時のメモ。たぶんまた自分で読むので。 背景 文字のちょっとした正規化などの処理をしたいがiconvやICUなどの巨大なライブラリは使いたくないということがたまにある。嚴密な文字列処理をしたい場合にはそれらのライブラリを使った方が安全だし確実であることは言うまでもないが、ちょっとしたユーティリティを作るのにはちょっとオーバースペックである。 一方で、UTF-8文字列に対してはASCII用正規表現ライブラリを使えば検索や置換などの大抵の操作ができるので、自分でゴリゴリと変換処理を書かなければいけないことはあんまりない。 ただ、たまに自分で書きたくなることもある。ヨーロッパ系言語のアクセント記号を外したり、半角片仮名を全角片仮名にしたり、漢字の異体字表記を常用漢字に統一したりといった処理を一気にやりたい場合とか。そんな場合、各文字が可変長バイト

[yass]

"詳細を見ると、UTF-8は本当によくできてるなぁと感心する。先頭バイトに 10AAAAAA というパターンがないというのが絶妙。6バイト使うとちょうど31ビット（INT32_MAX）まで表現できるあたりが美しいとしか言いようがない。"

[Itisango]

[c/c++][Unicode][UTF-8][文字コード][Char][encoding][convert][c++][c]

[Yuichirou]

「詳細を見ると、UTF-8は本当によくできてるなぁと感心する。……ルールの単純さとそこから得られる数々のメリットを考えるに、UTF-8は大変に素晴らしいと思う」

[barlog]

awesome! 一見ハーコー (Unicode hard core) なメモに見えるもズバッと提示されている。 #UTF-8

[teppeis]

とてもわかりやすい