UTF-8の４バイト文字「土の異体字」を処理してくれない | Webシステム開発／教育ソリューションのタイムインターメディア

今では多くのソフトがUTF-8を標準として採用し、たとえ英語圏で開発されたソフトでも日本語処理に困らないことが多い。 しかし、それは、３バイトの漢字までで、４バイトになってしまう「土の異体字 」は扱えないことに出くわすことが多い。 最近、世のブームに引きずられてという訳ではないのだが、AI、言語処理系の何かをするとき、Pythonはツールが揃っているので使うことが多い。 Python自体は、４バイトの漢字も扱えるのだが、Pythonに非常にたくさんあるパッケージの中には扱えないものもある。 Pythonで文字処理をしていたのだが、GUIを用意しないと不便だなと思い、PythonのGUIツールキットのTkinterを使って簡単なGUIを作りつつあるところだ。 それで、用意してあるテキストファイルを処理しようとしたら、「土屋（異体字）」さんの情報を処理しようとしたところで止まってしまった。

[chintaro3]

「UTF-8は、４バイトどころか、６バイト文字までサポートしている」

[MasaHero]

ということは絵文字系もほぼダメということかな。

[okumuraa1]

勉強になります