あなたの知らない(かもしれない)文字コードの世界 TypeScript版😊👍🏿パ👨‍👩‍👦🇦🇿🏴󠁧󠁢󠁥󠁮󠁧󠁿

こんにちは！アルダグラムのKANNAの開発お手伝いをさせて頂いているoubakiouです。 本記事は株式会社アルダグラム Advent Calendar 2023 6日目の記事です。 この記事を読めば以下のTypeScript(JavaScript)のテストコードがなぜこけるのかが分かったような気持ちになります。また最後に「細かい理屈はいいからいけてる感じに動くlengthやtruncateがほしい！」という方向けの付録もついています。 it('surrogate pair', () => { // 2 expect('😊'.length).toEqual(1) }) it('variation selectors', () => { // 4 expect('👍🏿'.length).toEqual(1) }) it('combining character', () => { //

[yarumato]

“サロゲートペア、異体字セレクタ、結合文字、ゼロ幅接合子、国旗絵文字、地域旗絵文字、を扱って、いい感じに動くlengthやtruncateがほしい。Nodeのv16以降ではIntl.Segmenterで、よりよく文字列を分割”

[tekimen]

グラフィム単位で扱うとなるとICUのデータベースが必要という認識があります。

[petronius7]

神はコンピュータを作られた、「文字有れ」と言ってまずUnicodeを作られたら、こんな混沌には成らなかったが、当時はASCIIが精々だったので数十年間魔改造の繰り返しで世界中の文字をカバーした結果がこれ。