漢字のようで漢字でないUnicodeの「康熙部首」と「CJK部首補助」｜TechRacho by BPS株式会社

きっかけ 以下のツイートで「埼玉埼⽟問題」と康煕部首を知りました。 「埼玉」と「埼⽟」の話。unicodedata.normalize('NFKC', '「埼玉」と「埼⽟」') でいけそう https://t.co/kte0sxDvZT — Haruhiko Okumura (@h_okumura) July 11, 2020 康煕部首とは ⼀⼁⼂⼃⼄⼅⼆⼇⼈⼉⼊⼋⼌⼍⼎⼏⼐⼑⼒⼓⼔⼕⼖⼗⼘⼙⼚⼛⼜⼝⼞⼟⼠⼡⼢⼣⼤⼥⼦⼧⼨⼩⼪⼫⼬⼭⼮⼯⼰⼱⼲⼳⼴⼵⼶⼷⼸⼹⼺⼻⼼⼽⼾⼿⽀⽁⽂⽃⽄⽅⽆⽇⽈⽉⽊⽋⽌⽍⽎⽏⽐⽑⽒⽓⽔⽕⽖⽗⽘⽙⽚⽛⽜⽝⽞⽟⽠⽡⽢⽣⽤⽥⽦⽧⽨⽩⽪⽫⽬⽭⽮⽯⽰⽱⽲⽳⽴⽵⽶⽷⽸⽹⽺⽻⽼⽽⽾⽿⾀⾁⾂⾃⾄⾅⾆⾇⾈⾉⾊⾋⾌⾍⾎⾏⾐⾑⾒⾓⾔⾕⾖⾗⾘⾙⾚⾛⾜⾝⾞⾟⾠⾡⾢⾣⾤⾥⾦⾧⾨⾩⾪⾫⾬⾭⾮⾯⾰⾱⾲⾳⾴⾵⾶⾷⾸⾹⾺⾻⾼⾽⾾⾿⿀⿁⿂⿃⿄⿅⿆⿇⿈⿉⿊⿋⿌⿍⿎⿏⿐⿑⿒⿓⿔⿕ KangXi Radica

[spark7]

ランダムに混ぜてパクリ検出の指紋に使えないかしら

[mr_mayama]

PDFコピペすると気づかないうちに原稿に混じるUnicodeの正体がこちら

[stilo]

同じ埼玉でも文字コードが違う「埼玉埼⽟問題」 知らなかったです。 #文字コード #康煕部首

[matarillo]

おれカネゴンさん

[uunfo]

「あけてくれ」のおれカネゴン氏、久しぶりすぎる

[teo_imperial]

ああなるほど。そっち使われるとマッチしないか。

[Sampo]

PDFにはテキストとしてUnicodeでなくて字形IDが入っているのね。漢字と部首文字は同じ見た目だから同じ字形IDになっていて、そこからコピペしようとするとUnicodeへ変換する段階で部首の方のコードが選ばれてしまったりする

[deep_one]

案外発生するのよね…PDFからの書き出しでよく化けるって聞いてる。

[mn36555023]

とりあえず

[skam666]

“「康煕部首」は部首を表すための特殊な文字(略)このような文字が通常の文字に混じってしまうと、検索できるはずの文字が検索できなくなったりソート順が期待どおりにならなくなったりといった不具合の原因になる”

[tsukitaro]

漢字と同じ外見の部首が混在すると、検索時やソート時にトラブルの原因となる。

[rryu]

普通にかな漢字変換しただけでは入力できないと思うのだが、どうやって入力しているのか気になる。OCRもわざわざ部首の方に変換しないはず。

[richard_raw]

こんなの混入するんだ……。

[napsucks]

メモ帳にコピペするとフォントサイズが全然異なって縦につぶれた感じで表示されるのでわかる。pptのメイリオフォントをテキストにコピペするとなるらしいという未確認情報も。

[maninthemiddle]

これを使って「天安門」とか「香港加油」のメッセージ作ってる人いたな

[atsushingo]

へぇ〜

[t-murachi]

検出修正スクリプトもまま埋め込みだとかえって何やってるか判らんのでコード番号で書いたほうがむしろ親切な気もする(´・ω・`)