Unicode - 似た文字同士にご用心 : 404 Blog Not Found

2008年05月02日04:00 カテゴリLightweight Languages Unicode - 似た文字同士にご用心 後者はハイフンでなくてマイナス記号でんがな。 [を] UTF-8 の全角ハイフンが Perl の正規表現にマッチしなくて悩んだ で、元のテキストファイルの全角ハイフンを「od -t x1」 で見てみると「ef bc 8d」と「e2 88 92」の２種類が混じっていました。 前者は「\p{Hyphen}」にマッチするのですが後者はダメ。 まあ原因は分かったので、前処理でバイナリ置換して解決しました。 で、紛らわしそうなのを名前のHYPHENとMINUS SIGNでgrepするとこんな感じになる。 egrep '(HYPHEN|MINUS SIGN)' /usr/local/lib/perl5/5.10.0/unicore/Name.pl -002DHYPHEN-MI

[sigwyg]

全角ハイフンの変換

[toshi123]

ホントに紛らわしいんだな・・・

[webmarksjp]

文字コード

[lesamoureuses]

あかん。こんなんわからん。

[TAKESAKO]

ktkr http://b.hatena.ne.jp/entry/http://chalow.net/2008-05-01-3.html

[sankaseki]

404 Blog Not Found:Unicode - 似た文字同士にご用心

[twainy]

覚えられるわけが無いのでとりあえず'-'っぽいのが何種類もあることだけ覚えておく

[pitworks]

perl

[yappo]

予言が当たった

[denken]

全角ハイフン関係で以前ハマったことがある

[monjudoh]

『Unicodeには記号が多い。Glyphを見ただけでは区別がつかないものも多い。こういう時にはPerlのunicoreディレクトリ以下のファイルは結構役に立つ。』

[fk_2000]

ハイフンとマイナス→半角にすると同じなのに

[hasegawayosuke]

DASH一族とかU+FF70(半角カタカナ長音記号)は? http://tinyurl.com/6nmyp3

[tanku]

ハイフンっぽい記号たち

[mainyaa]

/usr/local/lib/perl5/5.10.0/unicore/Name.pl

[tree3yama]

U+2014 EM DASH, U+2015 HORIZONTAL BAR とかもにもご用心

[suzukasumiyoshi]

UTF8

[iox]

Unicodeには記号が多い。似た文字には注意が必要。

[pmakino]

予言通りでﾜﾛﾀ→http://b.hatena.ne.jp/TAKESAKO/20080502#bookmark-8440867