Pythonで unicodedata.normalize を使って全角半角を正規化する方法

（この記事は 2008年03月14日に別のブログに投稿した記事を移動・編集したものです。） インターネット上の日本語を扱っていると、全角半角が統一されていない事による表記揺れをなんとかしたい場面に出くわします。半角で書かれた iPod も、全角で書かれたｉＰｏｄも同じものとして扱いたいときや、あるいは単に見た目がきれいになるように、英数字は半角に、カタカナは全角にそろえたい、という場合です。 Python では setomitsさんによる zenhan.py を使うと、文字種ごとに全角半角を選択して変換することができ、除外文字も設定できるので便利です。ただ、そこまで柔軟でなくても良く、単に表記揺れがなくなれば良い、という場合も多いかと思います。その場合はPythonの標準ライブラリに含まれる unicodedata モジュールの normalize 関数を使うと便利です。 >>> impo

[ottonove]

自然言語処理

[nabetama]

なにこれすごい・・・

[Kshi_Kshi]

正規化

[nihohi]

全角半角変換について。文字種、除外文字を気にせずnormalizeする場合。一般モジュール使う方法。

[boxheadroom]

新聞系webの全角で書かれたURLを半角にしたい時に便利　なう

[eibiisii_mikan]

全角半角正規化

[sconvict]

unicodedata.normalize

[tfmagician]

便利だ。

[kjirouu]

Unicode正規化を行うには unicodedata.normalize('NFKC', ustr) | 第一引数は 'NFKC' で大体良い "ｳﾞ"→"ヴ" になる