nkfで全角半角変換 - てきとうなメモ
半角カナを全角カナに $ echo "ｱｲｳｴｵｶﾞｷﾞｸﾞｹﾞｺﾞ" | nkf アイウエオガギグゲゴ全角カナを半角カナに $ echo "アイウエオガギグゲゴ" | nkf | nkf -Z4 ｱｲｳｴｵｶﾞｷﾞｸﾞｹﾞｺﾞ全角アルファベット、数字を半角に $ echo "１２３４５ＡＢＣＤＥａｂｃｄｅ" | nkf -Z 12345ABCDEabcde半角アルファベット、数字を全角にはできないっぽいので、perlやrubyで $ echo "12345ABCDEabcde" | perl -Mutf8 -CO -pe 'tr/0-9A-Za-z/０-９Ａ-Ｚａ-ｚ/' １２３４５ＡＢＣＤＥａｂｃｄｅ $ echo "12345ABCDEabcde" | ruby -p -e '$_.tr! "0-9A-Za-z", "０-９Ａ-Ｚａ-ｚ"' １２３４５ＡＢＣＤＥａｂｃｄｅ
mojimoji 半角⇔全角の変換 | Python学習講座
自然言語処理の前処理として全半角の変換を行うことが多いと思いますが、その際に便利なmojimojiというライブラリについて学習します。全半角処理ができるライブラリは色々あるのですが、その中でもmojimojiは処理が比較的高速である点に特徴があります。 インストールは以下の通りpipで行います。一部のlinuxではgcc-c++がインストールがなくエラーが出るかもしれません。ページ下部の補足を参照してください。 pip install mojimoji では使い方について見ていきましょう。 全角から半角へ変換する その名もズバリzen_to_hanメソッドを使用します。kana、digit、asciiというオプションをキーワード引数で指定すると、カナ、数字、アルファベットの無効化を指定することができます。 import mojimoji text = "ｐｙｔｈｏｎ パイソン １０００"
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
