テキストマイニングの正規化 - QiitaMacOSはコンソールコマンドが揃っているので、テキストの前処理も出来るだけコマンドラインで済ませてしまった方が楽です。 全角文字、半角文字、大文字小文字等の吸収 phpコマンドを1Linerで使うのが手っ取り早い。 # 全角英数字を半角英数字に統一 $ cat /path/to/file | php -R 'echo mb_convert_kana($argn, 'a', "UTF-8" ), "\n";' # 小文字を大文字に統一 $ cat /path/to/file | php -R 'echo mb_strtoupper( $argn, "UTF-8" ) , "\n";' # 上記を一気に $ cat /path/to/file | php -R 'echo mb_strtoupper( mb_convert_kana( $argn, "a", "UTF-8"), "UTF-8
