自然言語処理の前処理・素性いろいろ - Debug me
ちゃお・・・† 舞い降り・・・† 先日、前処理大全という本を読んで自分なりに何か書きたいなと思ったので、今回は自然言語処理の前処理とそのついでに素性の作り方をPythonコードとともに列挙したいと思います。必ずしも全部やる必要はないので目的に合わせて適宜使ってください。 前処理大全[データ分析のためのSQL/R/Python実践テクニック] 作者:本橋 智光技術評論社Amazon 前処理 余分な改行やスペースなどを除去 with open(path) as fd: for line in fd: line = line.rstrip() アルファベットの小文字化 text = text.lower() 正規化 (半角/全角変換などなど) import neologdn neologdn.normalize('ﾊﾝｶｸｶﾅ') # => 'ハンカクカナ' neologdn.normalize
(保存版:随時更新) データ前処理手法まとめ by Team AI - Qiita
データ分析の現場では実務上非常に大事な前処理。 でもどの手法を選んでいいのか初心者には見えにくいし、 漏れなくダブりなく(MECE)網羅された手法一覧が欲しいよね！という議論から、 我々Team AIでは隔週でデータ前処理研究会をはじめました。 スケジュール => www.team-ai.com 地味なテーマですが、大切だと思っているので、このページで少しずつノウハウを蓄積し、 みなさんの業務に活かしていただきたいと思っています。 ご意見ご感想 & 新たな情報等、是非活発にコメントください。 初回： 2018/11/11 追加 Kaggle CTOオススメの活用法 http://blog.team-ai.com/8steps-for-studying-ai/ データ前処理の一部分が特徴量エンジニアリング Data Preprocessing For Non-Techies: Basic T
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
