はてなブックマーク

from konoha import WordTokenizer sentence = '自然言語処理を勉強しています' tokenizer = WordTokenizer('MeCab') print(tokenizer.tokenize(sentence)) # -> [自然, 言語, 処理, を, 勉強, し, て, い, ます] tokenizer = WordTokenizer('Kytea') print(tokenizer.tokenize(sentence)) # -> [自然, 言語, 処理, を, 勉強, し, て, い, ま, す] tokenizer = WordTokenizer('Sentencepiece', model_path="data/model.spm") print(tokenizer.tokenize(sentence)) # -> [▁, 自然

scikit-learnの便利なAPIについて，新しく知ったことをメモする． $HOME/Desktop/memo.mdにメモを書き溜めていたが誤ってrmしてしまったのでQiitaを使ってみる． 新しく学びを得たら随時追加していく． （間違いがあったらご指摘頂けると幸いです．どうかよろしくお願いします．） データの前処理 ライブラリの Preprocessing モジュールには神が宿っており， import する際にはコミッターに感謝を捧げる必要がある． 素性の次元削減 k個の素性を選択する． SelectKBestの第一引数は関数でchi2のほかにもf_classifなどが使える． 素性の次元削減には他にも RFECV などがあるけれど，どう違うのかよく分かっていないので今後調べたい．