scikit-learnのTfidfVectorizerはtokenizer引数にcallableを指定できる。MeCabのTaggerを持ち、__call__でそれを呼び出すクラスを設定可能。MeCabのTaggerはpickle時に除き、unpickle時に再作成 https://docs.python.org/ja/3/library/pickle.html#object.__reduce_ex__

nikkie-ftnext のブックマーク 2021/02/27 01:43

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4699062500995070050/comment/nikkie-ftnext" data-user-id="nikkie-ftnext" data-entry-url="https://b.hatena.ne.jp/entry/s/tma15.github.io/blog/2020/11/22/pythonmecab%E3%81%AEtagger%E3%82%AA%E3%83%96%E3%82%B8%E3%82%A7%E3%82%AF%E3%83%88%E3%82%92%E6%8C%81%E3%81%A4%E5%8D%98%E8%AA%9E%E5%88%86%E5%89%B2%E5%99%A8%E3%82%92pickle%E3%81%A7%E4%BF%9D%E5%AD%98%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95/" data-original-href="https://tma15.github.io/blog/2020/11/22/pythonmecab%E3%81%AEtagger%E3%82%AA%E3%83%96%E3%82%B8%E3%82%A7%E3%82%AF%E3%83%88%E3%82%92%E6%8C%81%E3%81%A4%E5%8D%98%E8%AA%9E%E5%88%86%E5%89%B2%E5%99%A8%E3%82%92pickle%E3%81%A7%E4%BF%9D%E5%AD%98%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95/" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Ftma15.github.io%2Fblog%2F2020%2F11%2F22%2Fpythonmecab%25E3%2581%25AEtagger%25E3%2582%25AA%25E3%2583%2596%25E3%2582%25B8%25E3%2582%25A7%25E3%2582%25AF%25E3%2583%2588%25E3%2582%2592%25E6%258C%2581%25E3%2581%25A4%25E5%258D%2598%25E8%25AA%259E%25E5%2588%2586%25E5%2589%25B2%25E5%2599%25A8%25E3%2582%2592pickle%25E3%2581%25A7%25E4%25BF%259D%25E5%25AD%2598%25E3%2581%2599%25E3%2582%258B%25E6%2596%25B9%25E6%25B3%2595%2F" data-user-icon="/users/nikkie-ftnext/profile.png">【Python】MeCabのTaggerオブジェクトを持つ単語分割器をpickleで保存する方法</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86%28NLP%29">自然言語処理(NLP)</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%E3%81%82%E3%81%A8%E3%81%A7%E8%A9%A6%E3%81%99">あとで試す</a>]</li></ul><br><p style="clear: left">scikit-learnのTfidfVectorizerはtokenizer引数にcallableを指定できる。MeCabのTaggerを持ち、__call__でそれを呼び出すクラスを設定可能。MeCabのTaggerはpickle時に除き、unpickle時に再作成 <a href="https://docs.python.org/ja/3/library/pickle.html#object.__reduce_ex__" target="_blank" rel="noopener nofollow">https://docs.python.org/ja/3/library/pickle.html#object.__reduce_ex__</a></p><a class="datetime" href="https://b.hatena.ne.jp/nikkie-ftnext/20210227#bookmark-4699062500995070050"><span class="datetime-body">2021/02/27 01:43</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！