neologd辞書をjuman/juman++で使えるようにするスクリプト作った - Qiita
本スクリプトは、Insight Tech公開のリポジトリから入手可能です。 ※ 長く気がついていませんでしたが、辞書生成途中でエラーが起きていて、多くのエントリが変換されないままになっていました。最新の版では修正済みです。 この記事で紹介すること neologd辞書の有効性 neologd辞書をJUMAN/JUMAN++で利用できるようにするためのスクリプト紹介 neologd辞書とは？ 正式にはmecab-ipadic-neologdという名称で、mecabの追加辞書として設計されています。 形態素解析器をweb上のテキストに適用するには、標準の辞書では対応できないケースが多々ありました。特にドラマの名前、スラング的な語(オマエモナーなど)などが顕著です。 例えば、昨年の年末に話題になった逃げるは恥だが役に立つは標準のipadicでは1語と認識できません。 標準ipadic % echo
scikit-learnのk-meansで独自の距離関数を定義する - Qiita
この記事で紹介すること kmeansの距離関数って本当にユークリッド距離大正義なの？ scikit-learnのk-meansって何が動いているの？ scikit-learnのk-meansで距離関数を変更するにはどうするの？ k-means法といえば、みなさんご存知、ぐにょぐにょっとデータを分割してくれるアレですね。 教科書にもよく出てくるアレなので、細かい説明は省きますが、いまだに使われてるのは、（禁則事項です）ということですよね。 あ、ちなみにこういう動画とかこういうツールとか使うと、k-meansの動きがよくわかってナイスだと思います。 で、k-meansではセントロイドと各データとの距離を測るために、「距離関数」が必要になります。 教科書的には「ユークリッド距離」一択のことが多いのですが、それって本当に正しいのでしょうか？ この論文, Anna Huang, "Similarit
Juman++をサーバーモードで利用しよう - Qiita
この記事の内容 Juman++をサーバーモードで利用すると、はかどる話 形態素解析を簡単に実行するPythonパッケージでJuman++を利用可能にした話 Juman++とは？ Juman++とは京大・黒橋研究室で開発された形態素解析器です。 「それ、Mecabと何が違うん？」と言う点ですが、Juman++では「RNN（いわゆるディープラーニング系のやつ）言語モデルを利用している」点が異なります。 Qiitaでも紹介記事が徐々に増えつつあり、今後の普及が楽しみです。 新形態素解析器JUMAN++を触ってみたけど思ったより高精度でMeCabから乗り換えようかと思った話 複数の形態素解析器を見比べる Juman++のちょっと気になる点 依存ライブラリを新しくしないといけない。特にgcc周り 遅い 依存ライブラリ問題は、gccを更新して、他のコード郡が動かなくなるかもしれない・・・という懸念はあ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
