勤務先の社内勉強会での発表資料です。自然言語処理の基本として TF-IDF ベースの類似文書推薦について説明します。発展的な内容として LDA についても簡単に説明します。Wikipedia の要約データを対象として実際にコードを書いて文書推薦を試みます。Read less
![プログラマのための文書推薦入門](https://cdn-ak-scissors.b.st-hatena.com/image/square/c1f3d5f0f0731ff71dc8316af08f40c1af7dab12/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdocumentrecommendation-140618082330-phpapp01-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
昨日気づいたのですが、cabocha 0.60が開発中のようです。今は、pre2まで出ています。 変更点は、以下の通りのようです。何が嬉しいかというと、UTF8に対応しているところ。内部的には、ほぼフルスクラッチで書き直しの力作のようです。また、chasenのサポートをやめてmecabオンリーになっているので、mecabが必須になっています。 変更点: - UTF8対応 (./configure --with-charset=UTF8) - 文節区切りと固有表現抽出に CRF (実装はCRF++)を使用 - ChaSenへの依存を廃止し、MeCab のみのサポートに - 固有表現を行う前に文字列の正規化を行うことで若干の精度向上 - 簡易並列処理の廃止。係り受けのみ - APIの一新、より粒度の細かい制御が可能 - PerlやMakefileに依存していた部分の排除。 - 単一バイナリ c
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く