NLP2018のワークショップに行ってきたのですが、そこで聞いてきたことのうち、形態素解析ツールに関することを大雑把にまとめておきます。聞いたことをまとめることが目的なので、詳細は各ツールのWebサイトやgithubページへ行ってください。 間違っている部分、追加したい内容があればコメントでお願いします。 追記: 2018/04/02 nlp2018の発表資料が公開されました。 Juman++ (リンク) MeCab (リンク) KyTea (リンク) Unidic (リンク) https://sites.google.com/view/nlp2018ws/ NLP2018 形態素解析の今とこれから 趣旨: どういう手法・ツールをどのようなタスクに対して使うべきかを選べるように、各ツールの開発者の発表を基に比較してもらうこと。 さまざまな発表がありましたが、形態素解析ツールに焦点を当ててま

この記事で紹介すること この記事は次の２つのトピックについて記載しています。 Javaの形態素解析ライブラリKuromojiの使用方法 Kuromojiへのユーザ辞書の追加方法 Kuromojiはatilika社が開発し、Apache Software Foundationへ寄贈されているJava製の形態素解析ライブラリです。ライセンスは「Apache v2 License」となっています。形態素解析に必要な辞書をjarの中に格納しているため、ワンパッケージで形態素解析を行うことができます。また、用意されている辞書は以下のようなものがあります。 IPADIC (2.7.0-20070801) IPADIC NEologd (2.7.0-20070801-neologd-20151224) JUMANDIC (7.0-20130310) NAIST jdic (0.6.3b-20111013

本稿では、様々な文字変換を行ってくれる Java ライブラリ ICU4J (International Components for Unicode) について解説します。 ICU (International Components for Unicode) の概要 ICU (International Components for Unicode) は、Unicode の文字の変換を行ってくれるライブラリです。 ここで言う「文字の変換」とは、全角文字を半角に変換したり、逆に半角文字を全角文字にしたり、ひらがなをカタカナに、ひらがなをローマ字に変換したりするようなことです。 ICU は C言語版とJava版が開発されていますが、そのJava版が本稿で紹介する ICU4J になります。 ここではいくつかのサンプルプログラムを示して ICU4J の利用方法について紹介しますので、その利便性を知

dependencies { compile("org.codelibs:lucene-analyzers-kuromoji-ipadic-neologd:5.4.1-20160218") } repositories { mavenCentral() maven { url "http://maven.codelibs.org" } } import java.io.IOException; import java.io.Reader; import java.io.StringReader; import java.util.Set; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.tokenattributes.CharTermAttribute; import org.

さだまさし 名詞-固有名詞-人名-一般 さだまさしの、主に詩の歌詞を対象に、簡単な品詞分解と、それを基にした簡単な分析を行ってみた、というのがこの記事の内容です。 個人的な最終的なゴールは、さだまさし風の歌詞を自動生成する bot (さだロボ) を作る事になりますが、その過程を週一でディアゴスティーニ的に（サダゴスティーニとかは節度のある大人なので言わない）書いていければと思います。 ついでに、その道すがら、ちょっとした解析・分析結果なども書いていきます。 道具の用意 解析するにあたっていくつか道具が必要なので、最初に、使用したツール群について簡単にお話します。 kuromoji KuromojiはJavaで書かれているオープンソースの日本語形態素解析エンジンです。 Java で形態素解析を行いたい場合、昔は「Sen」などを使うことが多かったですが、atilika 社が OSS として k

neologdって？ https://github.com/neologd/mecab-ipadic-neologd/blob/master/README.ja.md 要するに新語に対応しているipa辞書の拡張版 これをjavaで利用しようと思うと ビルドする環境構築 頑張ってmecab-ipadic-neologdをビルド java側からネイティブのmecabをバインディングしたりして呼び出し みたいなことをしないといけない・・・ しかもネイティブビルドしたmecabを利用するので環境への依存関係が高く さくっとサーバーにデプロイして利用みたいなことは難しい・・・ んじゃneologdの辞書だけpure javaのkuromojiで使えないかなと思って調べた。 http://d.hatena.ne.jp/Kazuhira/20150316/1426520209 あーめんどそう・・・ つー