ディープラーニングで文章・テキスト分類を自動化する方法
※サンプル・コード掲載 1. あらすじ 人工知能という言葉が、昨今、ますます身近になってきており、Siriなどの対話システムも日々発達してきています。 また、人間の言語を人工知能に解釈させる対話システムの需要が増えると共に、NLP（自然言語処理）のニーズも日に日に高くなって来ています。 NLP分野では、画像処理系や、音声処理系と比較すると、まだ技術的なブレークスルーが起こっているという状況では無く、他の分野に比べて人工知能関連の技術適用は、限定的と言えるかもしれません。 しかしながら、NLPの分野でも、当然、機械学習は使用されますし、ディープラーニングをNLP分野に使おうとする動きも多く見られています。 今回は、その中で対話システムの制御等に使われる、入力文章の意図、主に対話カテゴリーの分類を、NLP、及び、機械学習を用いて、なるべくシンプルな手法で実装してみます。 文章のカテゴリー分類と
新語・固有表現に強い「mecab-ipadic-NEologd」の効果を調べてみた
このようにすることで、 そもそも mecab-ipadic-NEologd に意味はあるの? mecab-ipadic-NEologd で分かち書きして悪影響は無いの? mecab-ipadic-NEologd を週2回も更新することに意味はあるの? などの典型的な疑問について考察する材料を得たいと考えました。 学習器と特徴ベクトルの作り方 学習器は LIBLINEAR を使用しました。LIBLINEAR で学習するときのパラメーターですが、今回は辞書やデータごとに最適なパラメーターを探すことが今回の目的ではありません。そこで、別の期間のデータと MeCab 用の辞書を用意して、事前に実験と相対的に同様なデータと辞書の関係を作って探索することにしました。その結果、「s=5, c=0.8, B=-1」という設定が比較対象の UniDic にとって総合的に有利だったのでそれを採用しました。 各
形態素解析ツールの品詞体系
ChaSen 品詞体系 (IPA品詞体系) ChaSen の品詞体系は任意の階層化を許している。 いわゆる形容動詞は名詞の形容動詞語幹として含まれ、 形容詞には含まれない。Juman の指示詞という カテゴリは「連体詞」に含まれている。 判定詞「だ」は助動詞とされている。 Type1 Type2 Type3 Type4 Examples Description
Mecabなど形態素解析で使うIPA品詞体系（品詞ID｜pos-id） - MS Tech
Mecabや茶筅など形態素解析で使う辞書のIPA品詞体系をまとめてみました。 Mecabでは::getPosId()で品詞IDを取得できます。 [amazonjs asin=“4873114705” locale=“JP” title=“入門 自然言語処理”] IPA品詞体系 品詞ID 分類 例 説明 0 その他,間投 「あ」「ア」のみ 「そんなぁ」 1 フィラー 「えーと」「なんか」など 2 感動詞 「うむ」「お疲れさま」「トホホ」 3 記号,アルファベット 「A-z」 4 記号,一般 「？」「！」「￥」 5 記号,括弧開 「（」「【」など 6 記号,括弧閉 「 ）」「】」など 7 記号,句点 「。」「．」のみ 8 記号,空白 「 」のみ 9 記号,読点 「、」「，」のみ 10 形容詞,自立 「美しい」「楽しい」 11 形容詞,接尾 「ったらしい」「っぽい」 12 形容詞,非自立 「づら
PHP版TinySegmenter作ってみた【PHP】 - Programming Magic
このPHP版TinySegmenterは、内部で文字コード変換をするためにmb関数を使っているので、mb関数が使える必要がある。 使い方はサンプルを見てもらえばわかるが、こんな感じ。 <?php include_once(dirname(__FILE__).'/tiny_segmenter.php'); $input = "日本語の新聞記事であれば文字単位で95%程度の精度で分かち書きが行えます。 "; $segmenter = new TinySegmenterarray(); $result = $segmenter->segment($input, 'UTF-8'); print_r($result); ?> Array ( [0] => 日本語 [1] => の [2] => 新聞 [3] => 記事 [4] => で [5] => あれ [6] => ば [7] => 文字 [8
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mecab-ipadic-neologd/README.ja.md at master · neologd/mecab-ipadic-neologd