Elasticsearchで日本語を同義語展開する
全文検索における同義語展開の必要性 全文検索では、基本的に文字列のマッチにより検索を行います。しかし我々が言葉を扱うときには、同じものを違う表現で指し示すことが多々あります。 例えば「独占禁止法」と呼ばれる法律があります。これは経済憲法とも言われる大変重要な法律なのですが、日本では「昭和二十二年法律第五十四号（私的独占の禁止及び公正取引の確保に関する法律）」という法律がそれに該当し、独占禁止法という名前にはなっていません。これを皆、「独占禁止法」や「独禁法」といった代替可能な別表現（同義語）で呼んでいるわけです。 同法律には法令用語で言うところの「題名」は付されておらず、頭書の名称は制定時の公布文から引用したいわゆる「件名」である。独占禁止法ないし独禁法と略称されることも多い。 もし「独禁法」で検索して当該法律がヒットしなければ、ユーザーとしては不満足でしょう。検索システムのクオリティを向
Elasticsearchのための新しい形態素解析器 「Sudachi」 - Qiita
tl;dr （要約） Kuromojiに代わる新しい形態素解析器「Sudachi」 なにが良いの？ 最新の辞書 企業（ワークスアプリケーションズ）による継続的な更新 複数の分割単位 → 検索用途での再現率と適合率の向上 プラグインによる拡張 省メモリ Elasticsearchで使いたい プラグイン: WorksApplications/elasticsearch-sudachi 使い方は当記事の後半をご覧ください 注: この記事の執筆者はSudachiの開発に関わっています さまざまな形態素解析器 形態素解析は、伝統的な自然言語処理（Natural Language Processing, NLP）において基盤となる技術です。そして世の中にはさまざまな形態素解析器が存在します。販売されているものもありますが、一般に公開されているものだけでもいくつか例をあげると、JUMANとRNNLMを利
形態素解析で使用する辞書の使い分けについて
MeCabのインストールについては前回の記事参照 MeCab用の辞書について MeCabは形態素解析エンジンですが、形態素解析エンジンは辞書を利用して日本語を解析します。 そのため形態素解析の精度は 形態素解析エンジンのアルゴリズムの精度 と 形態素解析辞書の精度 の2つに左右されます。 仮に形態素解析エンジンにMeCabを使用する場合、形態素解析の目的にあった辞書を指定する必要があります。 MeCabのドキュメントに記載されている辞書は以下の3つです。 IPA辞書(推奨) Juman辞書 Unidic辞書 MeCabのドキュメントが古くリンク切れなどがあるので1つずつ調べてみます。 ※ドキュメントには記載されていませんが、mecab-ipadic-NEologd についても記述。 ※CRFについては省略 IPA辞書 IPA 辞書, IPAコーパス に基づき CRF でパラメータ推定した辞
Pythonで自然言語処理のタスクをやってみる。 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。アドベントカレンダー真っ盛りですね。 本日は「python Advent Calendar 2017」のアドベントカレンダー第5日です。 qiita.com 自然言語処理には様々なライブラリ（NLTKやCoreNLP）があります。 せっかくの機会として、本記事では紹介が少ないspaCyを紹介します。 spaCy spaCyとは spaCyはPythonの発展的な自然言語処理のライブラリです。 実際に使われていることを想定しており、英語、ドイツ語、フランス語、スペイン語に対応しています。 トークナイザーは日本語もあるとのこと（確かJanomeで動作します）。 github.com 次のリンク先には他の自然言語処理ライブラリの アルゴリズムの観点や精度（Dependency parsing、Named entity comparison）が 載っており、他のライ
形態素解析ツールの品詞体系
ChaSen 品詞体系 (IPA品詞体系) ChaSen の品詞体系は任意の階層化を許している。 いわゆる形容動詞は名詞の形容動詞語幹として含まれ、 形容詞には含まれない。Juman の指示詞という カテゴリは「連体詞」に含まれている。 判定詞「だ」は助動詞とされている。 Type1 Type2 Type3 Type4 Examples Description
形態素解析とは？おすすめの5大解析ツールや実際の応用例を紹介｜Udemy メディア
今回は、最近ホットワードの自然言語処理の中でも、自然言語処理の一過程である「形態素解析」について、基礎から丁寧に解説します！ また、形態素解析が実際に何に使われているのか、さらに形態素解析をするためのおすすめツールを日本語用と英語用にわけて紹介します。 ぜひ最後まで読んで、形態素解析とはなにかを理解してください！ 公開日：2018年1月9日 形態素解析とは？応用例も交えてわかりやすく解説！ まず「形態素解析」という言葉とはどんな意味なのか、わかりやすく解説します。 形態素解析とは、私たちが普段生活の中で一般的に使っている言葉、つまり「自然言語」を形態素にまで分割する技術のことです。 形態素とは、言葉が意味を持つまとまりの単語の最小単位のことです。 例えば、「私は台所で料理します」という文章を形態素解析すると「私(代名詞)/は（副助詞）/台所(名詞)/で(助詞)/料理（名詞）/し(動詞)/ま
横断検索で社内情報共有を加速させる - Hatena Developer Blog
アプリケーションエンジニアの id:alpicola です。 このエントリは、はてなエンジニアアドベントカレンダー2018の24日目の記事です。昨日は id:miki_bene のIntelliJを使ってPerlアプリケーションの開発をするでした。 背景 横断検索のアーキテクチャ 閲覧可能範囲の実装 検索精度を高める工夫 形態素解析器Sudachiの使用 N-gramインデックスの併用 おわりに 背景 はてなでは業務の中で得た知見や考えたことなどを書き残し、社内外でどんどん共有していくオープンな文化があります。こうやって発信された情報はエンジニア同士で相互によいインプットになってきました。一方で、情報がそれを必要としている人に必ずしもアクセスしやすくないという課題も抱えています。 発信される情報の量が多く、少し時間が経った情報はすぐ流れてしまう 社内でグループウェア、GitHub Ente
新語・固有表現に強い「mecab-ipadic-NEologd」の効果を調べてみた
このようにすることで、 そもそも mecab-ipadic-NEologd に意味はあるの? mecab-ipadic-NEologd で分かち書きして悪影響は無いの? mecab-ipadic-NEologd を週2回も更新することに意味はあるの? などの典型的な疑問について考察する材料を得たいと考えました。 学習器と特徴ベクトルの作り方 学習器は LIBLINEAR を使用しました。LIBLINEAR で学習するときのパラメーターですが、今回は辞書やデータごとに最適なパラメーターを探すことが今回の目的ではありません。そこで、別の期間のデータと MeCab 用の辞書を用意して、事前に実験と相対的に同様なデータと辞書の関係を作って探索することにしました。その結果、「s=5, c=0.8, B=-1」という設定が比較対象の UniDic にとって総合的に有利だったのでそれを採用しました。 各
MeCab の形態素解析誤りを修正する生起コストの求め方
「かつおたたき」、「りんごジュース」、「ロース肉薄切り」を MeCab + IPA 辞書で形態素解析すると以下のようになります。 % mecab かつおたたき かつ 接続詞,*,*,*,*,*,かつ,カツ,カツ お 接頭詞,名詞接続,*,*,*,*,お,オ,オ たたき 名詞,一般,*,*,*,*,たたき,タタキ,タタキ EOS りんごジュース りん 副詞,助詞類接続,*,*,*,*,りん,リン,リン ご 接頭詞,名詞接続,*,*,*,*,ご,ゴ,ゴ ジュース 名詞,一般,*,*,*,*,ジュース,ジュース,ジュース EOS ロース肉薄切り ロース 名詞,一般,*,*,*,*,ロース,ロース,ロース 肉薄 名詞,サ変接続,*,*,*,*,肉薄,ニクハク,ニクハク 切り 名詞,接尾,一般,*,*,*,切り,ギリ,ギリ EOS 日本人の感覚とはだいぶずれた結果になってしまっていますね！人間であれ
moji 日本語の文字種判定、文字種変換(半角→全角、ひらがな→カタカナなど)を行います。
Moji モジュール 日本語の文字種判定、文字種変換(半角→全角、ひらがな→カタカナなど)を行います。 インストール: 以下のコマンドを実行してください。 $ sudo gem install moji 使い方: Ruby 1.8: $KCODE を指定してから require "moji" してください。 Moji モジュールの関数に渡す文字列の文字コードは $KCODE と一致させてください。 Ruby 1.9: どの文字コードの文字列を渡しても大丈夫ですが、 String#encoding が正しく設定されている 必要があります。正規表現を返す関数( Moji.kata など)は Encoding.default_internal (設定されてない場合はUTF-8)用の正規表現を返します。その他のエンコーディング用の正規表現は Moji.kata(Encoding::SJIS) など
形態素解析とは | 意味・用途・3種のツール・ライブラリを解説 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Regexp.ja
ニコニコ生放送:運営NGワード一覧とは (ニコニコナマホウソウウンエイエヌジーワードイチランとは) [単語記事] - ニコニコ大百科