Elasticsearchで日本語を同義語展開する
全文検索における同義語展開の必要性 全文検索では、基本的に文字列のマッチにより検索を行います。しかし我々が言葉を扱うときには、同じものを違う表現で指し示すことが多々あります。 例えば「独占禁止法」と呼ばれる法律があります。これは経済憲法とも言われる大変重要な法律なのですが、日本では「昭和二十二年法律第五十四号（私的独占の禁止及び公正取引の確保に関する法律）」という法律がそれに該当し、独占禁止法という名前にはなっていません。これを皆、「独占禁止法」や「独禁法」といった代替可能な別表現（同義語）で呼んでいるわけです。 同法律には法令用語で言うところの「題名」は付されておらず、頭書の名称は制定時の公布文から引用したいわゆる「件名」である。独占禁止法ないし独禁法と略称されることも多い。 もし「独禁法」で検索して当該法律がヒットしなければ、ユーザーとしては不満足でしょう。検索システムのクオリティを向
チャットボット開発にかかせない！類義語検索に便利な大規模辞書「WordNet」の紹介 - bitA Tech Blog
チャットボットなどを作る上で、重要になってくるのが類義語です。多くのチャットボット作成プラットフォームには、類義語辞書の登録機能が存在しています。これは、ユーザーの言い回しの揺れを吸収するための機能です。「ホテル」？「宿」？ 言い回しの揺らぎ対策に…
形態素解析器Sudachiの「辞書」はどのように作られているか: 複数の分割単位を例として
これは、Sudachi開発元であるワークス徳島NLPの末席に連なっていた筆者による、個人的な覚え書きです。組織を代表した情報や意見ではなく、誤り等は全て著者個人の責任です。 筆者自身は辞書の開発には関わっていませんが、ほとんど知られていない、専門家達の仕事と悩みへ触れる機会になればと思い、執筆しました。 形態素解析器Sudachi Sudachiは、株式会社ワークスアプリケーションズの徳島人工知能NLP研究所が開発する形態素解析器です。形態素解析は、人間の言葉を機械で扱う自然言語処理において、多くの場合に基盤となる技術で、主には、テキストを分割する「Segmentation」、語形を辞書形にする「Stemming」、動詞や名詞といった品詞を付与する「Part-of-Speech Tagging」を行うものです。 世の中には多くの形態素解析器がありますが、その中でもSudachiの特色として
sudachipyで簡易的に同義語辞書をつかう - Qiita
TL;DR sudachiの同義語辞書(synonym.txt)から同義語グループidと代表語の組み合わせを生成 生成した組み合わせをつかってsudachipyで簡易的に同義語辞書を使えるようにする 例としてわかちがき後同義語辞書をつかって正規化する 目的 テキストからの情報抽出やテキストの類似度計算などのタスクを行う際に、sudachiでの形態素解析で同義語を使いたかったのですが、sudachipyではsudachiの同義語辞書を利用できませんでした。 簡易的でいいので、sudachipyで簡易的に同義語辞書が使えるようにします。 今回の目的は、あくまでも形態素解析後の正規化です。特に、わかちがき後に同義語を同じ見出しに揃えることを目的としています。したがって、同義語の展開は行いません。 sudachiの同義語辞書 sudachiの同義語辞書はドキュメントによると、 Sudachi 辞書
Sudachi同義語辞書をElasticsearchで使う（暫定方法）
TL;DR Sudachi同義語辞書を「Solr Synonyms形式」に変換して使う あくまで暫定的な使い方: 本来は形態素解析結果を元に厳密に展開されるべき ちゃんとしたフィルタープラグインは、徳島のSudachi公式がもうすぐ公開してくれるはず Sudachi同義語辞書とは ワークス徳島NLPが開発する、専門家の手による大規模で高品質な辞書 Apache2.0ライセンス、商用利用可 詳細は公式ドキュメントを参照のこと 同義語が単に羅列されているわけではなく、詳細化した同義関係が付与されています。 そして、この言語資源は定期的に専門家によりメンテナンス、更新されています。例えば、以下のような語も2020年7月のアップデートなどで追加されています; ... 023538,1,0,1,0,0,0,(医療),新型コロナウイルス感染症,, 023538,1,0,1,2,0,0,(医療),COV
Sudachiを使った同義語辞書の拡充 - VisasQ Dev Blog
検索チームの tanker です。 弊社のフルサポート形式の場合、スタッフがクライアントからどんな人に話を聞きたいか要望をヒアリングし、登録されているアドバイザーを専用の検索システムを使って探しています。 ただし、クライアントから出てくる単語とアドバイザーが登録している情報の単語は必ずしも一致していることはなく、漏れなく探し出すために表記ゆれや周辺単語を加えて検索することがリサーチマネージャー (RM) の方々の腕の見せ所とはなっています。一方で、そのスキルはどうしても経験を積んでいく必要があり、その支援として検索システム側でフォローするために同義語辞書の導入を検討しました。 蓄積されたアドバイザー情報や依頼情報から共起をとって弊社のサービスドメインに合わせた同義語辞書を作る方法もありますが、今回は一般公開されているデータを使ってみたいと思います。 ワークスアプリケーションズさんの Sud
日本語WordNetを使って、類義語を検索できるツールをpythonで作ってみた - Qiita
日本語WordNetを使って、何か面白いことができないか調べていきたいと思います。 今回は、とりあえず日本語WordNetについて簡単に情報をまとめ、類義語を検索できるツールをpython3で作ってみました。 WordNetとは？ 同義語、上位・下位語などがまとめられている、概念の辞書です。 元々英語で整備が進んでいました。 日本語版は、2006～2010に、国立研究開発法人情報通信研究機構（NICT）が整備を進めました。 詳しくはWikipediaで https://ja.wikipedia.org/wiki/WordNet WordNetはどうやったら使えるの？ 以下の日本語WordNetのHPから、ダウンロードできます。商用フリーです。申し込み不要です。 日本語 WordNet： http://compling.hss.ntu.edu.sg/wnja/ 私はpython経由で使いやす
サブカルのためのword2vec | BLOG - DeNA Engineering
はじめに AIシステム部AI研究開発グループ アルバイトの五十嵐です。（ @bonprosoft, ポートフォリオ：http://vbcpp.net/about/ ） 現在、東北大学大学院の修士1年で、大学院では（自然言語ではなく）高速な文字列処理アルゴリズムに関する研究を行っています。 私は2017年9月上旬から3週間ほど、アルバイト兼インターンとしてハッカドールチーム内のNLPのタスクに取り組んでいました。 その後はアルバイトとして、期間中にできなかった追加実験と実際の製品への適用に取り組んでいます。 取り組んだタスク 突然ですが、みなさま、ハッカドールはインストールされていますか？ ハッカドールは、主にサブカルチャーに関する記事に特化した、ニュースアプリケーションです。 アプリケーション内のユーザーのクリックや「ホシイ/イラナイ」などのアクションを通して、ハッカドールがユーザーの好み
ブートストラップによるパターン抽出 - 武蔵野日記
午後は情報検索に関するトーク。shima さんたちのチームの話が気になったのでメモ。 Ni Lao, Hideki Shima, Teruko Mitamura and Eric Nyberg. Query Expansion and Machine Translation for Robust Cross-Lingual Information Retrieval. NTCIR-7. 2008. この論文、言語横断検索のためにいろいろなことをやっているのだが、自分が気になったのはクエリ展開(query expansion)の部分。クエリ展開とはたとえば「カーネギーメロン大学」と「CMU」が同義語であった場合、「カーネギーメロン大学」と入れて「CMU」のページも検索してくれると嬉しいよね、という話で、それを自動的に展開してあげましょう、という内容なのだが、この同義語・言い換えをどう見つける
2010-05-30
solrで同義語検索を行う方法。 同義語には以下のようなものがある 表記揺らぎ twitter <=> ついったー 省略形 United States of America <=> USA 類義語 検索 <=> 探索 ここでは、同義語とは なんらかのデータソース上(同義語辞書)で定義された2つの語とする。 つまり、辞書上に (twitter, ついったー)が同義語と定義されていれば同義語とする。 同義語検索とはここでは、 "twitter"で検索した際に、その同義語"ついったー"を含む文書を検索すること。 インデクス作成時に行う場合(a) 例えば "twitterに投稿しました。" のような文書は 通常時 "twitter に 投稿 し まし た 。" のようにパースされ。 単語 位置情報 twitter 1番目の単語 に 2番目の単語 投稿 3番目の単語 する 4番目の単語 ます 5番目
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本語 Wordnet
同義語検索ライブラリchikkarpyで独自の辞書を使う
https://www.anlp.jp/proceedings/annual_meeting/2020/pdf_dir/P4-14.pdf
SudachiDict/docs/synonyms.md at develop · WorksApplications/SudachiDict
NLP | Synsets for a word in WordNet - GeeksforGeeks
GitHub - po3rin/chinormfilter: Filter synonym files written in lucene format to avoid duplication with Sudachi normalization.
グラフを用いたバイオ医療専門用語の類義語獲得 | CiNii Research
卒業論文:朝倉 剛史 - 長岡技科大 自然言語処理研究室