SudachiPy で MeCab 互換な解析をさせる - Qiita
お題 MeCab 用の IPADIC をコンバートして、SudachiPy で MeCab 互換な解析をさせてみます。 IPADIC のコンバート 語彙ファイルをコンバートするためのスクリプトです1。 import csv import fileinput import sys w = csv.writer(sys.stdout, lineterminator="\n") for cols in csv.reader(fileinput.input(encoding='EUC-JP')): w.writerow([cols[i] for i in [0, 1, 2, 3, 0, 4, 5, 6, 7, 8, 9, 11, 10]] + ['*', '*', '*', '*', '*']) MeCab 用の IPADIC を MeCab の公式サイトからダウンロードし、中にある *.csv
GiNZA+Elasticsearchで係り受け検索の第一歩 - Taste of Tech Topics
急に冷え込んできてお布団が恋しい季節になってきました。 こんにちは。@Ssk1029Takashiです。 この記事は自然言語処理 Advent Calendarの6日目の記事になります。 qiita.com 全文検索システムは単語検索であることが多いですが、単語検索だけだと困ることもあります 症例検索を例にとって見てみましょう。 検索エンジンに以下の2つの文章が登録されているとします。 「ずっと胃がキリキリと痛い。ただ、熱は無く平熱のままだ。」 「昨日からとても頭が痛い。おまけに胃がむかむかする。」 この時、「胃が痛い」と検索したとき、通常の単語検索の場合だと両方ともヒットしてしまいますが、下の文章は意味としては異なる文章のためゴミになります。 この記事では、GiNZAとElasticsearchを使って意味的に正しい上の文章だけを拾ってくる仕組みを簡単に実現してみようと思います。 どうや
NLP2019 松田寛 - GiNZA
3. Universal Dependencies日本語版の解析系を開発 ● 新しい日本語依存構造解析器を実装 ○ OSS (SudachiPy+spaCy) を活用 ● 日本語 Universal Dependencies 体系に準拠 ○ 形態素解析出力(UniDic短単位)の可能性品詞の用法解決を行い UD品詞体系に準拠した出力を実現 ※ 論文はこちら http://www.anlp.jp/proceedings/annual_meeting/2019/pdf_dir/F2-3.pdf 3 4. 提案手法の実装をPyPIおよびgithubで公開中 ● 実行環境はコマンド一行で導入完了 pip install "https://github.com/megagonlabs/ginza/releases/download/v1.0.0/ja_ginza_nopn-1.0.0.tgz" ●
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LaTeX with hyperref
