ComeJisyo プロジェクト日本語トップページ - OSDN
医療記録の分かち書きを支援するために実践医療用語辞書ComeJisyoと、分かち書き結果から合成語を生成するツール「GoMusubi」を公開しています。 ComeJisyoは、形態素解析器MeCabのユーザ辞書として用います。 Mecabのシステム辞書IPA辞書の影響に加え、ComeJisyoの品詞誤りもあり、ComeJisyoの見出し語が過分割される場合があります。 そこで、解析結果の品詞を元に合成語を生成するツール「GoMusubi」を作成しました。 公開履歴 2021年 4月 Wcompounder_Ver.1.0 GoMusubi_Ver.2.0を構成するプログラムの内、合成語を生成するプログラムのソースコードを公開します。 動作環境 ： Windows10（64ビット） 使用言語 ： python3.8 2021年 4月 GoMusubi_Ver.2.0
本気で自然言語処理やらないエンジニアでもできる、イベントアンケートの意見抽出 - OPTiM TECH BLOG
まえがき R&Dチームの徳田(@dakuton)です。 私の開発業務としては自然言語処理をメインとした業務ではありませんが、必要に応じてテキスト解析に携わることもあります。 今回は、がっつり自然言語処理やらないエンジニアからみたときのテキスト解析の使いどころを簡単にご紹介します。 業務での使いどころ 簡単に申し上げると、分類問題として解けそうなデータか？当たりをつけるためにテキスト解析を利用します。 私の業務では時系列データや定量データのような数値データなどをメインに取り扱っていますが、テキスト解析をあわせて行う必要が出てくる場合があります。 これは解析依頼をいただくデータが、数値情報に加えてテキスト情報が付随されているようなデータであることが多いためです。 例えば故障検知の場合、単に正常稼働時の数値データをもとに異常を定義するのではなく 過去レポート(故障時の部品や原因をまとめたテキスト
新語・固有表現に強い「mecab-ipadic-NEologd」の効果を調べてみた
このようにすることで、 そもそも mecab-ipadic-NEologd に意味はあるの? mecab-ipadic-NEologd で分かち書きして悪影響は無いの? mecab-ipadic-NEologd を週2回も更新することに意味はあるの? などの典型的な疑問について考察する材料を得たいと考えました。 学習器と特徴ベクトルの作り方 学習器は LIBLINEAR を使用しました。LIBLINEAR で学習するときのパラメーターですが、今回は辞書やデータごとに最適なパラメーターを探すことが今回の目的ではありません。そこで、別の期間のデータと MeCab 用の辞書を用意して、事前に実験と相対的に同様なデータと辞書の関係を作って探索することにしました。その結果、「s=5, c=0.8, B=-1」という設定が比較対象の UniDic にとって総合的に有利だったのでそれを採用しました。 各
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mecab-ipadic-NEologd の効果的な使い方
https://yogi.bz/~suzu/wp3/?p=313
