PHP で JUMAN を叩く - Qiita
形態素解析に用いられるJUMANですが、扱える言語がPerlやPythonです。Rubyで扱っている記事も見つけますが、PHPで書かれたものはなかったので、メモしておきます。 （2015/9/4： @mpywさんからを受けたので追記をしました） proc_open を使った方法 <?php function juman($text) { $descriptorspec = array( 0 => array("pipe", "r"), // stdin は、子プロセスが読み込むパイプです。 1 => array("pipe", "w"), // stdout は、子プロセスが書き込むパイプです。 ); $process = proc_open('juman', $descriptorspec, $pipes); if (is_resource($process)) { // $pipes
PHP で JUMAN を扱う（改良） - Qiita
以前、このような投稿をしました。 http://qiita.com/SOJO/items/a13ea90e63340802fa52 しかし、この方法では以下のような入力をして場合、同じ単語でも別の意味があるときは @ が付いて別の行で出力され、この結果をそのまま受け取ることになります。 $ juman 国立図書館 国立 こくりつ 国立 名詞 6 普通名詞 1 * 0 * 0 "代表表記:国立/こくりつ カテゴリ:抽象物 ドメイン:教育・学習;政治" @ 国立 くにたち 国立 名詞 6 地名 4 * 0 * 0 "代表表記:国立/くにたち 地名:日本:東京都:市" 図書 としょ 図書 名詞 6 普通名詞 1 * 0 * 0 "代表表記:図書/としょ カテゴリ:抽象物 ドメイン:文化・芸術" 館 かん 館 名詞 6 普通名詞 1 * 0 * 0 "代表表記:館/かん 漢字読み:音 カテゴリ:場
Ubuntu 18.04 LTSにKNP, JUMAN, CRF++をインストールする方法 - Qiita
Ubuntu 18.04 LTSにKNP, JUMAN, CRF++をインストールする方法についてまとめてみます。 必要なパッケージのインストール checkinstall, ccacheを用いてUbuntuにソフトウェアをインストールする方法 - Qiitaの必要なパッケージのインストールに従って、必要なパッケージのインストールを行います。 sudo apt install libcdb-dev libjuman zlib1g-dev libboost-devを実行し、必要なパッケージをインストールします。 JUMANのインストール APTで提供されているJUMANは、KNPのインストールで必要なファイルが不足しているため、サイトからダウンロードしたものをインストールします。 JUMAN(bzip2圧縮)をダウンロードします。 適当なディレクトリに解凍します。 checkinstall,
KNPでの固有表現抽出モデル生成・テスト - Qiita
※英称については、あくまで語呂合わせ程度に捉えておいてください。 注意点 OPTIONALタグを付加しない IREXによる定義にはOPTIONALというタグが定義されていますが、このタグは使用できないため、付加してはいけません。 EOSが連続しないようにする 元となる形態素解析データでは、EOS(行末)が連続していることがありますが、余分なEOSは除去しなければなりません。 改行やタブといった形態素を取り除く 元となる形態素解析データでは、改行やタブも以下のように形態素として出力されていますが、これは除去しなければなりません。 ※下のデータを見てもわかりづらいかと思いますが、{改行} {改行} {改行} 未定義語 15 その他 1 * 0 * 0 NILという形になっています。 学習用データ生成 $ knp -ne-train < {固有表現情報付き形態素解析データ} 2> {出力ファイル
Ubuntu 18.04 LTSにJUMAN++をインストールする方法 - Qiita
Ubuntu 18.04 LTSにJUMAN++をインストールする方法についてまとめてみます。 必要なパッケージのインストール checkinstall, ccacheを用いてUbuntuにソフトウェアをインストールする方法 - Qiitaの必要なパッケージのインストールに従って、必要なパッケージのインストールを行います。 sudo apt install google-perftools libgoogle-perftools-dev libboost-devを実行し、必要なパッケージをインストールします。 JUMAN++のインストール JUMAN++(xz圧縮)をダウンロードします。 適当なディレクトリに解凍します。 checkinstall, ccacheを用いてUbuntuにソフトウェアをインストールする方法 - Qiitaのソフトウェアのインストールに従ってインストールを行います
新型の形態素解析エンジン JUMAN++をRubyから使う - Qiita
今一番熱い形態素解析エンジンといえば、やっぱりJUMAN++ですよね！ (参考1)JUMAN++ - 黒橋・河原研究室 - 京都大学 (参考2)新形態素解析器JUMAN++を触ってみたけど思ったより高精度でMeCabから乗り換えようかと思った話 少しだけ使ってみましたが、状況次第ではmecab + NEologdを凌駕する精度が出そうだと感じました。 JUMAN++にはpythonラッパーが提供されていますが、今回はrubyから利用する方法を試してみました。 [17年1月24日追記]Gemとして公開してみました。 GitHub:EastResident/jumanpp_ruby RubyGem:jumanpp_ruby 環境 OS: Mac OS X EI Capitan Ruby: 2.3.1 前提 前提として、当然ではありますがJUMAN++が入っている環境である必要があります。Mac
JUMAN(辞書)を使い倒そう(名詞編)。 - Qiita
なんでこんな記事書いた!言え! 世の中的には、JUMANは古くさくて、速度の早いmecabに固有表現に強いNEologdを載せて使ったり、kuromojiやJanomeのようなピュア○○系の形態素解析器1が流行りという印象を持たれていると思います。しかし、JUMANの辞書はこれらの辞書にはない豊富な語彙知識が記述されています。単語頻度の数え上げから一歩進んだ領域に行こうとすると、この知識にお世話になる局面が必ず出てくるはずです。 word2vecに始まるword embedding技術の流行により、研究領域では辞書として記述された語彙情報の必要性が薄れてきているのは事実だと思います。一方で、実用領域では人間が理解可能な形式で記述された語彙知識が強力な武器であることに変わりはないと思っています。 今回は語彙知識と有効に働く場面の紹介をしたいと思います。 代表表記 代表表記は簡単に言うと表記揺
自然言語処理をテストする環境を整えるまでの手順① - Qiita
cd /tmp wget -O mecab-ipadic-2.7.0-20070801.tar.gz "https://drive.google.com/uc?export=download&id=0B4y35FiV1wh7MWVlSDBCSXZMTXM" tar xzf mecab-ipadic-2.7.0-20070801.tar.gz cd mecab-ipadic-2.7.0-20070801 ./configure --with-charset=utf8 make sudo make install #ダウンロードしたファイルを削除 rm -rf /tmp/mecab-* cd /tmp sudo git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git cd mecab-ipadic-neol
自然言語処理をテストする環境を整えるまでの手順② - Qiita
自然言語処理関係を行なっていくことになりましたので、まずは環境からと色々やっていったことをまとめた備忘録的なものです。 KNPをインストールする KNPとは日本語文の構文・格・照応解析を行うシステムです。 引用 KNPは日本語文の構文・格・照応解析を行うシステムです．形態素解析システムJUMANの解析結果(形態素列)を入力とし, 文節および基本句間の係り受け関係，格関係，照応関係を出力します． 係り受け関係，格関係および照応関係は，Webから自動構築した大規模格フレームに基づく確率的モデルにより決定します． KNPをダウンロードする 下記からダウンロードしてください。 http://nlp.ist.i.kyoto-u.ac.jp/index.php?KNP KNPをインストールする
IPA、NAIST、UniDic、JUMANの辞書実演比較（Mecab）
以下のフォームに文章を入力して「解析」ボタンを押下すると、チェックした辞書を使用したMeCabの解析結果が表示されます。 実行回数は1つのIPアドレスに付き1日30回に制限させて頂いております。また解析する文字列の長さの上限は512文字です。すいません、レン鯖なので無茶はできんとです。あと、Firefox3.5,Chrome3,IE8で動作を確認しています。古典的ブラウザでは動作しないかもしれません。 MeCab0.98を使用しています。解析を実行した文字列については一切のログを取っていませんので安心してお使いください。 IPA (mecab-ipadic2.7.0-20070801) NAIST (mecab-naist-jdic-0.6.1-20090630) UniDic現代語版 (unidic-mecab-1.3.12) UniDic近代文語版 (UniDic-MLJ-mecab_
neologd辞書をjuman/juman++で使えるようにするスクリプト作った - Qiita
本スクリプトは、Insight Tech公開のリポジトリから入手可能です。 ※ 長く気がついていませんでしたが、辞書生成途中でエラーが起きていて、多くのエントリが変換されないままになっていました。最新の版では修正済みです。 この記事で紹介すること neologd辞書の有効性 neologd辞書をJUMAN/JUMAN++で利用できるようにするためのスクリプト紹介 neologd辞書とは？ 正式にはmecab-ipadic-neologdという名称で、mecabの追加辞書として設計されています。 形態素解析器をweb上のテキストに適用するには、標準の辞書では対応できないケースが多々ありました。特にドラマの名前、スラング的な語(オマエモナーなど)などが顕著です。 例えば、昨年の年末に話題になった逃げるは恥だが役に立つは標準のipadicでは1語と認識できません。 標準ipadic % echo
brewコマンドでmecab用のIPA/Juman/UniDic辞書をインストールする方法 - Qiita
MeCab 用の辞書として、大きく3つあります。 私の感覚としては話し言葉にはUniDicを、文章にはIPAかJumanを用いると良いです。 IPA 辞書, IPAコーパス に基づき CRF でパラメータ推定した辞書 Juman 辞書, 京都コーパスに基づき CRF でパラメータ推定した辞書 UniDic 辞書, BCCWJコーパスに基づき CRF でパラーメータ推定した辞書 それぞれの違いは次の説明が分かりやすいです。 形態素解析と辞書をどのように選べばよいのか 一般に性能が良い、精度がよいものがよいというのであれば、MeCab + UniDic を利用すればよい。但し、出力される単位・品詞が後続の処理において有効であるものと無効であるものがある。付与されている各種情報に基づいて、用途による使い分けをお勧めする。 * 音韻的な情報が重要な場合 UniDic + MeCab を利用するが、
Juman++をサーバーモードで利用しよう - Qiita
この記事の内容 Juman++をサーバーモードで利用すると、はかどる話 形態素解析を簡単に実行するPythonパッケージでJuman++を利用可能にした話 Juman++とは？ Juman++とは京大・黒橋研究室で開発された形態素解析器です。 「それ、Mecabと何が違うん？」と言う点ですが、Juman++では「RNN（いわゆるディープラーニング系のやつ）言語モデルを利用している」点が異なります。 Qiitaでも紹介記事が徐々に増えつつあり、今後の普及が楽しみです。 新形態素解析器JUMAN++を触ってみたけど思ったより高精度でMeCabから乗り換えようかと思った話 複数の形態素解析器を見比べる Juman++のちょっと気になる点 依存ライブラリを新しくしないといけない。特にgcc周り 遅い 依存ライブラリ問題は、gccを更新して、他のコード郡が動かなくなるかもしれない・・・という懸念はあ
Windows 7 64bit に JUMAN/KNP（構文解析器）を導入しました - Qiita
はじめに 研究でKNPが必要になったので、現在使用しているWindows 7 64bit環境に導入してみました。 備忘録として残します。 KNPは京都大学の黒橋・河原研究室で開発された日本語構文・格・照応解析システムのことです。 文を入れると単語同士の関係性を下の画像のように表示してくれます。 JumanはKNPで構文解析する前に行われる形態素解析器です。 参考にした情報は以下です（ありがとうございました！）： 導入時 JUMAN/KNPを用いた 形態素解析・構文解析 実習 pythonでの使用時（英語） PyKNP: KNP/JUMAN for Python 必要なもの KNP Ver.4.11 (Windows 64bit版） Juman Ver 7.0 (Windows 64bit版） pythonのバインディング： pyknp（pyknp-0.22.tar.gz をダウンロード）
JUMAN++をPythonから使う - Qiita
はじめに JUMAN++は黒橋・河原研究室から発表されたRNNを使用した形態素解析器です． 本記事ではPythonラッパーを通じてJUMAN++を使用する方法を紹介します． 単純にJUMAN(形態素解析器)，KNP(構文解析器)，PyKNP(JUMANとKNPのPythonバインディング)のインストール方法なので，これらの導入の参考にもなるかと思います． 導入方法 JUMAN++はPyKNPを通じて利用することができます． PyKNPはJUMANとKNPに依存しているため，まず先にこれらをインストールしていきます． 前提 ubuntu-16.04 こちらを参考にJUMAN++をインストールしていること JUMANのインストール まず以下のコマンドでJUMANをインストールします． $ wget http://nlp.ist.i.kyoto-u.ac.jp/nl-resource/juman
DockerでJUMAN++(alpine linux) - Qiita
JUMAN++とは 黒橋・河原研究室が公開した日本語の形態素解析器です。以下、サイトの紹介文 JUMAN++は言語モデルを利用した高性能な形態素解析システムです．言語モデルとして Recurrent Neural Network Language Model(RNNLM) を用いることにより，単語の並びの意味的な自然さを考慮した解析を行います．それにより JUMAN，MeCab に比べ大きく性能が向上しています．文法・辞書・出力フォーマット等は JUMAN から引き継いだものを利用しています．本システムは CREST「知識に基づく構造的言語処理の確立と知識インフラの構築」の支援により開発されました． Dockerで環境構築 自分の環境はいじりたくないけど試してみたいということで、Dockerで試してみようと思います。 HOW TO docker pull kyobad/jumanpp-al
JUMAN++ - LANGUAGE MEDIA PROCESSING LAB
日本語形態素解析システム Juman++ † Juman++は言語モデルを利用した高性能な形態素解析システムです．言語モデルとして Recurrent Neural Network Language Model (RNNLM) を用いることにより，単語の並びの意味的な自然さを考慮した解析を行います．それにより JUMAN，MeCab に比べ大きく性能が向上しています．文法・辞書・出力フォーマット等は JUMAN から引き継いだものを利用しています．本システムは CREST「知識に基づく構造的言語処理の確立と知識インフラの構築」の支援により開発されました． ↑ 使用方法 † たとえば，次のようなテキストを入力すると， % cat sample.txt 外国人参政権 私もあさって日曜最終日 以下の解析結果が得られます． % cat sample.txt | jumanpp 外国 がいこく 外国
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
形態素解析ツールの品詞体系
ChaSen 品詞体系 (IPA品詞体系) ChaSen の品詞体系は任意の階層化を許している。 いわゆる形容動詞は名詞の形容動詞語幹として含まれ、 形容詞には含まれない。Juman の指示詞という カテゴリは「連体詞」に含まれている。 判定詞「だ」は助動詞とされている。 Type1 Type2 Type3 Type4 Examples Description
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Try JUMAN