Ubuntu 18.04 LTSにKNP, JUMAN, CRF++をインストールする方法 - Qiita
Ubuntu 18.04 LTSにKNP, JUMAN, CRF++をインストールする方法についてまとめてみます。 必要なパッケージのインストール checkinstall, ccacheを用いてUbuntuにソフトウェアをインストールする方法 - Qiitaの必要なパッケージのインストールに従って、必要なパッケージのインストールを行います。 sudo apt install libcdb-dev libjuman zlib1g-dev libboost-devを実行し、必要なパッケージをインストールします。 JUMANのインストール APTで提供されているJUMANは、KNPのインストールで必要なファイルが不足しているため、サイトからダウンロードしたものをインストールします。 JUMAN(bzip2圧縮)をダウンロードします。 適当なディレクトリに解凍します。 checkinstall,
Elasticsearchで品詞分解② (Kibana編) - Qiita
{ "body_txt": "jsoupというとスクレイピングがよくに出てきますが、こういう使い方もありますよ、という事で。ログイン->cookie保持->ログイン後処理というjsoupコードが日本語であんまりなかったので、せっかくの機会ですし纏めてみました。jsoupで一番苦労するのは、実際に処理が実行されるURLがどういうものなのか、を見つける事ですね。formで指定されていたり、リダイレクトされたり…メモ帳でtsvを触ると、なぜか先頭に?が入ってしまう、という謎の現象が起きたので、IPアドレスの取得方法には正規表現を使用しています。エディタの指定とかできないんで…つい昔の習慣で、beanを作って詰めてしまいますが、最近はこうじゃないんですかね…新しい方法も勉強しないと^^;", "execDate": "2018/01/16T10:40:00+09:00", "paragraph":
素人の言語処理100本ノック:49 - Qiita
言語処理100本ノック 2015の挑戦記録です。環境はUbuntu 16.04 LTS ＋ Python 3.5.2 :: Anaconda 4.1.1 (64-bit)です。過去のノックの一覧はこちらからどうぞ。 第5章: 係り受け解析 夏目漱石の小説『吾輩は猫である』の文章（neko.txt）をCaboChaを使って係り受け解析し，その結果をneko.txt.cabochaというファイルに保存せよ．このファイルを用いて，以下の問に対応するプログラムを実装せよ． 49. 名詞間の係り受けパスの抽出 文中のすべての名詞句のペアを結ぶ最短係り受けパスを抽出せよ．ただし，名詞句ペアの文節番号が i と j （ i < j ）のとき，係り受けパスは以下の仕様を満たすものとする． 問題48と同様に，パスは開始文節から終了文節に至るまでの各文節の表現（表層形の形態素列）を"->"で連結して表現する
solrで日本語形態素解析結果を調べる(Mac版) - Qiita
ブラウザから管理画面起動 Core selector で mycore 選択 左のメニューから「analysis」選択 「Fieldname / Field type」で「text_ja」を選択 Filed Value(Query)に質問文を入力し、「Analysis Values」ボタンをクリック (一番上の「JT」(JapaneseTokenizer)の結果) (一番下の「LCF」(LowerCaseFilter)の結果) 補足 デフォルトで自動生成される構成ファイル(solr-7.2.1/server/solr/mycore/conf/managed-schema)の「text_ja」部分 <fieldType name="text_ja" class="solr.TextField" autoGeneratePhraseQueries="false" positionIncreme
Python+WindowsでのMecab/Cabocha/KNP - Qiita
やりたいこと Windows+pythonでMecab/Cabocha/KNPを使う時、楽しようとして「import mecab」や、「import Cabocha」を使うとリコンパイルやら、UTF-8指定やら、面倒くさくなる。 そこで、Sjift-Jis＋外部呼び出しで、デフォルトインストールで使えるようにする。 環境 Windows Mecab/Cabocha/Juman/KNPのインストール(SHIFT-JISで) Mecab/Cabocha/Juman/KNPは環境変数に通しておく ソース homefldrを任意の場所に設定すること (2016/12/17 追記:KNPにも対応) import os import subprocess from tempfile import NamedTemporaryFile class JapaneseDependencyRelation:
Ubuntu 18.04 LTSにJUMAN++をインストールする方法 - Qiita
Ubuntu 18.04 LTSにJUMAN++をインストールする方法についてまとめてみます。 必要なパッケージのインストール checkinstall, ccacheを用いてUbuntuにソフトウェアをインストールする方法 - Qiitaの必要なパッケージのインストールに従って、必要なパッケージのインストールを行います。 sudo apt install google-perftools libgoogle-perftools-dev libboost-devを実行し、必要なパッケージをインストールします。 JUMAN++のインストール JUMAN++(xz圧縮)をダウンロードします。 適当なディレクトリに解凍します。 checkinstall, ccacheを用いてUbuntuにソフトウェアをインストールする方法 - Qiitaのソフトウェアのインストールに従ってインストールを行います
Cabochaで活用して自動で「IOB2タグcorpus」学習データを発生 - Qiita
# coding: utf-8 from __future__ import print_function # Only needed for Python 2 import MeCab import CaboCha import sys import os cabocha = CaboCha.Parser("-f1 -n1") m = MeCab.Tagger ("-Ochasen") # For reading from file class getWords(): def readText(self, filename): ###ファイルを展開 with open(filename, 'r', encoding='utf-8') as f: tText = f.read() f.close() return tText # Usage: python training_generat
kuromojiにヌル文字<0x00>を渡すとエラーになる - Qiita
TypeError: Cannot read property 'length' of undefined at ViterbiBuilder.build (~\node_modules\kuromoji\src\viterbi\ViterbiBuilder.js:53:48) at Tokenizer.getLattice (~\node_modules\kuromoji\src\Tokenizer.js:126:33) at Tokenizer.tokenizeForSentence (~\node_modules\kuromoji\src\Tokenizer.js:81:24) at ~\node_modules\kuromo jin\lib\kuromojin.js:60:26 at <anonymous> catchしてスキップすればいいだけなので困ってはいないが、原因調査。 結
Elixirで弱々しいAI#3「MeCab辞書差し替え |> CaboChaモジュールの作成」 - Qiita
（この記事は Elixir (その2)とPhoenix Advent Calendar 2016 8日目の記事です） 前回は、PhoenixでWebアプリ化して、最後に出現した固有名詞をオウム返しする、多少は言われたことを掴む（文字通り「掴む」だけですが…）貧弱AIを作りましたが、「進撃の巨人」を知らないオールドタイプであることが判明しました 今回は、MeCabの辞書を差し替え、貧弱AIを現代っ子に進化させた後、文章の構成を解析するための「CaboCha」をElixirで使えるようにします CaboChaのElixirモジュールは、世に無いようなので、今回作ってみます なお、本コラム中の「Elixirの書き方」については、あまり細かく説明をしていないので、「ここの書き方が分からない」とか「この処理が何をしているのかよく分からない」等あれば、コメントいただければ、回答します 新語辞書に差し替
Elixirで弱々しいAI#4「文脈から意味を読み取る」 - Qiita
5/8追記→【業務連絡w】altさん、コードの色付け、ありがとうございますm(__)m （この記事は Elixir (その2)とPhoenix Advent Calendar 2016 9日目の記事です） 前回は、CaboChaで文章構成を解析するための準備を行いました 今回は、いよいよAIらしいロジックである、意味解析．．．つまり、文脈から意味を読み取ってアクションする（といってもカンタンなものですが）を作り込んでいきます なお、本コラム中の「Elixirの書き方」については、あまり細かく説明をしていないので、「ここの書き方が分からない」とか「この処理が何をしているのかよく分からない」等あれば、コメントいただければ、回答します 特に今回は、データ変換の書き方が、けっこう難しい領域に入っていきます（＆安易にcaseで書いてしまった(-_-u．．．）ので、遠慮無くご質問いただければと思います
JUMAN(辞書)を使い倒そう(名詞編)。 - Qiita
$ juman | knp -tab 雨が降った # S-ID:1 KNP:4.17-CF1.1 DATE:2017/11/23 SCORE:-5.31832 * 1D <文頭><ガ><助詞><体言><一文字漢字><係:ガ格><区切:0-0><格要素><連用要素><正規化代表表記:雨/あめ?雨/う><主辞代表表記:雨/あめ?雨/う> + 1D <文頭><ガ><助詞><体言><一文字漢字><係:ガ格><区切:0-0><格要素><連用要素><名詞項候補><先行詞候補><正規化代表表記:雨/あめ?雨/う><解析格:ガ> 雨 あめ 雨 名詞 6 普通名詞 1 * 0 * 0 "代表表記:雨/あめ 漢字読み:訓 カテゴリ:抽象物" <代表表記:雨/あめ><漢字読み:訓><カテゴリ:抽象物><正規化代表表記:雨/あめ?雨/う><品曖><ALT-雨-う-雨-6-1-0-0-"代表表記:雨/う 漢字読み:
Elixirで弱々しいAI#5「感情のコーディング」 - Qiita
（この記事は Elixir (その2)とPhoenix Advent Calendar 2016 10日目の記事です） 前回までは、文章解析を中心に作ってきましたが、少し方向性を変え、AIに感情のような「状態」を持たせ、その状態次第で返事を変えるようなロジックを作ってみましょう なお、本コラム中の「Elixirの書き方」については、あまり細かく説明をしていないので、「ここの書き方が分からない」とか「この処理が何をしているのかよく分からない」等あればコメントください 人間の感情について Wikipediaには感情に関するこんな一覧がありますが、人間の感情は、複雑な切り口や分類を持っています 中でも、会話に特化した分類というものがあり、感じたことから、どのようなアクションが行われるか、といった整理もあります こういった情報をヒントに、AIの感情というものを設計してみるとしましょう ちなみにこの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
KNPでの固有表現抽出モデル生成・テスト - Qiita
[環境構築] Python 2.7 で CaboCha を使用して係り受け解析 - Qiita![[環境構築] Python 2.7 で CaboCha を使用して係り受け解析 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c726525cfee70093b239b798e500bc2423bd2b88/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkYwJTJGMjI4NyUyRnByb2ZpbGUtaW1hZ2VzJTJGMTYxNzE1NTEwND9peGxpYj1yYi00LjAuMCZhcj0xJTNBMSZmaXQ9Y3JvcCZtYXNrPWVsbGlwc2UmYmc9RkZGRkZGJmZtPXBuZzMyJnM9MTYwNDZkOTU0MTczYjRlODY1NTNmMWI2NWY4ZWZkOWI%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D7308ceffc19f89531dff370c2b7a8bd6%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCJUU3JTkyJUIwJUU1JUEyJTgzJUU2JUE3JThCJUU3JUFGJTg5JTVEJTIwUHl0aG9uJTIwMi43JTIwJUUzJTgxJUE3JTIwQ2Fib0NoYSUyMCVFMyU4MiU5MiVFNCVCRCVCRiVFNyU5NCVBOCVFMyU4MSU5NyVFMyU4MSVBNiVFNCVCRiU4MiVFMyU4MiU4QSVFNSU4RiU5NyVFMyU4MSU5MSVFOCVBNyVBMyVFNiU5RSU5MCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTM2NWU2M2EwZmIxMWY1YjYxODgxNjMzMDJlZTdiNWVm%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDB0b3JhbyU0MGdpdGh1YiZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTE5NzNlN2VhYjdmYTc4ZTUzOTAwMjcyYmI5Y2EyNGU2%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D71f03b9e59794d6c56ce8642fb27084d)
kuromoji.js（日本語形態素解析）の使い方 - Qiita
neologd 組み込みlucene kuromoji コンパイル環境のdocker化 - Qiita
新型の形態素解析エンジン JUMAN++をRubyから使う - Qiita
Spark StreamingでTwitter構文解析 (Twitter4J利用) - Qiita
自然言語処理をテストする環境を整えるまでの手順① - Qiita
自然言語処理をテストする環境を整えるまでの手順② - Qiita
