Cabochaで活用して自動で「IOB2タグcorpus」学習データを発生 - Qiita
# coding: utf-8 from __future__ import print_function # Only needed for Python 2 import MeCab import CaboCha import sys import os cabocha = CaboCha.Parser("-f1 -n1") m = MeCab.Tagger ("-Ochasen") # For reading from file class getWords(): def readText(self, filename): ###ファイルを展開 with open(filename, 'r', encoding='utf-8') as f: tText = f.read() f.close() return tText # Usage: python training_generat
kuromojiにヌル文字<0x00>を渡すとエラーになる - Qiita
TypeError: Cannot read property 'length' of undefined at ViterbiBuilder.build (~\node_modules\kuromoji\src\viterbi\ViterbiBuilder.js:53:48) at Tokenizer.getLattice (~\node_modules\kuromoji\src\Tokenizer.js:126:33) at Tokenizer.tokenizeForSentence (~\node_modules\kuromoji\src\Tokenizer.js:81:24) at ~\node_modules\kuromo jin\lib\kuromojin.js:60:26 at <anonymous> catchしてスキップすればいいだけなので困ってはいないが、原因調査。 結
Elixirで弱々しいAI#3「MeCab辞書差し替え |> CaboChaモジュールの作成」 - Qiita
（この記事は Elixir (その2)とPhoenix Advent Calendar 2016 8日目の記事です） 前回は、PhoenixでWebアプリ化して、最後に出現した固有名詞をオウム返しする、多少は言われたことを掴む（文字通り「掴む」だけですが…）貧弱AIを作りましたが、「進撃の巨人」を知らないオールドタイプであることが判明しました 今回は、MeCabの辞書を差し替え、貧弱AIを現代っ子に進化させた後、文章の構成を解析するための「CaboCha」をElixirで使えるようにします CaboChaのElixirモジュールは、世に無いようなので、今回作ってみます なお、本コラム中の「Elixirの書き方」については、あまり細かく説明をしていないので、「ここの書き方が分からない」とか「この処理が何をしているのかよく分からない」等あれば、コメントいただければ、回答します 新語辞書に差し替
Elixirで弱々しいAI#4「文脈から意味を読み取る」 - Qiita
5/8追記→【業務連絡w】altさん、コードの色付け、ありがとうございますm(__)m （この記事は Elixir (その2)とPhoenix Advent Calendar 2016 9日目の記事です） 前回は、CaboChaで文章構成を解析するための準備を行いました 今回は、いよいよAIらしいロジックである、意味解析．．．つまり、文脈から意味を読み取ってアクションする（といってもカンタンなものですが）を作り込んでいきます なお、本コラム中の「Elixirの書き方」については、あまり細かく説明をしていないので、「ここの書き方が分からない」とか「この処理が何をしているのかよく分からない」等あれば、コメントいただければ、回答します 特に今回は、データ変換の書き方が、けっこう難しい領域に入っていきます（＆安易にcaseで書いてしまった(-_-u．．．）ので、遠慮無くご質問いただければと思います
JUMAN(辞書)を使い倒そう(名詞編)。 - Qiita
$ juman | knp -tab 雨が降った # S-ID:1 KNP:4.17-CF1.1 DATE:2017/11/23 SCORE:-5.31832 * 1D <文頭><ガ><助詞><体言><一文字漢字><係:ガ格><区切:0-0><格要素><連用要素><正規化代表表記:雨/あめ?雨/う><主辞代表表記:雨/あめ?雨/う> + 1D <文頭><ガ><助詞><体言><一文字漢字><係:ガ格><区切:0-0><格要素><連用要素><名詞項候補><先行詞候補><正規化代表表記:雨/あめ?雨/う><解析格:ガ> 雨 あめ 雨 名詞 6 普通名詞 1 * 0 * 0 "代表表記:雨/あめ 漢字読み:訓 カテゴリ:抽象物" <代表表記:雨/あめ><漢字読み:訓><カテゴリ:抽象物><正規化代表表記:雨/あめ?雨/う><品曖><ALT-雨-う-雨-6-1-0-0-"代表表記:雨/う 漢字読み:
Elixirで弱々しいAI#5「感情のコーディング」 - Qiita
（この記事は Elixir (その2)とPhoenix Advent Calendar 2016 10日目の記事です） 前回までは、文章解析を中心に作ってきましたが、少し方向性を変え、AIに感情のような「状態」を持たせ、その状態次第で返事を変えるようなロジックを作ってみましょう なお、本コラム中の「Elixirの書き方」については、あまり細かく説明をしていないので、「ここの書き方が分からない」とか「この処理が何をしているのかよく分からない」等あればコメントください 人間の感情について Wikipediaには感情に関するこんな一覧がありますが、人間の感情は、複雑な切り口や分類を持っています 中でも、会話に特化した分類というものがあり、感じたことから、どのようなアクションが行われるか、といった整理もあります こういった情報をヒントに、AIの感情というものを設計してみるとしましょう ちなみにこの
Elixirで弱々しいAI#6「くだけた会話も理解する」 - Qiita
（この記事は Elixir (その2)とPhoenix Advent Calendar 2016 11日目の記事です） 前回は、AIに感情のような「状態」を持たせ、その状態次第で返事を変えるようなロジックを作ってみました 最終回である今回は、くだけた会話もそこそこ理解できるようにするための工夫として、幾つかのトリッキーな構文での応答を作り込みます また、Wikipediaから引用するようなロジックも作ってみたいと思います なお、本コラム中の「Elixirの書き方」については、あまり細かく説明をしていないので、「ここの書き方が分からない」とか「この処理が何をしているのかよく分からない」等あればコメントください くだけた会話のパターン ひとまず、以下のような、くだけた会話に対応できるよう、品詞等の構成とリアクションを整理します パターン 品詞等の構成 リアクション
CaboCha をサーバ化して起動時間を節約する - Qiita
概要 構文解析器 CaboCha は、実際の1文あたりの処理時間はそれなりに速い（計算機の処理速度が大幅に向上している現代では）のですが、起動時に大きなモデルファイルを読み込む必要があるため、起動にはそれなりに時間がかかります。対話エンジンなどのレイテンシが重要なプログラムでは、この起動時間が大きなネックとなる場合があります。1回の応答生成の度に、CaboCha を起動し直していたのでは、応答時間が遅くなってテンポの良い対話ができなくなってしまうわけです。 本稿では、CaboCha をサーバとして常駐させておくことにより、起動時間を節約してレイテンシを改善する方法を示します。 本稿の方法は、サーバとクライアントからなります。サーバ側は、指定されたポートで待ち受ける HTTP サーバとして動作します。/cabocha?文字列 という GET リクエストのみに反応して、指定された文字列を Ca
CaboCha/南瓜 Python Document (CaboCha.py) - Qiita
メソッド(引数) -> 返値タイプ 説明 module Cabocha .Chunk(*args, **kwargs) 不明。解析の内部的に利用してるコンストラクタ？ .Chunk_swigregister(int) -> None 不明 .Parser(str) -> CaboCha.Parser コマンドラインオプションを引数にすることができる。 .Parser_swigregister(int) -> None 不明 .Parser_version コマンドラインオプション-v, --versionに対応 cabochaのバージョンを返す。 .Token(*args, **kwargs) 不明。解析の内部的に利用してるコンストラクタ？ .Token_swigregister(int) -> None 不明 .Tree() -> CaboCha.Tree 不明。解析の内部的に利用してる
CaboChaの係り受けをpydotで描いてみる - Qiita
<sentence> <chunk id="0" link="1" rel="D" score="1.990242" head="0" func="1"> <tok id="0" feature="名詞,固有名詞,一般,*,*,*,金融商品取引法,キンユウショウヒントリヒキホウ,キンユーショーヒントリヒキホー">金融商品取引法</tok> <tok id="1" feature="助詞,格助詞,一般,*,*,*,に,ニ,ニ">に</tok> </chunk> <chunk id="1" link="7" rel="D" score="0.627582" head="2" func="3"> <tok id="2" feature="動詞,自立,*,*,五段・カ行イ音便,連用タ接続,基づく,モトヅイ,モトズイ">基づい</tok> <tok id="3" feature="助詞,接続助詞,*
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新型の形態素解析エンジン JUMAN++をRubyから使う - Qiita
Spark StreamingでTwitter構文解析 (Twitter4J利用) - Qiita
自然言語処理をテストする環境を整えるまでの手順① - Qiita
自然言語処理をテストする環境を整えるまでの手順② - Qiita
root権限なしでCaboChaをインストールする． - Qiita
ubuntu16.04LTSにMecabとCaboChaをインストールしてpython3系から使えるようにする - Qiita
cabocha-python のインストールには python-dev / python3-dev / python3.6-dev などが必要 - Qiita
pythonで言語処理するためのライブラリインストール方法（Mecab/Cabocha） - Qiita
libiconv.2.dylibのversionが古いというエラー解決法 - Qiita
MeCabとCaboChaをMacに導入してPythonから使ってみる - Qiita
