日本語の形態素解析以外にもMeCabを使う、またはMeCabの辞書の仕組み - Write and Run
みなさん、和布蕪は好きですか。私は食べたことがありません。 さて、MeCab は優秀な日本語の形態素解析機として有名ですが、みなさんは MeCab をそれ以外の用途で使ったことがありますか。食わず嫌いは感心できませんねぇ。 日本語の形態素解析機としての振る舞いは MeCab のほんの一面に過ぎません。MeCab はいつも読んでる IPAdic が何語の辞書かなんて知りませんし、日本語の文法がハードコードされているわけでもありません。MeCab は、振る舞いの全てを辞書に決められているといっても過言ではないほど、辞書によって様々な「言語」を解析できるようになります。ここでいう「言語」とは、記号の並びの規則、またはその規則に則って並べられた記号列のことだと思ってください。つまり、「辞書」は言語の語彙だけでなく、規則を記述する能力を持っているのです。 MeCab の「辞書」に含まれる情報に軽く触
Raspberry Pi 人工知能ツールをインストール【Python3】 - Qiita
Raspberry Piを利用して人工知能ツール（深層学習ライブラリ・自然言語処理ライブラリなど）を利用する手順をまとめてみます。 環境 RASPBIAN JESSIE WITH PIXEL 4.4 Python 3.4.2 tensorflow-0.12.1 Keras-1.2.1 opencv-3.1.0 MeCab 0.996 mecab-ipadic-neologd gensim-0.13.4.1 Open JTalk Version 1.07 RaspbianとPython3系のインストール Raspbianの最新版を公式ページよりダウンロードしSDカードへ。Python3系は依存関係を簡単にする為apt-getを利用してインストールします。
MeCabで中国語の形態素解析（分かち書き）をしてみる | 100% Pure NEET
2017年10月更新 同じ話題について書きました：「MeCabの中国語分割辞書を作る話」 形態素解析（分かち書き）とは 形態素解析というのは「我是英國人」という文章を入れたときに「我／是／英國／人」という形態素（意味を持つ最小の単位）に分割するものです。ここでは必ずしも形態素に分割することを求めていないので「分かち書き」という言葉を使います。 このエントリを作ろうと思ったのは情報がほとんどなくて自分が非常に苦労したからです。このエントリがあることで多くの人にとって役に立つことを願います。 中国語の形態素解析器はほとんどない 「関口宏司のLuceneブログ」によると 「中国語には（商用のものを除き）形態素解析器が（あまり）ない」という話を聞いたことがあります とのことです。他にも「（2004年度修士論文）JPドメインにおける茶筌を用いた中国語ページの抽出（PDF注意）」を見ると 3.2.1
形態素解析エンジンMeCabにて文章中から短歌を抽出 - inaniwa3's blog
概要 偶然５７５７７になっている文章を短歌としてつぶやく Twitter の bot を作りました。 フクロウが鳴くと明日は晴れるので洗濯物を干せという意味 #tanka ウィキペディア日本語版「フクロウ」より http://t.co/Dm1uHcQdzR— 偶然短歌bot (@g57577) 2014, 12月 31 再帰的アルゴリズムが有効な問題として有名であり #tanka ウィキペディア日本語版「ハノイの塔」より http://t.co/vm2ZqwImKi— 偶然短歌bot (@g57577) 2014, 12月 31 文章はウィキペディア日本語版を対象としました。 作り方 jawiki-latest-pages-articles.xml.bz2 をダウンロード。 WP2TXT で上記を扱いやすい形式に変換。 このスクリプト で５７５７７になっている文を抽出。数時間かけて（遅い）
scikit-learnとgensimでニュース記事を分類する - Qiita
こんにちは、初心者です。 適当なニュース記事があったとして、ニュースのカテゴリを推測するみたいな、よくあるやつをやってみました。Python3.3を使いました。 何をやるの？ データセットはlivedoorニュースコーパスを使いました。 http://www.rondhuit.com/download.html#ldcc クリエイティブ・コモンズライセンスが適用されるニュース記事だけを集めてるそうです。 トピックニュース、Sports Watch、ITライフハック、家電チャンネル 、MOVIE ENTER、独女通信、エスマックス、livedoor HOMME、Peachy というクラスがあります。 データは、1記事1テキストファイルの形式で、クラス別のディレクトリにいっぱい入っています。 これを学習して、未知の文章に対して、お前は独女通信っぽい、お前は家電チャンネルっぽい、みたいに、分類が
RakutenMAによる形態素解析入門 - あんちべ！
概要 本稿はRakutenMAというJavaScriptだけで動く学習器付きの形態素解析器を利用する入門記事です。本記事を読了すると、形態素解析の実行と形態素解析のモデルを作成・更新出来るようになります。 また、本稿ははてな×PC工房との連動企画の補足をするべく書きました。 「あんちべさんと一緒に Rakuten MA で形態素解析」はてなニュース連動企画 第二弾！ : パソコン工房 パソコン工房のPCで遊ぼう第2弾！ あんちべさんと一緒に Rakuten MA で形態素解析 - はてなニュース RakutenMAを利用したエディタ判定器デモ エディタ判定器 :パソコン工房 【やじうまWatch】Emacs派とVim派の対立を煽る「エディタ判定器」が面白いと評判 -INTERNET Watch はじめに 近年、twitterやFacebookなどのSNSやAmazonのレビューなどから得ら
PythonでMeCabの制約付き解析を使う - Qiita
MeCabには制約付き解析という機能がありますが、これについて説明している記事がほとんどなかったので手探りで試してみました。 MeCab 0.996 Python 3.4 mecab-python3 0.7 制約付き解析とは 入力文の一部の形態素情報が既知である、あるいは境界がわかっているときに、 それを満たすように解析する機能です。 たとえば、「にわにはにわにわとりがいる。」という文に対して、「はにわ」の部分が名詞であるとか、「にわとり」の部分が一つの形態素であるというように指定した上で解析することができます。このとき、制約に反する4文字目の「は」が単独で形態素となったり、「にわとり」が「にわ」と「とり」に分割されるような解析候補は排除されます。 制約付き解析 (部分解析)より 形態素境界の制約をつける 文の一部の形態素境界がわかってるときに、その部分を一つの形態素として扱って解析するよ
Python形態素解析ライブラリ3つを徹底比較 - Qiita
はじめに 形態素解析ツールは数多く存在するが，それぞれの特徴を理解した上で利用することが重要である． 今回はPythonから利用できる形態素解析ツール3つを比較してみた． MeCab CRF(Conditional Random Fields)を用いたパラメータ推定 判別精度，実行速度ともに高く，標準的な使い方をするのであればMeCabを使うのが間違いないと思われる．ただしライブラリはちょっと重い． In[1]: import MeCab In[2]: mecab = MeCab.Tagger() In[3]: %time print mecab.parse("りんごは人間の身体にとって大変良い効果があることが立証されています") りんご 名詞,一般,*,*,*,*,りんご,リンゴ,リンゴ は 助詞,係助詞,*,*,*,*,は,ハ,ワ 人間 名詞,一般,*,*,*,*,人間,ニンゲン,ニン
PHP＋MeCab+Vagrantで日本語形態素解析を試す - Qiita
なんか急に形態素解析に興味が湧いたので試してみた。 今回作成したVagrantfileとサンプルコードはgithubで公開しています。 動作環境 MeCab - 形態素解析エンジン C言語による実装 2013/12現在、ver0.996 OSSの形態素解析エンジンの中で一番有名(らしい) Googleの大規模日本語n-gramデータの作成や、OSX・iOSの日本語入力にも利用されている(らしい) php-mecab - MeCabのPHPバインディング 2013/12現在、ver0.5.0 peclとして提供されている PHP 5.5 CentOS 6.4 (on Vagrant) 環境構築 GithubでVagrantfileとサンプルコードを公開していますので、git cloneしてvagrant upすれば、ハイ出来上がり！です。 vagrant-php-mecab $ git cl
livedoor Techブログ : wikipediaのデータや顔文字辞書からmecabのユーザ辞書を作成するフレームワーク
突然ですが，mecabの辞書 (mecab-ipadic) をデフォルトのまま使って，mecab意外と使えねぇとか文句言ってる悪い子はおらんかね？ mecab-ipadic は比較的お行儀のよい日本語をベースに作られているので，そのままでは web上の口語文体のテキストはうまく扱えないことがあります。本来は教師データを用意し，学習させるといった手法を使うのが正攻法だと思いますが，とりあえず名詞を充実させるだけでも実用度はだいぶ上がるでしょう。 人間の話す言語には，動詞の語幹や名詞には日々新しく語彙が増えるけど，助詞や活用のルールは簡単には変化しない，という特性があります。特に「いま最もつぶやかれている単語ランキング」といった集計をするような場合は，名詞の範囲の切り出しさえ間違えなければそれなりの結果を出せることも多いのです。 ただ，辞書への単語追加はここにある通り簡単にできるのですが，単語
mecabのユーザ辞書でwikipediaとhatenaキーワードを利用する - てんぷろぐ
（インストールの仕方などはほかの人がいっぱい説明してくれているので割愛） どうやら標準の辞書だけだと限界があるようので、以下の記事などを参考に 「wikipediaとhatenaキーワードをユーザ辞書として利用する」 ということをやってみました。 http://d.hatena.ne.jp/code46/20090531/p1 http://www.mwsoft.jp/programming/munou/mecab_hatena.html http://deepneko.dyndns.org/kokotech/2009/06/mecabwikipedia.html 作ったのは以下の2つのスクリプト。 webからデータを取ってきて、csv作成コマンド、辞書作成コマンドを呼び出すshell (convWebWordsToDic.sh) #!/bin/sh CSV=../data/words.c
mecab辞書にwikipediaのタイトル名を追加 - kokotech
wikipediaのタイトルを追加しようとしたらいくつかハマったので。 環境はFedora10。 まずはmecabのインストール。 # yum install mecab* とりあえずこれだけでおもむろに形態素解析してみる。 # echo けいおん！のせいでtwitter界隈にギター買うとか宣言してる奴が増えた | mecab けい 名詞,一般,*,*,*,*,けい,ケイ,ケイ おん 名詞,一般,*,*,*,*,おん,オン,オン ！ 記号,一般,*,*,*,*,！,！,！ の 助詞,連体化,*,*,*,*,の,ノ,ノ せい 名詞,非自立,一般,*,*,*,せい,セイ,セイ で 助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ t * w * i * t * t * e
MeCab: 単語の追加方法
$Id: dic.html 161 2008-02-03 09:58:46Z taku-ku $; 概要 辞書への単語追加には, 二つの方法があります. システム辞書への追加 ユーザ辞書への追加 システム辞書への追加 辞書更新が頻繁でないときや, 解析速度を落としたくない時は, 直接 システム辞書を変更するのがよいでしょう. mecab-ipadic があるディレクトリに移動 foo.csv というファイルを作成 (拡張子が .csv なら何でも可) foo.csv に単語を追加 辞書の再コンパイル + インストール % /usr/local/libexec/mecab/mecab-dict-index -f euc-jp -t euc-jp % su # make install -f charset: CSVの文字コード -t charset: バイナリ辞書の文字コード 例: u
WindowsでMeCab Pythonを使う - 人工知能に関する断創録
日本語の文章を単語に分割するには形態素解析を使います。日本語の形態素解析には、ChaSen、MeCab、Yahoo!形態素解析などがあります。ナイーブベイズを用いたブログ記事の自動分類（2010/7/3）でMeCabをPythonから使う方法を簡単にまとめましたが、MeCabはよく使うので再度まとめ直して独立したエントリにしました。Yahoo!形態素解析の使い方は、Yahoo!形態素解析API（2009/4/15）で書きました。 Windowsへの導入方法 MeCabは高性能な形態素解析モジュールでPython、 Ruby、Perl、Javaなどさまざまな言語から使えます。Mac OS XとLinuxでは簡単にコンパイルしてインストールができるのですが、WindowsではMinGWやVisual Studioのインストール、コードの修正が必要でかなり面倒くさい。そこで、Pythonモジュー
HugeDomains.com
Captcha security check srengine.com is for sale Please prove you're not a robot View Price Processing
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新形態素解析器JUMAN++を触ってみたけど思ったより高精度でMeCabから乗り換えようかと思った話
本当は怖いWikipedia辞書
Mecabのインストールメモ - Qiita
Pure Go で辞書同梱な形態素解析器 kagome を公開してみました - Qiita
日本語形態素解析の初歩 - あらびき日記
