MeCabをブーストさせよう - Qiita
はじめに MeCabとは日本語の形態素解析器をいいます。ここで、形態素というのは言語で意味を持つ最小単位のことです。分割された単語をベクトル化したり、各語彙の頻度を調べたりするために、最小単位に分割するモチベーションが生じます。 そもそもなぜ、形態素解析なんかやるの？っていう動機については、http://qiita.com/Hironsan/items/2466fe0f344115aff177 とかに書かれている通り、(上記の記事では、単語の分割が形態素解析に当たります)、分割された単語をベクトル化したり、各語彙の頻度を調べたりするためです。今回は、MeCabを用いて、できるだけ、精度高く分かち書きできるように頑張ります。1 追記) もう一つのMecabをブーストさせよう(Google Search Console編: https://qiita.com/knknkn1162/items/
新形態素解析器JUMAN++を触ってみたけど思ったより高精度でMeCabから乗り換えようかと思った話
JUMAN++は最近黒橋・河原研究室から発表された、JUMANの後継となる形態素解析器です。 これまでの形態素解析器と比べて違うのは、RNN言語モデルを用いて意味的自然さを考慮する、ニューラルネットワークを利用した形態素解析器となっている点です。 速度や語彙等の課題はあるものの、解析能力自体はMeCab以上なので、導入方法と共に触ってみた所感を述べてみます。 導入方法 前提 OS X Yosemite 10.10.5 VirtualBox 5.1.6 Vagrant 1.8.6 インストール vagrant boxは bento/ubuntu-16.04を使用します。 推奨はCentOSですが、自分の環境ではCentOSではビルドに失敗しました。 また、OSはubuntu16.04でもboxによっては上手くインストールすることができないため、bentoのboxがおすすめです。 $ vagr
PythonでMeCab + mecab-ipadic-neologdを使うまで | mwSoft
PythonでMeCab + mecab-ipadic-neologdを使うまで 概要 MeCabをPythonから使う用事があったので、入れる手順をメモしておく。 mecabのバージョンは0.996。Pythonは3.5。Linuxで実行する想定。 MeCabの導入 mecabをダウンロードする http://taku910.github.io/mecab/#download 解凍 $ tar xvf mecab-*.tar.gz 入る $ cd mecab-* MeCabをインストールする（気分的にHOMEの下に入れる。あとutf-8を指定しておく） $ ./configure --prefix=$HOME/local --with-charset=utf8 --enable-utf8-only $ make $ make install 入れる場所を変えたので.bashrcあたりに下
モダンなRによるテキスト解析 - Qiita
概要 すぐに使えるKNBCコーパスを対象に、モダンなRの書き方でテキスト解析したときのメモです。TF-IDFや共起頻度（ネットワーク作成）、LDAやGloVeまでをパッケージで実行しました。 - 解析済みブログコーパス 定義・設定 最初に処理で利用するライブラリの読み込みや定数・関数の定義。 library(pacman) library(widyr) # 読み込むパッケージ SET_LOAD_PACKAGE <- c("tidyverse", "Rcpp", "chunked", "tidytext", "visNetwork", "textmineR", "Matrix", "topicmodels", "LDAvis", "text2vec") # コーパスファイルの設定 SET_CORPUS_FILE <- list( DOWNLOAD_URL = "http://nlp.ist.
[O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました
MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました Tweet [NLP] 日本語の文書を機械的に処理しようと思った時に、ほとんどの人が MeCabとIPADIC(IPA辞書)の両方、または、どちらかを使うことになります。 IPADICはとてもよく出来ていますが、更新されないまま年月が過ぎているので、例えば2015年3月上旬に急に流行ったような言葉は収録していません。そのため、今日生まれたような新しい文書(例、Apple Watch発売)を解析する時に困ります。困らない人もいますけど、僕は困ります。 その課題に対処するために、日本全国津々浦々、自然言語処理に関わる全ての人は独自にMeCabの新語辞書を作って対応しているわけです。その際に元データとして使われることが多いのは Wikipedia 日本語版やはてなキーワードなどです。 困ったことに、新語辞書を生成
連続した数字を1つのトークンにする - Solr, Python, MacBook Air in Shinagawa Seaside
Mecab で連続した数字をトークナイズするとだいたい1文字ずつトークナイズされます。連接コストの計算結果で決まるので100%の確率ではありませんが。 $ mecab bmw318 bmw 名詞,固有名詞,組織,*,*,*,* 3 名詞,数,*,*,*,*,3,サン,サン,, 1 名詞,数,*,*,*,*,1,イチ,イチ,, 8 名詞,数,*,*,*,*,8,ハチ,ハチ,, EOS 連続した数字を1トークンとする場合には、数字間の連接コストを小さくします。 $ su $ cd /usr/local/lib/mecab/dic/naist-jdic $ vi unk.def NUMERIC,1367,1367,0,名詞,数,*,*,*,*,* <- 4カラム目の値を 0 にする $ /usr/local/libexec/mecab/mecab-dict-index -c=utf-8 <- 辞
テキストからWikipedia見出し語を抽出 - 人工知能に関する断創録
WindowsでMeCab Pythonを使う（2010/11/21）のつづきです。形態素解析を使ってると単語が変なところで切れていたり、未知語が多かったりと不満点が出てきます。また、応用によっては、形態素ではなく、複合語単位で抽出したいということもしばしばあります。たとえば、 人工知能は、コンピュータに人間と同様の知能を実現させようという試み、あるいはそのための一連の基礎技術をさす。 人工知能という名前は1956年にダートマス会議でジョン・マッカーシーにより命名された。 現在では、機械学習、自然言語処理、パターン認識などの研究分野がある。（Wikipedia『人工知能』を改変）という文章をMeCabで形態素解析して名詞のみ取り出すと、 人工 知能 コンピュータ 人間 同様 知能 実現 試み ため 一連 基礎 技術 人工 知能 名前 1956 年 ダート マス 会議 ジョン マッカーシー
毎日ぴよぴよ 【卒研】MeCab辞書にはてなキーワードとwikipediaタイトルを登録
覚え書きみたいな感じ。 Twitterから取得したTLデータをMeCabの形態素解析にかけると、大抵の固有名詞は単語がバラバラになってしまいます。 バラバラになってしまった「嵐にしやがれ」 これを、固有名詞と判断させるためにどうしたらいいのか。 はてなキーワードとwikipediaのタイトルをMeCabの辞書にぶっこんであげればよし。 ということでがんばってみた。 【主な参考ページ様】 MeCabの辞書をはてなキーワードとWikipediaで鍛える mecab辞書にwikipediaのタイトル名を追加 【はてなキーワード編】 ここからはてなダイアリーキーワードふりがなリストをダウンロード。(keywordlist_furigana.csv) キーワードIDをついてない方を選んだ。 で、このcsvファイルをMeCabの辞書用のcsvに変換しなければならない。 例えばこんな感じ。 嵐にしやがれ
MeCabの辞書をはてなキーワードで充実させるのにものすごい苦労した話 - 驚異のアニヲタ社会復帰の予備
MeCabの辞書を充実させて、名詞、特に人名が途中でぶった切られる事態を回避したいという話。 MeCabの辞書にはてなキーワードを追加しようを参考に、はてなキーワードの登録単語ライブラリをパクってきてMeCabユーザー辞書に入れる。 データはHatena Developer Centerから入手できる。 やることは上記リンクを参照するが、引っかかったところが デフォルト辞書の選択 sudo vi /usr/local/etc/mecabrc viコマンド r か R で編集モードに入って、編集終わったら ESC して :wq で保存して終了。 辞書の更新 createDict.py というスクリプトを使っているが、これが csv ファイルを作るときに、単語の中にカンマが入っているものがあるようで、これのせいで出来上がった csv ファイルの列数が乱れているので、 context_id.cp
MeCabの辞書にはてなキーワードを追加しよう - 不可視点
MeCabは形態素解析のためのソフトウェアです。日本語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日本語や、正しく書かれた日本語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般的な話ですが以下のような認識が一般的かと思われます。 というのも、一番広く使われているであろう自然言語処理技術は形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解
MeCab で UniDic 辞書を使ってみる / 桃缶食べたい。
MeCab で UniDic 辞書を使ってみる MeCab で使える形態素解析用の辞書は、IPA 辞書の他にもいくつか公開されています。そのひとつであるUniDic は、IPA 辞書よりも個々の単語を詳細に分類したもので、分割した形態素が文中で果たす役割をより精密に検出することができます。UniDic はメンテナンスが頻繁に行われているようで、最新版は 1 ヶ月ほど前の 2013/3/14 にリリースされた 2.1.2 になります。ライセンス形態は GPL、LGPL、BSD License のトリプルライセンスとなっていて、その点でも、エンジニアにとっても採用しやすい辞書となっています。 今回はこの UniDic を実際にビルドし、MeCab から使ってみることと、辞書の再学習までを試してみました。 MeCab で UniDic を使うUniDic はバイナリ辞書も配布されていますが、ここ
Windowsにmecab-pythonを導入 - 個人的まとめ
個人的まとめ 趣味なこと興味あることのメモ代わりです。 トップページページ一覧メンバー編集 Windowsにmecab-pythonを導入 最終更新： suezou2121 2013年05月06日(月) 19:12:53履歴 こちらのページがとても分かりやすくまとめられているので、これをベースにまとめてみます。 うおっ - [Python][NLP]Windows7 32bit + Python 2.7.3 で MeCab 0.994の Pythonバインディングをインストール http://d.hatena.ne.jp/factal/20120926 Windows7 32bit ＋ Python 2.7.4 で MeCab 0.996 の Python バインディングをインストール Python 2.7.4 のインストール 公式ページからインストーラをダウンロードして、インストールする
完成版？Python-MeCabを用いた複合語によるわかちがき | @DataSci
先日のエントリ(複合語によるわかちがきとその重要性)で複合語の重要性について書いた訳ですが，孤独な一人ハッカソンの成果としてそれなりに実用的なものが出来たので改めてご紹介です． 通常のMeCabによるわかちがきがこちら 計算 機 科学 において 、 第 一 級 関数 （ だい いっき ゅうかんすう 、 英 : first - class function 、 ファーストクラスファンクション ）[ 1 ] と は 、 関数 を 第 一 級 オブジェクト として 扱う こと の できる プログラミング 言語 の 性質 、 または その よう な 関数 の こと で ある 。 型のある 言語 で は 、 関数 型 （ かん すう がた 、 英 : function type ） という 型 の 値 と なる 。 具体 的 に は プログラム の 実行 時 に 生成 さ れ 、 データ 構造 に
mecab-pythonをPython(amd64)にインストールする覚書 - きまぐれ猫のゆりかご
mecab-pythonをwindowsで動かそうと思って苦戦してから早数年。 今回再び苦戦したので、忘れない内に手順を覚書きしておこうと思います。 今回挑戦した環境は下記の通り。 Windows 7 64bit MeCab 0.996 Python 2.6.6 amd64 security-fix当てろって・・・？ ソースからコンパイルは面倒くさくって放ってるんだ・・・・・・。 主に参考にしたのはWindowsにmecab-pythonを導入及びWindows での mecab 0.993 python バインディングモジュール（32/64ビット）の作り方メモです。偉大な先人達に心から感謝します。 PythonとMeCabのインストール Python及びMeCabはバイナリが配布されてますので、バイナリを落としてきて、インストールしましょう。 Python2.6.6はココ、MeCab0.
MeCabとPythonで遊んでみたメモ - Λάδι Βιώσας
MeCab http://mecab.sourceforge.jp/ ココからインストール。MeCabには Python binding っていう便利なのがあるんだけど、Winだとどうも上手くコンパイル出来ない。あれこれ調べたところ、ココに、ctypes*1を利用したMeCabの使い方が書いてあったので、これを使うことにする。 ctypes ココからダウンロード。0.9.9.3はうまく動かなかったので、前のバージョンの0.9.6を使う。とりあえずこれでPythonからMeCabを使えるようになりました。 マルコフ連鎖 で、、、マルコフ連鎖アルゴリズムの説明やらサンプルが、ココとかココらへんにあったので参考にして、Pythonで書いてみた。 # -*- coding: sjis -*- from ctypes import * def sparse(s): # ライブラリの場所を指定 lib
形態素解析エンジンMeCab-pythonを使ってみた． - Subspace at Life
これから自然言語処理をかじっていこうと思うので， 今回は日本語を単語ごとに分解してくれる「形態素解析エンジン」をPythonで使ってみました． フリーで使える形態素解析エンジンとしては， Yahoo!JapanのAPIとMeCab（めかぶ）というもの が一般的らしく，今回はオフラインでも使えるMeCabを利用します． Windowsにおけるmecab-pythonのインストール方法 MeCabの導入はココを参考にさせてもらいました． 具体的には以下の手順で行います． まずmecab-0.98.exeをインストール．（辞書の形式はutf-8を選択） そしてlibmecab-1.dll、MeCab.py、MeCab.pydをパッケージフォルダにコピーする． [注]パッケージフォルダはPython2.6ならC:\Python26\Lib\site-packages テストコード #coding:
MeCabをPythonから使う注意点とか
日本語の文章をコンピュータで色々いじるときに， 必ずと言っていいほどよく使うのが形態素解析器． スペースなどの明示的な区切りの無い日本語を単語に分割してくれるツールです． 中でもMeCabが非常に有名で，さまざまなところで使われています． MeCabはいろいろな言語から呼び出すことができます． 自然言語処理の分野ではPythonが人気のようですね．僕も使っています． しかし，MeCabをPythonから使う場合，注意する点がいくつかあります． そこにハマっている後輩を見かけたので，文章として残しておくことにします． Python2系が対象です(3系はよくわからない)． 注意するのは以下の二点です． MeCabに渡す文字列はencode，戻ってきた文字列はdecodeする MeCabに渡した文字列は必ず変数に入れておく EncodeとDecode Python2系の文字列には，バイト列として
WindowsでMeCab Pythonを使う - 人工知能に関する断創録
日本語の文章を単語に分割するには形態素解析を使います。日本語の形態素解析には、ChaSen、MeCab、Yahoo!形態素解析などがあります。ナイーブベイズを用いたブログ記事の自動分類（2010/7/3）でMeCabをPythonから使う方法を簡単にまとめましたが、MeCabはよく使うので再度まとめ直して独立したエントリにしました。Yahoo!形態素解析の使い方は、Yahoo!形態素解析API（2009/4/15）で書きました。 Windowsへの導入方法 MeCabは高性能な形態素解析モジュールでPython、 Ruby、Perl、Javaなどさまざまな言語から使えます。Mac OS XとLinuxでは簡単にコンパイルしてインストールができるのですが、WindowsではMinGWやVisual Studioのインストール、コードの修正が必要でかなり面倒くさい。そこで、Pythonモジュー
word2vec ～ モデル仕様の詳細調査 と モデルのパラメータ設定ケース別 意味「類似度」計算結果の比較・考察（①モデル次元数 ②window幅を変えて挙動を確認）～ コーパス事例： 和文 学術論文 （西田幾多郎）『善の研究』 - Qiita
まず最初に、word2vec の仕様 を ① Mikolov 氏ほか共著論文 と ② O'Reilly本 から適宜 転載しつつ確認 Mikolov 氏 他 word2vec 論文 を読み解くと、、、以下の知見が掲載されている Mikolov ほか共著 （ 論文 ）"Efficient Estimation of Word Representation in Vector Space" ① コーパスの単語数が多けれは多いほど、モデルの次元数が大きければ大きいほど、意味演算の正確性の精度は高まる。（モデルの次元数が大きい場合は、コーパスサイズも相応にないと精度は落ちる） ② 文法的 （ Syntactic ）には、 NNLM が、意味的 （ Semantic ） には Skip-gram が精度が高い ③ コーパスのサイズが2倍になれば、モデルの次元数も2倍にするべきである （ 以下、Miko
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mecabの辞書に新しい単語を登録する方法