GolangでMeCab+NEologdが使えるDockerイメージ作成してみた - Qiita
はじめに 社内のサーバーサイド公式言語であるGolangで、 形態素解析ライブラリのMeCab+NEologdを試したいな〜 という情熱が燃えたぎったので、挑戦してみました。 Dockerfile、初体験であります。(ドキドキ) TL;DR main.goの用意 docker-compose.ymlの用意 Dockerfileの作成 startup.shの作成 main.go go ginのフレームワークを使って、REST APIを作成し、テキストを受け取るとともにMeCabによる形態素解析の結果を返すmain.goです。 （※エディタはgolandを使いました。Go Modulesとかの管理が楽） package main import ( "fmt" "log" "net/http" mecab "github.com/bluele/mecab-golang" "github.com/
MeCabをブーストさせよう - Qiita
はじめに MeCabとは日本語の形態素解析器をいいます。ここで、形態素というのは言語で意味を持つ最小単位のことです。分割された単語をベクトル化したり、各語彙の頻度を調べたりするために、最小単位に分割するモチベーションが生じます。 そもそもなぜ、形態素解析なんかやるの？っていう動機については、http://qiita.com/Hironsan/items/2466fe0f344115aff177 とかに書かれている通り、(上記の記事では、単語の分割が形態素解析に当たります)、分割された単語をベクトル化したり、各語彙の頻度を調べたりするためです。今回は、MeCabを用いて、できるだけ、精度高く分かち書きできるように頑張ります。1 追記) もう一つのMecabをブーストさせよう(Google Search Console編: https://qiita.com/knknkn1162/items/
Word2VecをPythonでやってみる | Foolean – 備忘録風雑記ブログ
2016-08-27自然言語処理Python, Word2Vec ちょっと前から、自然言語処理分野を騒がせている「Word2Vec」という手法があります。これは、文章(単語の羅列)から単語の前後関係やらを用いて、単語のベクトルを学習しようと言うものです(たぶん)。 このベクトルというのが面白いもので、ベクトル間の距離が小さ(内積が大き)ければ、その二つの言葉は近い存在(ex. 犬と猫 や JPGとPNG など)ということになります。さらに、ベクトルであるがゆえに、それらの足し算・引き算ができます。このことが意味するのは･･･。 突然ですが、あなたは以下の式の「？」には何が当てはまると思いますか？ 王様 – 男性 + 女性 = ? 初見では、いまいちパッとこないかもしれませんが、この式が一番有名な例となっております。で、この式は「女王」がいい感じに当てはまるはずです。おまけに、もう一つ例を挙
単語をベクトル化するword2vec(gensim)を使い、指定した二単語間の関連度を算出する - 文系プログラマー
word2vec 2014年から2015年辺りに流行った、単語をベクトル化して評価する手法。 有名なのは、 king – man + woman = queen 学習データとなるコーパスを準備する 無料かつ簡単に手に入るWikipediaのdumpファイルから持ってきます。 https://dumps.wikimedia.org/jawiki/latest/ の jawiki-latest-pages-articles.xml.bz2 をダウンロードします。 xmlファイルのままでは使えないので、 これをwp2txtを使ってplain.txtに変換します: $ gem install wp2txt $ wp2txt jawiki-latest-pages-articles.xml.bz2 ファイルが大量に作成されるので、次のように連結します: $ cat jawiki-latest-pag
word2vecを使って、日本語wikipediaのデータを学習する - Qiita
環境 OS X El Capitan 10.11.5 MacBook Pro (Retina 13-inch、Early 2015) [2016/8/1現在] MeCab, mecab-ipadic-NEologd のインストール MeCabはオープンソースの日本語形態素解析ソフトです。 mecab-ipadic-neologdは、Web上のリソースから新しい言葉を登録したMecab用の辞書のことです。さらに、定期的に新しい言葉をアップデートするので、最新の言葉を正しく形態素解析をすることができます。 必要なライブラリをインストール brew install mecab mecab-ipadic git curl xz git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git cd mecab-ipadi
[O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました
MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました Tweet [NLP] 日本語の文書を機械的に処理しようと思った時に、ほとんどの人が MeCabとIPADIC(IPA辞書)の両方、または、どちらかを使うことになります。 IPADICはとてもよく出来ていますが、更新されないまま年月が過ぎているので、例えば2015年3月上旬に急に流行ったような言葉は収録していません。そのため、今日生まれたような新しい文書(例、Apple Watch発売)を解析する時に困ります。困らない人もいますけど、僕は困ります。 その課題に対処するために、日本全国津々浦々、自然言語処理に関わる全ての人は独自にMeCabの新語辞書を作って対応しているわけです。その際に元データとして使われることが多いのは Wikipedia 日本語版やはてなキーワードなどです。 困ったことに、新語辞書を生成
MeCabのipadic辞書への単語追加(ドメイン適応) - 気ままなブログ
mecab-ipadicのCRF学習モデルが追加されたことにより、辞書に単語を追加しやすくなったようだ。 http://sourceforge.jp/projects/mecab/lists/archive/users/2012-June/000456.html 以前のMeCabの場合、単語追加をする場合は、追加したい単語と似ている単語のコスト値からなんとなく予測して追加する必要があって、結構やりにくかった。なので、どのぐらいやりやすくなったかを早速試してみた。 まず、自分のローカルにMeCabをインストールした。 また、ipadicのモデルファイルしかないようなので、ipadic辞書を入手する。 http://code.google.com/p/mecab/downloads/detail?name=mecab-0.994.tar.gz&can=2&q= http://code.goog
Mozcの辞書をMeCabで使う - めもちょう
MozcとMeCabの辞書って似てるところあるなーって思ったので、Mozc辞書をMeCab辞書に変換するスクリプトを書きました。 https://github.com/ikegami-yukino/NLP/blob/master/dic/mozc2mecabdic.py MozcはMeCabよりも文脈IDが細分化されていますが、そのままだと問題が起こりそうな気配がするので、MeCabと共通している文脈IDの単語だけを処理します。 変換結果はこんな感じです。 アクセス制御,1356,1356,5044,名詞,サ変接続,*,*,*,*,アクセス制御,アクセスセイギョ,アクセスセイギョ,MOZC 日本お笑い,1366,1366,5987,名詞,固有名詞,地域,国,*,*,日本お笑い,ニッポンオワライ,ニッポンオワライ,MOZC 終電時間,1358,1358,6131,名詞,一般,*,*,*,*,
テキスト・マイニング/MacでMeCabを使う - とうごろうぃき
2014-07-27 (日) 07:52:15 (3719d) | Topic path: Top / テキスト・マイニング / MacでMeCabを使う はじめに † 「MeCab」は京都大学とNTTコミュニケーション科学基礎研究所で共同開発された形態素解析ツールです． 「すもももももももものうち」という文を「すもも/も/もも/も/もも/の/うち」というように分かち書きし，それぞれの品詞を調べることができます． Mac OS X 10.9とMeCab 0.996とNAIST-jdic 0.6.3b-20111013で確認しました． ↑ 必要なもの † 辞書 make gcc MeCabには辞書が付いていません——というか，自分で解析用の辞書を用意できます． 一般的な辞書で構わない人は，MaCabと一緒に配布されている辞書をダウンロードして使うことができます． ここでは，MeCabのサイト
Mecabのインストールと辞書のUTF-8化 - 森薫の日記
Linux | 23:10 | UbuntuのMecab環境を整備します。まず、Mecabをパッケージからインストールします。 $ sudo apt-get install mecab IPA辞書のインストールデフォルトではJUMAN辞書を使って形態素解析をしますが、IPA辞書の方が精度が良いようです。http://d.hatena.ne.jp/mir/20070209/p3IPA辞書は以下のコマンドでインストールします。 $ sudo apt-get install mecab-ipadic IPA辞書をUTF-8に変換パッケージからインストールされるIPA辞書はEUC-JPで構築されているため、Ubuntuの文字コードをUTF-8に設定している場合はいろいろと不便です。以下のコマンドでIPA辞書をUTF-8に変換できます。 $ sudo /usr/lib/mecab/mecab-dic
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Bitbucket
http://fukushimu.blog.shinobi.jp/mecab/-mecab-%20mecab%E8%BE%9E%E6%9B%B8%E3%81%ABwikipedia%E3%81%AE%E3%82%BF%E3%82%A4%E3%83%88%E3%83%AB%E3%83%AA%E3%82%B9%E3%83%88%E3%82%92%E8%BF%BD%E5%8A%A0%20-wikipedia--%E3%81%AF%E3%81%A6%E3%81%AA%E3%82%AD%E3%83%BC%E3%83