Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
tl;dr Task: SSの本文から原作(10作品)を推定(教師あり学習。Classification) Feature Engineering: 本文内の単語 + TF-IDF Classifier: SVM, Logistic Regression, Random Forest Accuracy: 98.5% Jupyter Notebook(GitHub上) 背景 最近RailsやNode.jsを書くサーバエンジニアから、広告配信を最適化する機械学習エンジニアへと転身しつつありまして、日々Courseraのビデオを見たり論文を読んだりしています。 サーバエンジニア時代も当時のスキルを活かすために趣味でアプリを作ったりしていたので、今回は最近身につけた機械学習スキルを使って、趣味レベルで少し遊んでみることにしました。 といっても、すでにやり尽くされているMNIST(手書き文字の数字)
Travis CI には MeCab が入っていない Travis CI の box には最初 MeCab が入っていません。 こういう場合、普通なら .travis.yml の before_install を用いて以下のように MeCab をインストールするでしょう。 しかし、Travis の apt-get で入ってくる MeCab は古い (0.98) ので、例えば natto gem を使うようなアプリケーションが実行できません。 これでは Travis が赤くなって困るので、何とかして最新版 (2014/05/31 現在 0.996) を入れたいところです。 解決策: apt-get を使わず直にインストールする 最新の MeCab ソースコードを公式 Google Code から落としてきて、自家ビルド & インストールすれば良いのです。 基本的に公式インストールガイドの通り
$ git push heroku master Counting objects: 5, done. Delta compression using up to 2 threads. Compressing objects: 100% (5/5), done. Writing objects: 100% (5/5), 562 bytes | 0 bytes/s, done. Total 5 (delta 3), reused 0 (delta 0) remote: Compressing source files... done. remote: Building source: remote: remote: -----> Fetching set buildpack https://github.com/heroku/heroku-buildpack-multi... done re
phpでMecab使ってみた 案件でmecab使うことあったから、phpで扱うためのインスト備忘録です。 ちなみにphpバージョンは5.6です。 index mecabインストール 辞書のインストール php-mecabのインストール mecabインストール mecab本体のインストール方法です 参考URL http://qiita.com/Keech/items/3b51a60c89b9e803b256 手順 ##### rootで作業 cd /usr/local/src/ wget http://mecab.googlecode.com/files/mecab-0.996.tar.gz tar xvf mecab-0.996.tar.gz cd /usr/local/src/mecab-0.996/ ./configure make make check make install
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? $ cat text.txt | mecab-all IPADIC :私大 ファン な ん です JUMAN :私大 ファン な んです JUMANDIC:私大 ファン な んです JUMANPP :私大 ファン な んです KYTEA :私大 ファン な ん で す NEOLOG :私大 ファン な ん です SNOW :私大ファン な ん です UNIDIC :私大 ファン な ん です IPADIC :すもも も もも も もも の うち JUMAN :すもも も もも も もも の うち JUMANDIC:すもも も もも も
最近話題のMeCabの辞書mecab-ipadic-NEologdを使ってみたいと思いユーザー辞書に追加したので、その方法をまとめます。 mecab-ipadic-NEologdの作者の方がSlideShareでインストール方法を紹介していますが、システム辞書に入るのかユーザー辞書に入るのかを見るにはシェルの中身を読むのが面倒だったので手動でユーザー辞書に追加します。 http://www.slideshare.net/overlast/mecab-ipadicneologdtokyordf-46497035 このブログを参考にしました。(このブログではシステム辞書に登録) https://blog.apar.jp/linux/2796/ あとは、MeCab公式のやり方を参考にしました。 http://taku910.github.io/mecab/dic.html 実際の手順 まずはgi
電子書籍「人工知能ポルノ」出版 人工知能ポルノ: コンピュータが書いたエロい文章 本記事の生成結果を電子書籍にしました。200~400文字程度の文章を100編掲載しています。 ご興味のある方はどうぞ! 自動生成してえ こちらの記事に感銘を受けた。自分も何かやってみたいと思ったが、DeepLearningを用いての自動生成はハードルが高く、まずはマルコフ連鎖を使って自動生成してみようと思った。 【エヴァンゲリオン】アスカっぽいセリフをDeepLearningで自動生成してみる そうだ!AVだ! 自動生成にはデータが必要。自分はアニメがわからんので、エヴァンゲリオンの真似をしてもテンションがあがらない。自分のテンションがあがるものは?...すぐ思いついたのがAVの紹介文だ。 AV紹介文のメリット 120字程度でデータが多そう? タイトルと比べれば生成する文にバリエーションが出そう 人を興奮させ
OS Xだからってわけじゃないけどハマった。 ミソは、 cpanに上がってるバージョン(0.20013)は古いのでgithubから落とす。 homebrewで入れたmecab-ipadicを使う場合、文字コードをデフォルトから変更する必要があるので--interactiveで実行する って辺り。 % mecab --version mecab of 0.994 % brew install mecab % brew install mecab-ipadic % git clone https://github.com/lestrrat/Text-MeCab.git % cd Text-MeCab % cpanm --interactive . … Encoding of your mecab dictionary? (shift_jis, euc-jp, utf-8) [euc-jp] u
まずはmecab-rubyを使うためにmecab関連のパッケージを検索 $ brew search mecab mecab mecab-ipadic 調べてみると上で出てきた2つは必要らしいので2つともインストール $ brew install mecab $ brew install mecab-ipadic 以上でterminal上でmecabは使えるようになった。 $ mecab 何て日だっ! 何 名詞,代名詞,一般,,,,何,ナニ,ナニ て 助詞,格助詞,連語,,,,て,テ,テ 日 名詞,非自立,副詞可能,,,,日,ヒ,ヒ だっ 助動詞,,,,特殊・ダ,連用タ接続,だ,ダッ,ダッ ! 記号,一般,,,,,!,!,! EOS 次にrubyで使えるようにmecab-rubyをインストールします。 rubyのversion確認 $ ruby -v ruby 1.9.3p362 (2012
この記事は、zariganitoshさんの記事を基に、実際に私が試した内容をまとめただけのものです。 MeCabとは オープンソースの日本語の形態素解析エンジンです。 日本語の文章を分析して、名詞を取り出してくれたりするすごいやつです。 MeCabとsaykanaを組み合わせて使えば、漢字混じりの日本語を喋らせる事が出来るようになります。 さらに、Node.jsでTwitterライムラインを監視し、更新された内容をMeCabで解析→sayknaで出力させて、日本語のツイートを喋らせる事もできます。 前提条件 Mac : 10.8.2 MeCab : 0.996 mecab-0.996.tar.gz IPA 辞書 : 2.7.0 mecab-ipadic-2.7.0-20070801.tar.gz ダウンロード MeCabとIPA辞書を上のリンクからダウンロードして、適当なディレクトリにおき
背景 macでmecab-rubyをビルドせずにインストールするでは、mecabの基本的な言語バインディングを用いました。 このバインディングはSWIGを用いてMeCabと密に結合しているため、mecab gemのバージョンとMeCabのバージョンを合わせる必要がありました。 今回はmecab gem以外の選択肢を使ってみます。 納豆 今回はrubyからmecabを利用するためにnattoというgemを使用します。 nattoは、FFI(foreign function interface:外部関数インタフェース)を使用して、RubyとMeCabを繋ぐgemです。 nattoはC言語拡張ではないためコンパイルは必要ありません。 そのためCRuby(MRI / YARV)でもJRuby(JVM)でも実行できる利点があります。 (jruby 1.7.4 (1.9.3p392) 2013-05-
Python3からMeCabを使う方法がWebを調べても見つけられなかったので自力で何とかした。ここに使えるようにするまでのメモをまとめます。 問題と解決方法 以下の問題が発生していました。 mecab-python: (GoogleCodeから落としてきたmecab-pythonのsetup.pyをpython3からbuild出来ない。) mecab: (初回のパース処理でnode.surfaceが空になる現象が発生する。) これに対してGoogleCodeのMeCabページにあるIssueのうち2件の修正を適用する事で解決させます。Python3への対応はmecab-pythonの修正のみで可能です。しかし、MeCab本体のバグを修正しなければPython上で使った時にパース処理でバグります。そのため、MeCab自体も修正パッチを当てて新たにビルドしたものをインストールして使います。
Mecabに新しい単語を追加したくなることは多々あるはず。 今回は人名の例で解説する。 人名追加に必要となる知識 重要なリンク Mecab公式「単語の追加方法」 http://mecab.googlecode.com/svn/trunk/mecab/doc/dic.html 人名辞書一覧 http://www.mwsoft.jp/programming/munou/ime_dictionary_link.html#person 辞書の追加先 まず、システム辞書として追加するか、ユーザー辞書として追加するかが問題となる。 人名辞書の項目は大抵万を超えるので、解析速度のことを考え、システム辞書に追加するのが妥当と考えられる。 辞書更新が頻繁でないときや, 解析速度を落としたくない時は, 直接 システム辞書を変更するのがよいでしょう. mecab-ipadic があるディレクトリに移動 foo.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く