[O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました
MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました Tweet [NLP] 日本語の文書を機械的に処理しようと思った時に、ほとんどの人が MeCabとIPADIC(IPA辞書)の両方、または、どちらかを使うことになります。 IPADICはとてもよく出来ていますが、更新されないまま年月が過ぎているので、例えば2015年3月上旬に急に流行ったような言葉は収録していません。そのため、今日生まれたような新しい文書(例、Apple Watch発売)を解析する時に困ります。困らない人もいますけど、僕は困ります。 その課題に対処するために、日本全国津々浦々、自然言語処理に関わる全ての人は独自にMeCabの新語辞書を作って対応しているわけです。その際に元データとして使われることが多いのは Wikipedia 日本語版やはてなキーワードなどです。 困ったことに、新語辞書を生成
形態素解析エンジンMeCabにて文章中から短歌を抽出 - inaniwa3's blog
概要 偶然５７５７７になっている文章を短歌としてつぶやく Twitter の bot を作りました。 フクロウが鳴くと明日は晴れるので洗濯物を干せという意味 #tanka ウィキペディア日本語版「フクロウ」より http://t.co/Dm1uHcQdzR— 偶然短歌bot (@g57577) 2014, 12月 31 再帰的アルゴリズムが有効な問題として有名であり #tanka ウィキペディア日本語版「ハノイの塔」より http://t.co/vm2ZqwImKi— 偶然短歌bot (@g57577) 2014, 12月 31 文章はウィキペディア日本語版を対象としました。 作り方 jawiki-latest-pages-articles.xml.bz2 をダウンロード。 WP2TXT で上記を扱いやすい形式に変換。 このスクリプト で５７５７７になっている文を抽出。数時間かけて（遅い）
RakutenMAによる形態素解析入門 - あんちべ！
概要 本稿はRakutenMAというJavaScriptだけで動く学習器付きの形態素解析器を利用する入門記事です。本記事を読了すると、形態素解析の実行と形態素解析のモデルを作成・更新出来るようになります。 また、本稿ははてな×PC工房との連動企画の補足をするべく書きました。 「あんちべさんと一緒に Rakuten MA で形態素解析」はてなニュース連動企画 第二弾！ : パソコン工房 パソコン工房のPCで遊ぼう第2弾！ あんちべさんと一緒に Rakuten MA で形態素解析 - はてなニュース RakutenMAを利用したエディタ判定器デモ エディタ判定器 :パソコン工房 【やじうまWatch】Emacs派とVim派の対立を煽る「エディタ判定器」が面白いと評判 -INTERNET Watch はじめに 近年、twitterやFacebookなどのSNSやAmazonのレビューなどから得ら
Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) - c-bata web
検索エンジン自作入門 ~手を動かしながら見渡す検索の舞台裏 作者:山田 浩之,末永 匡発売日: 2014/09/25メディア: 単行本（ソフトカバー） (この記事で紹介しているのはTF-IDFとかの計算もない簡素なものです。) はじめに Webサービスのプログラミングに必要なことのだいたいは、スクレイピングに学んだ - Line 1: Error: Invalid Blog('by Esehara' ) この前↑の記事をみかけました。クローリングやスクレイピングは、色々と応用が効きそうなのでしっかり勉強したい。 PythonではScrapyという有名なクローリング・スクレイピング用のライブラリがありますが、今回は勉強としてScrapyを使わずに実装してみる。流れとしては以下のとおり Webクローラの構築 Mecabで日本語の形態素解析 検索エンジンの構築 データをMongoDBに格納 Fl
Ubuntu 12.04 LTS MeCab インストール - CLIP
Ubuntu 12.04 LTS 形態素解析MeCabインストール MeCab インストールでハマったのでメモ。 .bash_historyからコマンド履歴がなくなってしまうのでアウトプット。 ubuntu なら、 sudo apt-cache search mecab で関係するものは、一覧表示できる。 sudo apt-get install mecab でインストールできるけど、 最新版のものをインストールしたかったので、 mecab-0.994.tar.gz - mecab - mecab - Japanese morphological analyzer - Google Project Hostingから入手。 wget http://mecab.googlecode.com/files/mecab-0.994.tar.gz tar zxvf mecab-0
MeCabのコマンドライン引数一覧とその実行例 | mwSoft
-r --rcfile 使用するリソースファイルを指定する リソースファイルとは、辞書ディレクトリに入っている「dicrc」ファイルを指します。 試しにシステム辞書の「dicrc」ファイルをコピーして、「dicrc2」というファイルを作り、その中の「; simple」の「EOS」を「eos」に書き換えます。するとこんな風になります。 // リソースを指定せずに実行 $ echo テスト | mecab -O simple テスト 名詞-サ変接続 EOS // リソースを改変したdic2に指定して実行 $ echo テスト | mecab -r dicrc2 -O simple -d /usr/local/lib/mecab/dic/naist-jdic テスト 名詞-サ変接続 eos 我が家の環境では、システム辞書ディレクトリをカレントディレクトリとした状態にするか、「-d」でシステム辞書
AWS EC2上にmecab + R環境をつくる - Qiita
AWS EC2上にmecab+Rをインストールするメモ。 mecabはソースファイルからインストール。 Rはソースファイルからインストール。 RMeCabについては以下のサイトを参照のこと。 RMeCab - RとLinuxと… http://rmecab.jp/wiki/index.php?RMeCab 0. instance立ち上げ EC2上にinstanceを立ち上げる。 とりあえず、お試しならt2.microでも良いかも。 AWS t2.micro OS: Aamzon Linux ツール、データはS3上に上げておくと、外部からダウンロードするより少し早いし、お財布にも少し優しい。 1. yum update
RパッケージRMeCabで用意されている関数
参考文献 石田 基広、「Rによるテキストマイニング入門」森北出版（2010） Rのパッケージ RMeCabは、指定したファイルを形態素解析エンジン MeCabに渡して形態素解析を実施し、MeCabから返す次の結果様式 表層形 品詞 品詞細分類1 品詞細分類2 品詞細分類3 活用形 活用型 原形 読み 発音 を使ったさまざまな機能（関数）が用意されている。 その一つが、形態素の頻度で利用した関数 RMeCabFreq( ) で、テキスト内の形態素原形の登場頻度をデータフレームとして返すものであった。 RMeCabFreq 以外の関数を紹介しておこう。 パッケージRMeCabの利用法を知る Rパッケージ RMeCab を利用するには（インストールした）パッケージ名を library() 関数の引数にセットして読み込む。 読み込んだパッケージの利用法を知るには、パッケージを読み込んだ以降で 「?
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
形態素解析のために Wikipedia とはてなキーワードからユーザー辞書を生成し利用する - Qiita
日本語形態素解析の初歩 - あらびき日記