はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
TermExtract Perlで出来る特徴語抽出 - プログラマになりたい
PerlのCPANモジュールを使って、簡単にベイジアンフィルターを使う方法を紹介したエントリーが思いのほか好評でした。ベイジアンフィルター Perlで作りたい人に教えてあげたいちょっとしたこと 調子に乗ってもう一つ、お気に入りのCPANモジュールの紹介です。日本語の形態素解析といえばMeCabでほぼ間違いないのですが、MeCabはあくまで形態素解析器です。ということで、最小単位の形態素を検出することは出来ますが、連語等は分解されて出てきます。（本当はちょっと工夫したら出せるのですが、それはまた次回）例えば、「集合知」という言葉が出てきたら、下のように分解されて出てきます。 集合 名詞,サ変接続,*,*,*,*,集合,シュウゴウ,シューゴー 知 名詞,一般,*,*,*,*,知,チ,チ 使い方にもよりますが、集合知という言葉で取りたい場合も多いと思います。以前、Yahoo!APIと組み合わせ
NAL研卒業研究ノートnote_show
今週やってくることの一つとして、学習データを作成して実際にSVMで学習させてみる、というのがある。 そのためのソフトウェアとしてMeCabを利用する。 また、TermExtract という単語（名詞）に対する重み付けを行うためのPerlモジュールを利用する。 MeCabは形態素解析を行うソフトウェア。 TermExtractはMeCabやChaSenなどの処理結果から語句の重要度（TF・IDFなど）を計算する。 まずはMeCabのインストール ソースの入手先：http://mecab.sourceforge.net/src % ./configure --with-charset=utf8 % make % su # make install MeCab用の辞書も同様の手順でインストール 今回はIPA辞書を使うことにする ソースの入手先：http://mecab.sourceforge.
2008年、Webは文字列解析で変わっていく
としてインストールしてほしい。 Text::MeCabによる形態素解析 Text::MeCabを使って形態素解析をするには、オブジェクトを作り、parseメソッドを呼び出す。 use Text::MeCab; my $text = 'HTMLを解析し、スクレイピングしたデータを基にグラフ化を行う。'; my $mecab = Text::MeCab->new(); my $result = $mecab->parse($text); parseした結果、undef値でないなら、解析された形態素分析の結果が存在する。 結果は、すでに示したmecabコマンドと同じ書式となる。タブより左の「表層形（語句そのもの）」は、surfaceメンバで、タブより右側の「カンマで区切られた品詞などの種別」はfeatureメンバで取得できる。 次に示すwhileループ処理をすると、結果を取得できる。 while
どんなページもルー大柴ナイズ
来月仕事で海外に行くことになりそうなので、買っただけで読んでなかった カタカナ英語の本 を取り出して読んでたのですが、TV 付けて酒飲みながらじゃあ勉強にならない。カタカナ英語といえば ルー大柴 だよなあ、と脱線しはじめる。 「ディスイヤーは私にとって再チャレンジのファンデーション作りのイヤーだった」（原文） ↓ 翻訳すると「今年は私にとって再挑戦の基礎作りの年だった」 ということは何か普通の文章をルー化するスクリプトをすぐ書けそうな予感。ルーさんが使いそうな単語を片っ端からマップにしてもいいけど、それはめんどい。それより、文章を形態素解析 → 単語を英訳 → 英語をカタカナ読みに翻訳 → というようにすれば楽に書けるんじゃないか？と発展。 形態素解析は MeCab でいいよね 単語の和英は、Excite みたいなネットを介すやつだと遅いので、フリーの英和辞書を探す。EDICT proje
きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる
MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 現在公開している mecab-ipadic は、ipadicとRWCPコーパスという正解データを使っています。 ここから分かるとおり、少なくともMeCabを使う場合は、コスト値を丹念にチューニング するといった職人芸は要りません。形態素解析への入力文とそれに対応する(理想)出力 があればコスト値を機械学習的なアプローチで構築することができます。 さらに、正解データを人手で作る必要は必ずしもありません。 すなわち、Yahoo!の形態素解析器の出力結果を「擬似正解」とみなして MeCabの学習プログラムを走らせれば、Yahoo!の出力を高い精度で再現できる MeCab用辞書を作成することが原理的に可能です。 ふだんはあま
2007-03-09
MacBook Pro にText::MeCabを入れたら、案外ハマってしまいました。箇条書きでやったことだけメモっときます。 MacPortsからmecab-ipadic-utf8をインストール UTF-8辞書を使うように /opt/local/etc/mecabrc を書き換え*1 Text::MeCabはCPAN.pmから入らなかったため、Makefile.PLを修正してインストール*2 >< *1:dicdir = /opt/local/lib/mecab/dic/ipadic-utf8 とする *2:LIBSを["-L/opt/local/lib -lmecab", "-L/usr/lib -lstdc++"]にした OS Xを英語環境にしたんですが、Carbon Emacsの日本語環境が壊れてしまいました。carbon-emacs-japanese-init.elを見てみると、
MeCabで、キーワード抽出 - プログラマでありたい
形態素解析器として圧倒的な性能を誇るMeCabですが、出来る事は形態素解析にとどまりません。公式ページにも載っているように、辞書さえカスタマイズすればひらがな⇔カタカナ変換やAutoLinkの作成といったことまで出来ます。 WikipediaのデータとMeCabを使えば、高速なキーワード抽出が出来ないかなと思い試してみました。辞書の定義にコストを書けば、長いキーワードを優先して抽出する最長一致法が出来そうです。それが出来れば、辞書にキーワードを登録すればおっけいかなと思い実験です。 準備 ・Mecabのインストール 省略 ・Wikipediaのダウンロード wikipediaからコーパスの作成を参照 ・辞書生成用のCSV作成 xml2sqlで作ったpage.txtを変換します。 この際、(曖昧さ回避)は除いておきます。 併せて、カンマが入っている見出し文は、別のものに置き換えておくこと c
Text::MeCab を x86_64 環境でインストールする方法
DMAKI氏による MeCab の Perl モジュールが CPANにアップロードされたようです。SWIG で生成されたものより高速に動作するようです。こんなに差が出るとは正直驚きです。 MeCab::Node の iterator をまわして要素を取りだす処理は、SWIG の場合 tie hash になったり、正直遅いと想像していたのですが、お見事です。 mecab 標準の mecab-perl より高速とのことで、モジュールの安定性を待っている間にすっかり忘れてしまった Text::MeCab ですが、突然思い出したので使ってみようかと思いインストールしてみたところ、make test にてエラー。 う〜ん・・・たぶん x86_64 環境だからだろうと推測し情報集め。 PERL_DL_NONLAZY=1 /usr/local/bin/perl "-MExtUtils::Command:
Elementary, ... MeCab - HTML::TagCloud
会社で、ブログのエントリに応じた反応をする（いわゆるBlogPet）の話になり、形態素解析をやってみようと気が向いたのでサンプルを作ってみました。 http://e8y.net/labs/tagcloud/ 入力されたテキストの内容を MeCab 様で形態素分析して、名詞の回数でタグクラウドします。MeCab は Perl モジュールも提供してくれてますので、数十分でできあがりました。Chasenのインストールで苦労したときと比べると大違い。 インストール http://sourceforge.jp/projects/mecab/files/ から、 mecab と mecab-ipadic の最新版をダウンロード。その後、それぞれ $ tar zxvf mecab-* $ cd mecab-* $ ./configure $ make # make install あと同じ http:/
MeCab : Linux備忘録&ちょっと休憩しましょ
MeCabが0.96になっていたので、入れ替えました。MeCab-Perlも0.96です。 > wget http://downloads.sourceforge.net/mecab/mecab-0.96.tar.gz?modtime=1181487226&big_mirror=0 > tar xvzf mecab-0.96.tar.gz > cd mecab-0.96/ > ./configure > make > make check > su # make install ちなみに、make checkでは、1/3のところでエラーでとまりますが、installすれば問題なく実行できるようです。 > wget http://downloads.sourceforge.net/mecab/mecab-perl-0.96.tar.gz?modtime=1181487507&big_mirr
鳥獣保護区 | POPFile の分かち書きに MeCab を使う
POPFile のフォーラムに MeCab を使う為のパッチが公開されていたので、メール処理が少しでも早くなればと思い入れてみました。インストールはドキュメントのクロスプラットフォーム版の通りにすれば大丈夫でした。 MeCab % wget http://keihanna.dl.sourceforge.jp/mecab/21187/mecab-0.93.tar.gz % tar xzf mecab-0.93.tar.gz % cd mecab-0.9.3 % ./configure --mandir=/usr/local/share/man % make && make check % sudo make install mecab-perl % wget http://keihanna.dl.sourceforge.jp/mecab/21189/mecab-perl-0.93.tar.g
形態素解析MeCab(和布蕪)をPerlから使ってみる ゆうすけブログ/ウェブリブログ
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[% title | html %]
はてなブログ
Welcome to yk55.com 网站正在建设中！
MeCabを使ってMemorium向けに、PukiWikiのページから名詞・形容詞を抽出し、キーワードファイルを生成するPerlスクリプト (1/24): 雑木林とコンピュータ