はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
TermExtract Perlで出来る特徴語抽出 - プログラマになりたい
PerlのCPANモジュールを使って、簡単にベイジアンフィルターを使う方法を紹介したエントリーが思いのほか好評でした。ベイジアンフィルター Perlで作りたい人に教えてあげたいちょっとしたこと 調子に乗ってもう一つ、お気に入りのCPANモジュールの紹介です。日本語の形態素解析といえばMeCabでほぼ間違いないのですが、MeCabはあくまで形態素解析器です。ということで、最小単位の形態素を検出することは出来ますが、連語等は分解されて出てきます。（本当はちょっと工夫したら出せるのですが、それはまた次回）例えば、「集合知」という言葉が出てきたら、下のように分解されて出てきます。 集合 名詞,サ変接続,*,*,*,*,集合,シュウゴウ,シューゴー 知 名詞,一般,*,*,*,*,知,チ,チ 使い方にもよりますが、集合知という言葉で取りたい場合も多いと思います。以前、Yahoo!APIと組み合わせ
きまぐれ日記: ルー語変換を MeCab だけで実現
巷で話題のルー語変換．周りにこういうしゃべり方をする人がいるからかもしれませんが， 爆笑しました 中身は，MeCab -> EDICT -> Bilingual Emacspeak だそうです． 単純な単語置換なので，MeCab を汎用テキスト変換ツールとして利用すればまったく同じことが MeCab だけで実現できます． やってることは単純で, MeCab の辞書の品詞フィールドをルー語にした辞書を作るだけです．対象のルー語がない場合は単語そのものを品詞に設定します． 通常は 「入力文字列 -> 品詞列」 の変換が行われます．上記のような辞書を作ると，品詞の部分がすべてルー語に置き換わって 「入力文字列 -> ルー語文字列」の変換が実現されます． しかも単語のつながりやすさや，出現しやすさは上記のような辞書を作っても CSV カラムの 2,3,4 カラム目に残っているので， 原理的には M
NAL研卒業研究ノートnote_show
今週やってくることの一つとして、学習データを作成して実際にSVMで学習させてみる、というのがある。 そのためのソフトウェアとしてMeCabを利用する。 また、TermExtract という単語（名詞）に対する重み付けを行うためのPerlモジュールを利用する。 MeCabは形態素解析を行うソフトウェア。 TermExtractはMeCabやChaSenなどの処理結果から語句の重要度（TF・IDFなど）を計算する。 まずはMeCabのインストール ソースの入手先：http://mecab.sourceforge.net/src % ./configure --with-charset=utf8 % make % su # make install MeCab用の辞書も同様の手順でインストール 今回はIPA辞書を使うことにする ソースの入手先：http://mecab.sourceforge.
mecab-gree-20060411.ppt
MeCab 汎用日本語形態素解析エンジン 工藤 拓 アジェンダ 形態素解析の技術 辞書引きのアルゴリズム、データ構造 曖昧性の解消 MeCab の開発裏話 歴史 設計方針 汎用テキスト変換ツールとしての MeCab 恐ろしく汎用的! 「意外な」使い方 これから 形態素解析 文を単語に区切り、品詞を同定する処理 全文検索 Spam フィルタリング 人工無能... 以下の３つの処理 単語への分かち書き(tokenization) 活用語処理(stemming, lemmatization) 品詞同定(part-of-speech tagging) すもも 名詞,一般,*,*,*,*,すもも,スモモ,スモモ も 助詞,係助詞,*,*,*,*,も,モ,モ もも 名詞,一般,*,*,*,*,もも,モモ,モモ も 助詞,係助詞,*,*,*,*,も,モ,モ もも 名詞,一般,*,*,*,*
MeCab: 単語の追加方法
$Id: dic.html 161 2008-02-03 09:58:46Z taku-ku $; 概要 辞書への単語追加には, 二つの方法があります. システム辞書への追加 ユーザ辞書への追加 システム辞書への追加 辞書更新が頻繁でないときや, 解析速度を落としたくない時は, 直接 システム辞書を変更するのがよいでしょう. mecab-ipadic があるディレクトリに移動 foo.csv というファイルを作成 (拡張子が .csv なら何でも可) foo.csv に単語を追加 辞書の再コンパイル + インストール % /usr/local/libexec/mecab/mecab-dict-index -f euc-jp -t euc-jp % su # make install -f charset: CSVの文字コード -t charset: バイナリ辞書の文字コード 例: u
「Yahoo!の形態素解析をMeCabで無理やり再現してみる」を試してみて - 傀儡師の館.Python：楽天ブログ
2007.08.20 「Yahoo!の形態素解析をMeCabで無理やり再現してみる」を試してみて カテゴリ：ことばの処理 Yahoo!の形態素解析をMeCabで無理やり再現してみる を読む。 MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 学習させるときには、辞書と、正解データを用意しなきゃならない。これが面倒だから、なかなか自作の辞書を作る気にならない。Wikipedia のデータをダウンロードすれば、大量のテキスト文章は得られるけれども、正解出力を手作業で作るのは大変だし、元辞書も作らなきゃならないから、不可能に近い。 じゃわ、正解出力をちゃんと手作業で作るのではなくて、Yahoo! API の 日本語形態素解析Webサービス を使って得られた解析結果を擬似的
83's : MeCabの辞書作成補助
形態素解析器MeCabの 辞書を自分で作る場合、動詞や形容詞など活用する品詞については 自分で活用を書かなければいけないんですが、 激しく面倒なのでこれを自動化するやつを作ってみた。 （ ・∀・）つ[katsuyou.tar.gz] このプログラムを使うには、別途ローマ字ひらがな変換ライブラリ suikyoと、 茶筌に（多分）付属しているcforms.chaが必要です。 まー基本的にはcforms.chaでなくても、同じフォーマットで、かつ活用形の中に「基本形」が 入っていれば動くはずです。 あとRubyも必須です。 katsuyou.rbは、入力されたMeCabの辞書の中で活用できるものがあるとそれを活用展開します。 だからあらかじめ1つだけ書いておきます。 ちなみにフォーマットはこう。 表層形,コスト,品詞,品詞細分類1,品詞細分類2,品詞細分類3,活用型,活用形,原形,読み,発音 例
2008年、Webは文字列解析で変わっていく
としてインストールしてほしい。 Text::MeCabによる形態素解析 Text::MeCabを使って形態素解析をするには、オブジェクトを作り、parseメソッドを呼び出す。 use Text::MeCab; my $text = 'HTMLを解析し、スクレイピングしたデータを基にグラフ化を行う。'; my $mecab = Text::MeCab->new(); my $result = $mecab->parse($text); parseした結果、undef値でないなら、解析された形態素分析の結果が存在する。 結果は、すでに示したmecabコマンドと同じ書式となる。タブより左の「表層形（語句そのもの）」は、surfaceメンバで、タブより右側の「カンマで区切られた品詞などの種別」はfeatureメンバで取得できる。 次に示すwhileループ処理をすると、結果を取得できる。 while
MeCab REST Web Service — RIKIMA.com
日本語形態素解析器MeCabとは 工藤拓氏作の日本語形態素解析器 MeCabは、日本語の文を単位(形態素)に分割、認定する自然言語処理ツールです。各スクリプト言語バインディングを備え、多くのツールで使われている優れたツールです。 使用しているバージョンは次です。 MeCab 0.97 mecab-ipadic 2.7.0-20070610 mecab-python 0.97 素晴しいツールを作成、公開、保守されている工藤拓氏に感謝いたします。 MeCab REST Web Serviceとは MeCab REST Web Serviceとは、MeCabのpython bindingを利用して、Zope 上で実現した形態素解析のREST タイプのweb serviceです。日本語文を引数として受け付け、形態素解析結果をXML として表示、返します。 利用法 MeCab
どんなページもルー大柴ナイズ
来月仕事で海外に行くことになりそうなので、買っただけで読んでなかった カタカナ英語の本 を取り出して読んでたのですが、TV 付けて酒飲みながらじゃあ勉強にならない。カタカナ英語といえば ルー大柴 だよなあ、と脱線しはじめる。 「ディスイヤーは私にとって再チャレンジのファンデーション作りのイヤーだった」（原文） ↓ 翻訳すると「今年は私にとって再挑戦の基礎作りの年だった」 ということは何か普通の文章をルー化するスクリプトをすぐ書けそうな予感。ルーさんが使いそうな単語を片っ端からマップにしてもいいけど、それはめんどい。それより、文章を形態素解析 → 単語を英訳 → 英語をカタカナ読みに翻訳 → というようにすれば楽に書けるんじゃないか？と発展。 形態素解析は MeCab でいいよね 単語の和英は、Excite みたいなネットを介すやつだと遅いので、フリーの英和辞書を探す。EDICT proje
ウノウラボ Unoh Labs: mecabのユーザ辞書を追加した時にはまったメモ
こんにちは satoです。mecabのユーザ辞書を追加したのですが，いろいろはまったので誰かがはまった時のためにメモっておきます。 1)品詞IDの取り方 2)ユーザ辞書の追加方法 3)禁止語句とか独自の要素を付けたい csvファイルの最後に追加すればOK 4)context_id.cpp(88) [it != left_.end()] cannot find LEFT-... ってエラーが出る left-id right-id の文字コードが csvファイルの文字コードと違うのが原因 nkf --utf8とかで文字コードをそろえる 5)CHECK_CLOSE_FALSE(sysdic->isCompatible(*d)) sys.dic と ユーザ辞書の文字コードが違うと出るエラー utf8とUTF8は違うと判定されるのでutf-8と書く 6)追加した辞書に品詞IDが付かない or 65
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MeCabをWindowsとActivePerlから使う（perl）ohanasiya_blog - Blog
[% title | html %]
はてなブログ
Site is undergoing maintenance
http://gensen.dl.itc.u-tokyo.ac.jp/doc/ex_mecab.pl.txt
Welcome to yk55.com 网站正在建设中！
mimitako.net [13]
MeCabを使ってMemorium向けに、PukiWikiのページから名詞・形容詞を抽出し、キーワードファイルを生成するPerlスクリプト (1/24): 雑木林とコンピュータ