人工無脳を作るのに必要なものを調べ中 - hellkite 日記と雑記とメモ。
人工無脳･･･というか、botを作るのに何が必要なのか調べている最中なのでメモ。 のつもりだったけど、途中からグダグダになったので(･ω･｀) 形態素解析エンジン 恋するプログラムでは、ChaSenって形態素解析エンジンを使っていたけど、調べてみると今はMecabって形態素解析エンジンの方が一般的みたい。 Googleで検索してみると、Mecabの方がヒット数が多い。 mecabで検索? -> 4,550,000 chasenで検索 -> 3,670,000 ただ、サーバで稼働させた場合、自宅サーバでやるならどれを使うか自由に選べるけど、レンタルサーバだとこれらが使えるかどうかはわからない。多分無理だろう。 そうすると、Yahooが提供しているWeb APIが第一候補になりそう。 Yahoo!デベロッパーネットワーク テキスト解析の中に形態素解析エンジンが含まれています。 利用制限があるけ
きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる
MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 現在公開している mecab-ipadic は、ipadicとRWCPコーパスという正解データを使っています。 ここから分かるとおり、少なくともMeCabを使う場合は、コスト値を丹念にチューニング するといった職人芸は要りません。形態素解析への入力文とそれに対応する(理想)出力 があればコスト値を機械学習的なアプローチで構築することができます。 さらに、正解データを人手で作る必要は必ずしもありません。 すなわち、Yahoo!の形態素解析器の出力結果を「擬似正解」とみなして MeCabの学習プログラムを走らせれば、Yahoo!の出力を高い精度で再現できる MeCab用辞書を作成することが原理的に可能です。 ふだんはあま
ウノウラボ Unoh Labs: PHPとMecabでキーワード自動リンクを実装する
こんにちは、山下です。 今年もどうぞよろしくお願い致します。 Webサービスを開発していると、特定のキーワードを自動でURLリンクにする処理が必要になることがあると思います。今回は、このキーワード自動リンク機能を形態素解析ツールMecabを使ってPHPで実装する方法を紹介したいと思います。 説明に入る前に少し補足しておくと、Trieの実装であるDouble-Array処理だけ利用したいのであれば、MecabからDouble-Array処理の部分を切り出したDartsというライブラリがあります。しかし、なぜMecabを使うかというと、PerlだとDartsのバインディングが公開されているのですが、現時点でPHP版はありません。また、最近のLinuxディストリビューションでは、Mecabのパッケージが最初から用意されているため、より簡単に利用できると思ったからです。 それでは、順を追って説明
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
