GAE/J で GoSen を動かして形態素解析 | Altus-Five Labs
Google App Engine Java のアプリを作ってみました。 ちょっと前に検索エンジンの開発に触れる機会があったので、今回の手習いは、形態素解析器を GAE/J で動かすことをテーマにしました。 まずは、下記ページに書かれている 「Eclipse を使用して（または使用せずに）App Engine Java プロジェクトを作成する方法」 にしたがって開発環境を作成します。 http://code.google.com/intl/ja/appengine/docs/java/gettingstarted/introduction.html そして、ひと通りチュートリアルを試して、開発環境に慣れてしまいます。 実は、最初はチュートリアルは試さないで、他に GAE/J を紹介している記事を参考にして、必要なことだけをやろうとしたんですけど、後から考えると、先にチュートリアルを通し
はてなダイアリーキーワードふりがなリストを公開しました - はてなダイアリー日記
本日、キーワード名とふりがなが対になっている、はてなダイアリーキーワードふりがなリストを公開しました。ユーザー様が独自に作成されている辞書などで、名詞の読み仮名などでご活用いただくと便利かと思います。 以下のURLを右クリックでファイルに保存してご覧ください。 http://d.hatena.ne.jp/images/keyword/keywordlist_furigana.csv http://d.hatena.ne.jp/images/keyword/keywordlist_furigana_with_kid.csv (キーワードID つき) ※タブ区切りの csv 形式、文字エンコードは EUC で改行コードは LF となっております。 ※ファイルサイズが本日現在 4M 強ほどあります。ブラウザで開く際はご注意下さい。 このリストをは定期的に最新情報に更新しています。どうぞご利用下さ
Wolfram|Alpha や Bing のすごくないがゆえにすごいところ - 武蔵野日記
最近次世代「検索」エンジンが登場しつつあるが、彼らのすごいところは検索結果ではない。たとえば Mathematica を作った会社が Wolfram|Alpha や最近検索に異様に力を入れている Microsoft が Bing を開発中だとアナウンスされたが、彼らが真にすごいのは、現在の自然言語処理(や情報検索などの周辺技術)の精度では恐らく不可能だと思えるようなことをやろうとしている、もしくはやっているところだと思う。 というのも、一番広く使われているであろう自然言語処理技術は形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解析器を作っているので仕方な
俺的メモ mecabの辞書をnaist-jdicに変更する(windowsで) - ころの徒然〜在る阿呆の日々〜
16:46 | 忘れないうちにメモ今、なんとなく人工無脳が作りたくなってmecabという形態素解析エンジンをインストールしたでも、mecabのデフォルト辞書はipadicというものだがライセンスがよくわからないので再配布できるのか気になったなんでBSDライセンスと明記されているnaist-jdicにmecabの辞書を変更しようというメモ1.MeCabダウンロード-MeCab: Yet Another Part-of-Speech and Morphological AnalyzerからBinary package for MS-Windowsをダウンロードして(現在最新mecab-0.97.exe)2.MeCabインストール-まあインストーラ通りに進めばおk3.MinGW/MSYSをインストール-Articles/MinGW のインストール - K-na TechNotesとか参照4.na
MeCabの辞書にはてなキーワードを追加しよう - 不可視点
MeCabは形態素解析のためのソフトウェアです。日本語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日本語や、正しく書かれた日本語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般的な話ですが以下のような認識が一般的かと思われます。 というのも、一番広く使われているであろう自然言語処理技術は形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解
Mac OS X LeopardでMeCabとRuby – alog
I just want to be inspired. — Jerry Maguire Skip to: Content | Sidebar | Footer LeopardでMeCabを使おうとおもったら予想以上にはまったのでメモしとこう。 mecabをmacportsでインストール。 $ sudo port install mecab +utf8 ruby関連はgemインストールしている。portでrb-mecab入れてしまうとrubyまで入ってしまうので、mecab-rubyはmacportsを使わずソースから。 ここでまずはまる。 macportsで入れたmecabのバージョンは0.96。mecab-rubyの最新バージョン0.97をビルドするとエラーになる。mecab本体と同じ0.96にすると問題ない。 そうそう、 http://d.hatena.ne.jp/sky-y/2007
辞書不要の形態素解析エンジン「マリモ」とは − ＠IT
2007/08/15 検索サービスを提供するベンチャー企業のムーターは8月1日、辞書を必要としない形態素解析エンジン「マリモ」の提供を開始した。従来、形態素解析では品詞情報を含む日本語辞書を用意するのが常識だったが、マリモでは、そうした辞書を不要とした。新技術のアプローチと特性について、開発元のムーターに話を聞いた。 統計処理で単語部分を推定 形態素解析とは、与えられた文を、文法上意味のある最小の単位（形態素）に区切る処理。「今日は晴れています」なら、「今日（名詞）／は（助詞）／晴れ（動詞）／て（助詞）／い（助詞）／ます（助動詞）」と分ける。検索エンジンをはじめ、さまざまな自然言語処理の場面で必要となる基礎技術だ。 形態素解析を行うには、あらかじめ品詞情報が付加された数十万語からなる辞書を用意する必要がある。また、新語や造語、専門用語に対応するには、個別に人力で単語を登録する必要がある。
大規模テキスト処理を支える形態素解析技術（工藤拓氏・Google） - Cafe Babe
第80回知識ベースシステム研究会を開催したが，二日間で58名の方々に参加して頂き，積極的に議論に加わって頂いた．この場を借りて，参加してくれた方々に感謝したい．大変遅くなった（爆）が，Googleの工藤拓氏による招待講演「大規模テキスト処理を支える形態素解析技術」の概要を，このブログで報告しておきたい．工藤氏の専門分野は統計的自然言語処理と機械学習であるが，日本語形態素解析エンジンMeCabの開発者であり，他にも自然言語処理関連の有益なツールや，Webベースの日本語入力を可能にするAjax IMEのようなユニークなサービスを提供しているなど，時代をリードする研究開発者の一人である．彼の活動に興味があれば，彼のブログ「きまぐれ日記」は必見だろう． なお，当日は弊社側の不手際で，予定していた工藤氏の重要なデモをおこなうことができなかった．弊社はネットワーク会社であるにもかかわらず，ネットワーク
kanmisikou.net - 初音ミク フォント 制作 志向 甘味 ニコニコ 感性 状況 リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
『機械はどれだけ人間に近づけるのか』 〜第2回 チームラ - shohu33's diary
TeamLabさんの 『機械はどれだけ人間に近づけるのか』 〜第2回 チームラボアルゴリズムコンテスト 勉強会におじゃましてきた。ちなみに懇親会は体調がわるかったので参加していない。 形態素解析入門 以下に今日発表されたスライドが。 http://d.hatena.ne.jp/Shimojimoji/20090128 ざっくり概要 主に形態素解析のアルゴリズムについての説明。 以下のようなアルゴリズムを紹介してくれた。 ・Common Prefix Search(接頭語を探してくる) ・Trieの概要 ・Double Array概要（辞書の探索をする） ・コスト最小法 ・Viterbiのアルゴリズム ルー語変換 個人的には「おまけ」で話してくれたルー語変換のお話が興味を引いた。 mecab, chasenの辞書に対してルー語を登録するようにしておく。 例えば、 いっしょ → togethe
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Page2
転送中