「集合知プログラミング」は絶対読まねば
「集合知プログラミング」は絶対読まねば 2008-07-08-2 [Book][NLP] ■Toby Segaran (著), 當山仁健, 鴨澤眞夫 (訳) / 集合知プログラミング oreilly.co.jp -- Online Catalog: 集合知プログラミング http://www.oreilly.co.jp/books/9784873113647/ 機械学習のアルゴリズムと統計を使ってウェブのユーザが生み出した 膨大なデータを分析、解釈する方法を、基礎から分かりやすく解説します。 基礎から、ということで良さげ。 本書で紹介するのは「購入・レンタルした商品の情報を利用した推薦システム」、 「膨大なデータから類似したアイテムを発見し、クラスタリングする方法」、 「数多くの解決策の中から最適なものを探し出す方法」、 「オークションの最終価格を予想する方法」、 「カップルになりそうなペ
Yahoo! API の「校正支援」と「かな漢字変換」のサンプルプログラムを作ったよ
Yahoo! API の「校正支援」と「かな漢字変換」のサンプルプログラムを作ったよ 2008-07-11-1 [Programming][NLP] Yahoo!デベロッパーネットワークの「テキスト解析」のシリーズで、 最近、校正支援APIと仮名漢字変換APIが出ました。 それを使った簡単なサンプルプログラムを作ってみました。 明日のプレゼン[2008-07-07-1]で使うかも使わないかも。 ■校正支援Webサービス http://developer.yahoo.co.jp/jlp/KouseiService/V1/kousei.html 日本語文の校正作業を支援します。文字の入力ミスや言葉の誤用がないか、 わかりにくい表記や不適切な表現が使われていないかなどをチェックします。 入力テキストの校正箇所を黄色くハイライトし、 そこにマウスカーソルののせると解説がポップアップされるというデモ
大規模テキスト処理を支える形態素解析技術（工藤拓氏・Google） - Cafe Babe
第80回知識ベースシステム研究会を開催したが，二日間で58名の方々に参加して頂き，積極的に議論に加わって頂いた．この場を借りて，参加してくれた方々に感謝したい．大変遅くなった（爆）が，Googleの工藤拓氏による招待講演「大規模テキスト処理を支える形態素解析技術」の概要を，このブログで報告しておきたい．工藤氏の専門分野は統計的自然言語処理と機械学習であるが，日本語形態素解析エンジンMeCabの開発者であり，他にも自然言語処理関連の有益なツールや，Webベースの日本語入力を可能にするAjax IMEのようなユニークなサービスを提供しているなど，時代をリードする研究開発者の一人である．彼の活動に興味があれば，彼のブログ「きまぐれ日記」は必見だろう． なお，当日は弊社側の不手際で，予定していた工藤氏の重要なデモをおこなうことができなかった．弊社はネットワーク会社であるにもかかわらず，ネットワーク
形態素解析の基礎
形態素解析の基礎 大西 祥代，廣安 知之，三木 光範 ISDL Report No. 20070913009 2007年 8月 28日 Abstract 形態素解析とは文章を単語に区切る処理であり，自然言語処理の最も基本となる処理である．本報告では，形態素解析に必要な技術や形態素解析ツールについて述べる． 1 はじめに 近年, 自然言語で書かれた大量の文書が電子化され利用されている. 例えば, Web上では様々な情報をテキストや写真などで記述したページがある. また, 電子化されたアンケートなどは, データマイニングを行い経営などに活かされている. このように文書は電子化され今後もますます利用されると考えられるが, より効率良く利用するためにはコンピュータによる文書の解析が必要である. コンピュータが文書を解析するためには, 自然言語解析を行うが, 日本語においては, 文章を単語に分
Yahoo! JAPAN の「日本語形態素解析Webサービス」を使うモジュールを作り始めた - woremacxの日記
Yahoo! JAPAN の「日本語形態素解析Webサービス」を使うモジュールを作り始めて、coderepos にうｐらせていただいたよ！この子は、ヴァギナ(#vagina@irc.woremacx.com)から生まれた子供だよ。tomyhero さんとの会話の中でサービスを紹介してもらったのがきっかけで書き始めて、yusukebe さんに命名してもらったんだ。エラー処理を全くしてない子なので、これから書いていくよ！なにか気に入らない点があれば、coderepos の trunk に直接 commit していただけると助かります。WebService::YahooJP::TextParselib/WebService/YahooJP/TextParse.pmYahoo!デベロッパーネットワーク - テキスト解析 - 日本語形態素解析 use strict; use warnings; us
rubyneko - Rubyで簡単に形態素解析結果を使う
「KOIL FACTORY PRO」で新たな視点でつくる「衣食住遊」の体験型フェス「ほにゃらら+らDAY」が10月29日と30日に開催
Google Japan Blog: 大規模日本語 n-gram データの公開
突然ですが、穴埋めクイズです。下線部に入る単語はなんでしょう? グーグルで_____ おそらく、「検索」「調べる」「探す」といった単語を思いつくのではないでしょうか？ 実際に、Webにあるドキュメントをくまなく調べ、「グーグルで」の後にくる単語を調べると、「検索」が1位であるとがわかります。 一般に、直前の(N-1)個の単語を見て、次の単語を予測するモデルをN-gram言語モデルといいます。さきほどは、「グーグル」 と 「で」の2単語から次を予想しているので、3-gram言語モデルの例となります。現時点の単語が、直前の(N-1)個のみに影響を受けるという仮説は、一見現実離れしているようですが、実際には非常に有効な場合も多く、かな漢字変換、OCRのエラー訂正、機械翻訳、音声認識などに広く用いられています。たとえば、音声認識の場合、ノイズ等で現時点の単語をシステムが聞き取れなくても、言語モデル
「Yahoo!の形態素解析をMeCabで無理やり再現してみる」を試してみて - 傀儡師の館.Python：楽天ブログ
2007.08.20 「Yahoo!の形態素解析をMeCabで無理やり再現してみる」を試してみて カテゴリ：ことばの処理 Yahoo!の形態素解析をMeCabで無理やり再現してみる を読む。 MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 学習させるときには、辞書と、正解データを用意しなきゃならない。これが面倒だから、なかなか自作の辞書を作る気にならない。Wikipedia のデータをダウンロードすれば、大量のテキスト文章は得られるけれども、正解出力を手作業で作るのは大変だし、元辞書も作らなきゃならないから、不可能に近い。 じゃわ、正解出力をちゃんと手作業で作るのではなくて、Yahoo! API の 日本語形態素解析Webサービス を使って得られた解析結果を擬似的
MeCab PHP extension moduleを使ってみた
3年ぐらい前に欲しいなーと思っていたMeCabのPHPモジュールが最近リリースされたようです。DBから取り出したレコードごとに形態素解析したいときなどはPHPから呼び出せると便利。 » Page2 MeCab extension 手元のマシンはmecabが0.90だったのですがconfigure時にmecab_new2のところでエラー。 configure: error: wrong MeCab library version or lib not found.[mecab-users 86] Re: C ライブラリで “Undefined symbol” となる関数がある 既知の問題だったので最新の0.91をコンパイルし直したらインストールできました。 サンプルのコードはソースの中にもありますがよりシンプルな例を以下に。 <?php dl('mecab.so'); $mecab = me
楽天技術研究所のテクノロジー講演会「連想の情報学」にいってきた
楽天技術研究所の森正弥さんに誘っていただいて、テクノロジー講演会に行ってきました。 今回は「連想の情報学」がテーマで 国立情報学研究所 高野 明彦 教授にお話を伺うことが出来ました。 簡単に言うと「検索結果を使って、関連情報を検索できる」 といったところです。 物を思い出す時って、人間もそうですが、何かの連想から生まれることが多いです。 例えば、 「あーあれなんだっけ文防具の」 「なに？」 「針と鉛筆がついてて円を書くあの道具」 「あーえーっと、コンパス！」 「それそれコンパス！」 つまりは、赤といえばりんご、りんごといえば果物みたいな、 連想的に検索が行える仕組みの話です。 それを具現化し実現化したものが「GETA」というエンジン。 これはオープンソースで、ASCII24の関連記事の表示などにも使われているそうです。 では実際に連想検索をどうやって実現するかについて簡単に触れてみます。
「Yahoo! JAPANの日本語処理技術と検索の将来」に参加してきました
ニューズ・ツー・ユーの神原弥奈子さん主催によるオンラインビジネスセミナー 「日本語検索エンジンの仕組みとこれから ～Yahoo! JAPANの日本語処理技術と検索の将来～」 に参加してきました。 ゲストスピーカーは山下達雄（たつを）さん。 茶せんの開発に携わった人物であり、機械翻訳・翻訳支援のシステムの研究・開発に携わり、現在「Yahoo! JAPAN研究所」研究員。 自然言語処理技術の研究とWebサービスへの適用に従事されています。 たつをさんの参加者を魅了するプレゼンテーションと モデレーターの神原さんの的確な質問と、進行で本当に場が盛り上がりました。 今回、セミナーに参加して私なりの視点で気になったキーワードを列挙したいと思います。 ■個人的に気になったキーワード ・バーティカル検索 ・YahooとGoogleの違い ・Yahoo形態素解析APIのメリットと目的 ・お金払って書かれて
きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる
MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 現在公開している mecab-ipadic は、ipadicとRWCPコーパスという正解データを使っています。 ここから分かるとおり、少なくともMeCabを使う場合は、コスト値を丹念にチューニング するといった職人芸は要りません。形態素解析への入力文とそれに対応する(理想)出力 があればコスト値を機械学習的なアプローチで構築することができます。 さらに、正解データを人手で作る必要は必ずしもありません。 すなわち、Yahoo!の形態素解析器の出力結果を「擬似正解」とみなして MeCabの学習プログラムを走らせれば、Yahoo!の出力を高い精度で再現できる MeCab用辞書を作成することが原理的に可能です。 ふだんはあま
Yahoo!デベロッパーネットワークにテキスト解析APIが登場！
Yahoo!デベロッパーネットワークにテキスト解析APIが登場！ 2007-06-18-1 [WebTool][NLP][MECAPI][Programming] Yahoo!デベロッパーネットワークに「テキスト解析」が登場しました。 第一弾は日本語形態素解析APIです。 ヤフーのいろんなところに使われている WebMA という 形態素解析エンジンのAPIです。 - Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語形態素解析 http://developer.yahoo.co.jp/jlp/MAService/V1/parse.html MECAPI の仕様に似ていますが、まあそういうものです。 (MECAPI https://maapi.net/) で、先日 MECAPI で作った「文で検索」[2007-04-03-1]の WebMA 版を作ってみました。「文で検索2」
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
koress.jp
http://blog.fulltext-search.biz/articles/2007/09/08/tf-idf-by-ruby
ライブドアブログ｜無料で豊富な機能が充実