RSS を読み込んでランダムな文章を生成する
RSS を読み込んでランダムな文章を生成する 2008-09-07-3 [Programming][NLP][IIR][WebAPI] 今日のIIR輪講[2008-09-07-2]の内容のフォローも兼ねて、ちょっとしたハックを紹介。 bigram language model に基づく、ランダム文生成を行います。 って、まあ、単純にある単語の次に現れる単語の分布を用いて、文章を生成していくだけですが。 以下、サンプルプログラムと実行例です。 サンプルコード rss-lm.pl #!/usr/bin/perl use strict; use warnings; use XML::RSS; use LWP::Simple; use XML::Simple; use URI::Escape; use utf8; binmode STDOUT, ":utf8"; my $appid = "Yaho
ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」
ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」 2008-08-21-1 [WebTool][NLP][Programming][Algorithm] Yahoo!デベロッパーネットワーク(YDN)に 「日本語係り受け解析Webサービス」が登場しました。 Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語係り受け解析 http://developer.yahoo.co.jp/jlp/DAService/V1/parse.html 「係り受けってなに？」という方もいると思うので、 以下、まったくもって厳密ではない、適当な解説を試みます。 (1) 日本語をコンピューターで処理するには、 まず形態素解析というのをやって、 文を形態素（≒単語）単位に分割します。 YDN の「日本語形態素解析Webサービス」[2007-06-18-1] で試すことができ
コンテンツマッチの失敗例と形態素解析の必要性
コンテンツマッチの失敗例と形態素解析の必要性 2008-07-01-3 [NLP][Blog][Book] いしたにさんのブログ「みたいもん！」[mi]にて、紹介もしてないし、関連もないのに、なぜかやたら「チコバイブル」という本が Amazon おまかせリンク（アマゾンのコンテンツマッチ商品紹介ブログパーツ）で登場するという現象が。 - みたいもん！にはなぜやたらに「チコバイブル」ばかり出てくるのか？ http://mitaimon.cocolog-nifty.com/blog/2008/06/post_ab8d.html 謎が解けたようです。 - まさに自業自得のチコバイブル http://mitaimon.cocolog-nifty.com/blog/2008/07/post_c6f5.html まずは答えを先に書いてしまいましょう。 チコ＝クチコミ でした！確かにこのブログには死ぬほ
TinySegmenter: Javascriptだけで実装されたコンパクトな分かち書きソフトウェア
TinySegmenterはJavascriptだけ書かれた極めてコンパクトな日本語分かち書きソフトウェアです。 わずか25kバイトのソースコードで、日本語の新聞記事であれば文字単位で95%程度の精度で分かち書きが行えます。 Yahoo!の形態素解析のように サーバーサイドで解析するのではなく、全てクライアントサイドで解析を行うため、セキュリティの 観点から見ても安全です。分かち書きの単位はMeCab + ipadicと互換性があります。 デモ 日本語の文章を入力し、解析ボタンをクリックしてください。 ダウンロード TinySegmenterはフリーソフトウェアです. 修正BSDライセンスに従って本ソフトウェアを使用,再配布することができます. Download TinySegmenter version 0.2 使い方 <script type="text/javascript" src
楽天技術研究所のテクノロジー講演会「連想の情報学」にいってきた
楽天技術研究所の森正弥さんに誘っていただいて、テクノロジー講演会に行ってきました。 今回は「連想の情報学」がテーマで 国立情報学研究所 高野 明彦 教授にお話を伺うことが出来ました。 簡単に言うと「検索結果を使って、関連情報を検索できる」 といったところです。 物を思い出す時って、人間もそうですが、何かの連想から生まれることが多いです。 例えば、 「あーあれなんだっけ文防具の」 「なに？」 「針と鉛筆がついてて円を書くあの道具」 「あーえーっと、コンパス！」 「それそれコンパス！」 つまりは、赤といえばりんご、りんごといえば果物みたいな、 連想的に検索が行える仕組みの話です。 それを具現化し実現化したものが「GETA」というエンジン。 これはオープンソースで、ASCII24の関連記事の表示などにも使われているそうです。 では実際に連想検索をどうやって実現するかについて簡単に触れてみます。
Yahoo!デベロッパーネットワークにテキスト解析APIが登場！
Yahoo!デベロッパーネットワークにテキスト解析APIが登場！ 2007-06-18-1 [WebTool][NLP][MECAPI][Programming] Yahoo!デベロッパーネットワークに「テキスト解析」が登場しました。 第一弾は日本語形態素解析APIです。 ヤフーのいろんなところに使われている WebMA という 形態素解析エンジンのAPIです。 - Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語形態素解析 http://developer.yahoo.co.jp/jlp/MAService/V1/parse.html MECAPI の仕様に似ていますが、まあそういうものです。 (MECAPI https://maapi.net/) で、先日 MECAPI で作った「文で検索」[2007-04-03-1]の WebMA 版を作ってみました。「文で検索2」
キーワード抽出モジュール Lingua::JA::Summarize を使うコツ (nakatani @ cybozu labs)
いわゆる「Web2.0」っぽい要素である「タグ」。 一般にはタグ付けは手動で行うわけですが、自然言語テキストへのタグ付け(キーワード抽出)を自動で行うことができれば、あれこれと可能性が広がって楽しそう……しかし、それは実現が難しかったり高コストだったりして、簡単に手を出せる解はあまりありません。 ラボの奥さんの作成したキーワード抽出モジュール Lingua::JA::Summarize は次の特徴を持っています。 動作要件の敷居が低い 辞書のメンテナンスをしなくても、未知語や熟語もある程度抽出してくれる 希望の結果に近づけるためのチューニングが可能 本モジュールを使って、サイボウズ・ラボ内での情報交換を行っている社内掲示板をスレッド単位で解析しているのですが、辞書を一切チューニングしていない状態でも「しょこたん☆ぶろぐ」や「猫かぶり隊隊員ニャンコ達」などの特徴的なキーワードが抽出されます（
あの言葉はなぜブログで話題になっている？--kizasiがニュースと連動 - CNET Japan
ブログ上で話題になっているキーワードのランキングを紹介する「kizasi.jp」を運営するシーエーシー（CAC）は10月2日、読売新聞東京本社と提携し、kizasiで話題のキーワードに関連したニュースの掲載を始めた。これにより、キーワードが話題になっている背景情報を提供する考えだ。 読売新聞のニュースサイト「YOMIURI ONLINE」のニュース記事のうち、それぞれのキーワードに沿った内容の記事の見出しを掲載する。シーエーシーの言語解析エンジン「Kizasi Search Engine」を使ってYOMIURI ONLINEの記事を解析し、関連度合いの高いものを最大3本表示する。 シーエーシーでは今後、ニュースだけでなくエンターテインメント関連情報や企業の商品カタログ、小説などとkizasiのキーワードを関連づけて表示していく考え。これにより、世の中で話題になっているトピックをより詳しく紹
今日の井原. - blog検索エンジン「NAMAAN」の中身
2008年09月 (1) 2008年05月 (6) 2008年04月 (3) 2008年03月 (4) 2006年10月 (3) 2006年09月 (2) 2006年08月 (5) 2006年07月 (4) 2006年06月 (8) 2006年05月 (7) 2006年03月 (3) 2006年02月 (3) 2006年01月 (6) 2005年12月 (3) 2005年11月 (10) 2005年10月 (23) 2005年09月 (22) 2005年08月 (25) 2005年07月 (22) 2005年06月 (11) 2005年05月 (20) 2005年04月 (13) 2005年03月 (18) 2005年02月 (22) 2005年01月 (3) 2004年12月 (7) 2004年11月 (31) 2004年10月 (4
今日の井原. - CatchPhraser(きゃっちふれいざー): スニペットとしてキャッチコピーを表示するblog検索エンジン
これから宣伝をしますよ。宣伝を。ええとですね。 研究室の卒研生であるところの松田さんが、卒業研究として開発した「CatchPhraser(きゃっちふれいざー)」というシステムを公開しました。CatchPhraserはblogを対象とした検索エンジンです。blog記事の内容を反映したキャッチコピーを自動生成し、検索結果に出力します。 キャッチコピーの表示によって、blogを検索するという行為自体が楽しみとなるようなシステムを目指しています。 通常、Web検索エンジンの検索結果には、そのWebページのスニペット(要約)が表示されます。スニペットの作成には、検索キーワードの周辺部分を取り出すKWIC(KeyWord In Content)という手法が使われることが多いです。GoogleやYahooもKWICを使っていますね。 KWICは有効性の高い手法ですが、問題が無いわけではありません。取り出
日本語形態素解析エンジン・言語郎 | 形態素解析とは？
自然言語で書かれた文を、形態素（言語で意味を持つ最小単位）に分割する技術です。この際、辞書 (「品詞」などの情報つきの単語リスト)中の情報を参照することで、「品詞」、「活用形」、「読み」等の情報を得ることが可能です。
[を] 形態素解析と検索APIとTF-IDFでキーワード抽出
形態素解析と検索APIとTF-IDFでキーワード抽出 2005-10-12-1 [Programming][Algorithm] 形態素解析器と Yahoo! Web 検索 API と TF-IDF を使ってキーワード抽 出するという先日の検索会議でのデモ、KEYAPI[2005-09-30-3]。 教科書に載っているような基本中の基本ですが、あらためてエッセンスを 簡単な例で解説したいと思います。 目的：キーワード抽出対象テキストから、そのテキストを代表する キーワードを抽出します。TF-IDF という指標を用います。（この値が大 きいほどその単語が代表キーワードっぽいということでよろしく。） TF-IDF を計算するためには、 (1) キーワード抽出対象テキスト中の代表キーワード候補出現数 (TF)、 (2) 全てのドキュメント数 (N)、 (3) 代表キーワード
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blog.so-net.ne.jp/shi3z/2008-01-20
http://taweb.aichi-u.ac.jp/saitom/joho/tekisutoshori.htm
http://qdbm.sourceforge.net/mikio/rbbs.cgi?id=RA11393420052863709012
http://www.media.t-kougei.ac.jp/~nagae/2ch/
きまぐれ日記: MeCab 0.90 だけをつかって Auto Link
http://qdbm.sourceforge.net/mikio/rbbs.cgi?id=RA11324786671043630896