形態素解析を使って適当なnickを作ってWassrに送信するまで - すぎゃーんメモ
MacにてText::MeCabを使う - すぎゃーんメモで下準備を終えた。 何がしたかったかというとこれ。 まずはこんなスクリプトを書いてみた。 #!/opt/local/bin/perl use strict; use warnings; use Text::MeCab; my $mecab = Text::MeCab->new(); my $n = $mecab->parse($ARGV[0]); my @nodes = (); # 分かち書きしたものを一つの配列に入れる my @noun = (); # 名詞を検出した番号を格納する my $index = 0; while ($n = $n->next) { push(@nodes, $n->prev->surface); if ((split(/,/, $n->prev->feature))[0] eq '名詞') { push
nabokov7; rehash : 第二回SBM研究会 & 研究用データの公開方法
December 07, 200801:35 カテゴリ公開やら広報やら 第二回SBM研究会 & 研究用データの公開方法 「事業者から見たソーシャルブックマーク」というタイトルで、第二回SBM研究会で発表してきました。 「SBM研究を加速・拡大するために−SBM事業者には何ができるのか 」というパネルディスカッションの前置きとして発表したものですので、研究者の方々にむけて「事業者からはソーシャルブックマークがどう見えているのか」を解説するのが主な趣旨になっています。 1. CGMを構成するサービス/ツールには、情報を創出する、付加価値を与える、消費する、という3つのレイヤがあります。 2. ソーシャルブックマークサービス(以下、SBM) は、このうち主に「情報に付加価値を与える」役目を担います。「付加価値」とは第三者による客観的な評価や情報間の関連づけなどで、この結果「人のつながり」と「情報
kanmisikou.net - 初音ミク フォント 制作 志向 甘味 ニコニコ 感性 状況 リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」
ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」 2008-08-21-1 [WebTool][NLP][Programming][Algorithm] Yahoo!デベロッパーネットワーク(YDN)に 「日本語係り受け解析Webサービス」が登場しました。 Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語係り受け解析 http://developer.yahoo.co.jp/jlp/DAService/V1/parse.html 「係り受けってなに？」という方もいると思うので、 以下、まったくもって厳密ではない、適当な解説を試みます。 (1) 日本語をコンピューターで処理するには、 まず形態素解析というのをやって、 文を形態素（≒単語）単位に分割します。 YDN の「日本語形態素解析Webサービス」[2007-06-18-1] で試すことができ
大規模テキスト処理を支える形態素解析技術（工藤拓氏・Google） - Cafe Babe
第80回知識ベースシステム研究会を開催したが，二日間で58名の方々に参加して頂き，積極的に議論に加わって頂いた．この場を借りて，参加してくれた方々に感謝したい．大変遅くなった（爆）が，Googleの工藤拓氏による招待講演「大規模テキスト処理を支える形態素解析技術」の概要を，このブログで報告しておきたい．工藤氏の専門分野は統計的自然言語処理と機械学習であるが，日本語形態素解析エンジンMeCabの開発者であり，他にも自然言語処理関連の有益なツールや，Webベースの日本語入力を可能にするAjax IMEのようなユニークなサービスを提供しているなど，時代をリードする研究開発者の一人である．彼の活動に興味があれば，彼のブログ「きまぐれ日記」は必見だろう． なお，当日は弊社側の不手際で，予定していた工藤氏の重要なデモをおこなうことができなかった．弊社はネットワーク会社であるにもかかわらず，ネットワーク
「圧縮新聞」を作った - phaの日記
僕は昔からロボットがロボットなりに変な文章を生成して喋ったりする人工無脳とかそういう仕組みが好きで、最近はそのへんの仕組みを勉強していました。それで大体仕組みの基本はわかったので簡単なスクリプトを書いてみたよ。 圧縮新聞 このスクリプトはウェブ上にある新聞社とかのニュースの文章を元にして、バラバラにして圧縮してまとめた文章を作るので、ざっと眺めるだけでその日起こった事件の全体が何となくわかるかもしれません。リロードするたび文章は変わります。 生成例 しょうゆ・みそ業界大手のＮＯＶＡ（大阪市）が入った郵便小包は、北朝鮮の鉄道網を連結する計画だったらしいことが２１日、わかった。タンクに灯油を補給した。検案の結果、財政難などをほとんど与えずに６者協議の外相会議の早期再開に期待を表明した国と製薬会社に賠償を求めた。その後、死亡した。 しくみ こういった人工無脳みたいな文章生成をするには形態素解析と
辞書不要の形態素解析エンジン「マリモ」とは − ＠IT
2007/08/15 検索サービスを提供するベンチャー企業のムーターは8月1日、辞書を必要としない形態素解析エンジン「マリモ」の提供を開始した。従来、形態素解析では品詞情報を含む日本語辞書を用意するのが常識だったが、マリモでは、そうした辞書を不要とした。新技術のアプローチと特性について、開発元のムーターに話を聞いた。 統計処理で単語部分を推定 形態素解析とは、与えられた文を、文法上意味のある最小の単位（形態素）に区切る処理。「今日は晴れています」なら、「今日（名詞）／は（助詞）／晴れ（動詞）／て（助詞）／い（助詞）／ます（助動詞）」と分ける。検索エンジンをはじめ、さまざまな自然言語処理の場面で必要となる基礎技術だ。 形態素解析を行うには、あらかじめ品詞情報が付加された数十万語からなる辞書を用意する必要がある。また、新語や造語、専門用語に対応するには、個別に人力で単語を登録する必要がある。
ワードサラダ技術について
後半部分が重要で、未来の挙動が現在の値だけで決定され、過去の挙動と無関係である ということです。 さて、実例です。たとえば次の文章を考えてみます。 「通信販売大手セシールは９日、生命保険の販売に本格参入する方針を明らかにした。」 まず形態素解析するとこんな感じになります。 通信 名詞,サ変接続,*,*,*,*,通信,ツウシン,ツーシン 販売 名詞,サ変接続,*,*,*,*,販売,ハンバイ,ハンバイ 大手 名詞,一般,*,*,*,*,大手,オオテ,オーテ セシール 名詞,固有名詞,組織,*,*,*,セシール,セシール,セシール は 助詞,係助詞,*,*,*,*,は,ハ,ワ ９ 名詞,数,*,*,*,*,９,キュウ,キュー 日 名詞,接尾,助数詞,*,*,*,日,ニチ,ニチ 、 記号,読点,*,*,*,*,、,、,、 生命 名詞,一般,*,*,*,*,生命,セイメイ,セイメイ 保険 名詞,一般
Yahoo!の日本語形態素解析Webサービスを使ってTwitterで流行っているキーワードをクラウド化 - Do You PHP はてブロ
Yahoo!JAPANがまたサービスを出してきました。このサービス、利用制限はありますが、結構使えそうです。 ヤフーは6月18日、開発者向けサイト「Yahoo!デベロッパーネットワーク」において、日本語の文章を解析できるAPI「日本語形態素解析Webサービス」を公開した。 先日MeCab extensionを使ってTwitterで流行っているキーワードをクラウド化してみましたが、MeCab extensionをYahoo!のサービスに置き換えたものを書いてみました。 使ったライブラリは PEAR::HTTP_Request PEAR::HTML_TagCloud Services_Twitter の3つです。まあ、そのうちYahoo用のライブラリも出てくるでしょうから、それを使えばもっと簡単に書けそうです。やっぱ、SimpleXML楽すぎ！ :-D <style> div.taglist
Yahoo!デベロッパーネットワークにテキスト解析APIが登場！
Yahoo!デベロッパーネットワークにテキスト解析APIが登場！ 2007-06-18-1 [WebTool][NLP][MECAPI][Programming] Yahoo!デベロッパーネットワークに「テキスト解析」が登場しました。 第一弾は日本語形態素解析APIです。 ヤフーのいろんなところに使われている WebMA という 形態素解析エンジンのAPIです。 - Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語形態素解析 http://developer.yahoo.co.jp/jlp/MAService/V1/parse.html MECAPI の仕様に似ていますが、まあそういうものです。 (MECAPI https://maapi.net/) で、先日 MECAPI で作った「文で検索」[2007-04-03-1]の WebMA 版を作ってみました。「文で検索2」
テキスト解析:日本語形態素解析API - Yahoo!デベロッパーネットワーク
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
【レビュー】MeCabで形態素解析、はてなとWikipediaが知恵袋に - infony登場 (1) infonyとは | エンタープライズ | マイコミジャーナル
日々ネットに溢れ出る情報を収集し、フィルタリングし、振り分けて情報を摂取し続けるジャンキー達。そんな我々のための興味深いツールとしてInfolustを紹介した。InfolustはWikipediaを活用したサービスで、指定したページのコンテンツを要約して表示するWebサービスだ。Wikipediaを知識ベースとして自動的に処理をおこなうという、さながらオート編集者というべきものだ。 今回はinfonyを紹介したい。5日に公開されたサービスで、指定したページを解析してキーワードごとに解析結果を表示するというもの。Infolustを日本向けにカスタマイズして開発したようなサービスだ。 テキストの形態素解析には、京都大学情報学研究科−日本電信電話株式会社コミュニケーション科学基礎研究所共同研究ユニットプロジェクトにおいて開発された形態素解析エンジンである和布蕪(MeCab: Yet Anoth
del.icio.usのポスト時にページを解析してタグを追加する - higeorange's blog
Dance Party 上の画像のように，tagthenet.net でページを解析して重要そうな単語をサジェストとして追加してくれるGreasemonkeyスクリプト。 使えるかどうかは，tagthe.netの精度がどの程度かによるね。 参考 tagthe.netのAPIについて 追記 Operaで動くUserJavascriptを作った。全く同じじゃないけど。OperaのGMなんちゃらっての動かすためのuserjsを入れると元のスクリプトでも動くのかなぁ。 http://www14.plala.or.jp/operairc/customize/userjavascript/deliciousTagtheNet.js
tagthe.net - Webservice that tags your resources
Welcome to tagthe.net! This is a simple webservice that helps you in tagging textual content on and off the web. There are two ways of using it: by simply pasting a URL or a text in the fields below or uploading a file by using the REST API tagthe.net then returns a set of tags based on the textual content you specified. The service is mainly designed for developers, building applications that mak
[を] テキストマイニングを使う技術/作る技術
テキストマイニングを使う技術/作る技術 2006-12-28-3 [書評・感想] テキストマイニングの分野で有名なIBMの那須川哲哉氏による入門書。 全編具体的で分かりやすい。 ■那須川哲哉 / テキストマイニングを使う技術/作る技術 ―基礎技術と適用事例から導く本質と活用法 テキストマイニングというと、ブログや掲示板での特定の何かの評判情報 検索など、近年その活躍の場が一般ユーザの目に付くところまで広がって 来ている。 この本はテキストマイニングを支える技術、事例紹介、技術以外の側面 （運用など）はもちろん、「テキストマイニングとは何か」ということ についても初心者にも分かりやすいよう、かなり丁寧に解説されている。 一番重要なポイントが最初の方で述べられてる。これ、大切。 [...]テキストマイニングというものは、あくまで人間が膨大な文書データ を有効活用するた
[ThinkIT] 第3回：テキストマイニング技術の全貌 (3/3)
これまでの処理の結果を元にして、トピックス別の集計が可能になる。その結果、「どんなトピックスが何人から寄せられているのか」「全体のどのくらいの割合を示しているのか」を瞬時に把握することができる。 TRUE TELLERでは、単語ランキング、主な話題機能などで全体集計結果を提供し、テキストデータを俯瞰することができる。
zuzara : 文章からキーワードを抜き出すAPI: KOSHIAN
エラー<error> <message>GET/POST param q is invalid.</message> </error>米Y!の同じ機能を持ったAPIを参考にしています。 Term Extraction Documentation for Yahoo! Search Web Services サンプルレスポンス http://zuzara.dyndns.org/api/koshian?q=Microsoft+マイクロソフト <ResultSet> <Result id="2454">MICROSOFT</Result> <Result id="2454">マイクロソフト</Result> </ResultSet>デモフォーム 適当な文章を入力してください。 注意点 サーバの回線が細いのが不安です。将来的にドメイン名が変わる可能性が高いです。蹴飛ばしてケーブルが抜ける等の生活に
[を] MECAPI で JSONP 出力対応
MECAPI で JSONP 出力対応 2006-09-23-1 [MECAPI][NLP] Web 経由で MeCab を使うための API である MECAPI (http://mimitako.net/api/mecapi.cgi)で、JSONP出力対応しました。 callback というパラメタでコールバック関数を指定する仕様。 これによってドメインが違ってもクライアント側 JavaScript から MECAPI (JSON) を呼び出して使えます。 サンプルを下記に置いておきます。 昨日のやつ[2006-09-22-4]をちょこっと改造しただけです。 - MECAPIのJSON出力で形態素解析 http://chalow.net/misc/mecapi.html 参考： - [鏡] 入門 JSON 3 -- JSONP とコールバック関数 -- 戯れ言++
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
acotieのドキドキPerlプログラミング - acotie
http://www.asahi.com/business/update/0303/005.html