日本語解析API、「gooラボ」で公開 形態素解析やひらがな化など
NTTレゾナントは12月3日、日本語解析技術に関するAPIを「gooラボ」で公開した。NTT研究所が開発し、長年「goo」で利用してきたAPIで、自社コンテンツを提供する企業やビッグデータ解析技術を求める企業などでの活用を想定している。 公開したのは、文字列を形態素に分割する「形態素解析」、2つの語句の類似度合いを算出する「語句類似度算出」、文字列から人名や地名、組織名などを抽出する「固有表現抽出」、漢字混じりで書かれた文字列をひらがなかカタカナに変換する「ひらがな化」のAPI。 今後も、企業や大学などからニーズが高い技術を公開し、オープンコラボレーションを加速するとしている。 関連記事 変わるAPIのエコシステム ヤフーはなぜ、検索APIを有料にしたか TwitterのAPI利用制限が厳しくなり、ヤフーが検索API有料化を発表し……昨年は、大規模サービスのAPI公開姿勢に大きな変化があっ
TinySegmenter: Javascriptだけで実装されたコンパクトな分かち書きソフトウェア
TinySegmenterはJavascriptだけ書かれた極めてコンパクトな日本語分かち書きソフトウェアです。 わずか25kバイトのソースコードで、日本語の新聞記事であれば文字単位で95%程度の精度で分かち書きが行えます。 Yahoo!の形態素解析のように サーバーサイドで解析するのではなく、全てクライアントサイドで解析を行うため、セキュリティの 観点から見ても安全です。分かち書きの単位はMeCab + ipadicと互換性があります。 デモ 日本語の文章を入力し、解析ボタンをクリックしてください。 ダウンロード TinySegmenterはフリーソフトウェアです. 修正BSDライセンスに従って本ソフトウェアを使用,再配布することができます. Download TinySegmenter version 0.2 使い方 <script type="text/javascript" src
ブログランキング & 成分解析｜blogram
Gamblogramへようこそ ギャンブログラム（Gamblogram）では、人気のカジノサイトを中心に、カジノゲームについて紹介しています。オンラインカジノは、現在日本でも人気が高まっており、多くのプレイヤーが楽しんでいますが、オンラインカジノはまだまだ日本での普及が進んでいないため、プレイヤーが信頼できるサイトを選ぶことが大切です。 そこでギャンブログラムは安心・安全な運営元が提供するサイトであり、日本語対応のサポートも充実している厳選された人気のカジノサイトを紹介しています。また、各カジノサイトの特徴やボーナス、ゲームの種類などを詳しく解説しているので参考にしてください！ さらに安全性の高いオンラインカジノサイトのみを紹介するだけではなく、カジノゲームについても紹介しています。ルーレットやブラックジャック、バカラなどの人気のテーブルゲームから、スロットゲーム、ビデオポーカーまで、幅広
いまさら聞けないHadoopとテキストマイニング入門
ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 Hadoopを活用している企業は年々増え続けていて、不可欠な技術になりつつあるといえるでしょう。 本連載では、Hadoopとは何か、Hadoopがどう活用できるのかということを、「テキストマイニング」に焦点を当てて解説していきたいと思います。 重い処理を複数のマシンに分散させる 複数のマシンに処理を分散させるには、プロセス同士の通信、監視、障害時の対応などを考えなければならず、プログラマにとってハードルが高いものです。しかし、Hadoopはそういった面倒くさい処理を一手に引き受けてくれ、プログラマは、やりたい処理だけに集中できます。 例えば、Hadoopを使うと、1
kakasi に辞書を追加する。｜UNIX ( Linux FreeBSD )コマンドメモ｜プログラムメモ
1. 最新版の kakasi をダウンロード（http://kakasi.namazu.org/）し 辞書の元ファイル（kakasidict）をアップロードしておく. ======================= （アップロードファイル）kakasidict （アップロード先）/usr/local/share/kakasi/ ======================= 2. 「kakasi_dictionary_artist.txt（例）」というファイルに追記していく 例：（最初にひらがな、次に半角スペース、次に漢字） 文字コード【EUC】改行コード【LF】 ======================= よみ 漢字 ======================= 3. ディレクトリ移動と辞書ファイルのバックアップ ==================================
Index of /
Index of / NameLast modifiedSizeDescription ChangeLog2014-03-18 16:11 3.8K index.html.en2014-03-18 16:11 7.1K index.html.ja2014-03-18 16:11 14K kakasi.css2000-01-25 00:55 800 orz.gif2004-05-24 22:17 4.1K robots.txt2000-01-25 00:55 0 stable/2014-03-18 15:40 - Apache/2.4.57 (Debian) Server at kakasi.namazu.org Port 80
日本語を音素に分解してくれるPythonスクリプト
プログラミングとか、見た番組とか、興味を持っていろいろ調べてみたこととか、そういうものを書き留めるためのもの NVDA JPを触っていたら、付属の音声合成eSpeakに日本語がないのはとても残念だと思った。NVDAのポータブル版にそれが入っていれば、USBメモリを差せばどのWindowsXPも、音声パソコンにすることができるから。そういうわけで、いろいろ調べてみた。結局まだできないのだけど、ちょっと面白いものができたので、公開してみることにする。 eSpeakを調べていると、MBROLAという音声合成のプロジェクトを見つけた。世界中の音声が用意されていて、これで使える日本語音声も三種類公開されている。MBROLAのプログラムに音素で表記された文章を与えると、それを音声として読み上げてくれる。これはとても面白い。ということで、漢字仮名交じりの日本語をこれで使える音素に分解するスクリプトを作っ
Text::Kakasi
NAME Text::Kakasi - perl frontend to kakasi SYNOPSIS use Text::Kakasi; # functional $res = Text::Kakasi::getopt_argv('-JJ', '-c', '-w'); $str = Text::Kakasi::do_kakasi($japanese_text); # object-oriented $obj = Text::Kakasi->new('-JJ', '-c', '-w'); $str = $obj->get($japanese_text); DESCRIPTION This module provides interface to kakasi (kanji kana simple inverter). kakasi is a set of programs and lib
形態要素解析の比較 MeCab / Yahoo!API - 真夜中のプログラミングTips
MeCab と Yahoo!日本語形態素解析API の解析結果の特徴を調べてみました。MeCab, Yahoo!APIともに「名詞」に限定して出現頻度を調べました。 - ※ MeCab についてはmecab + PHP で形態素解析（出現頻度）の方法を参照 ※ Yahoo!日本語形態素解析APIの使い方についてはドキュメントを参照。（基本的なAPIなので省略） - １．ドラゴンボール wikipedia ドラゴンボールのストーリーを使用。 七つ集めれば、どんな願いでも一つだけ叶えてくれる「神龍（シェンロン）」を呼び出すことができる、ドラゴンボール。それに関わる様々な冒険物語で、人里はなれた山奥に住む尻尾の生えた少年・孫悟空がドラゴンボールを求めて西の都から来た少女・ブルマと出会うところから物語は始まる。 やがて最初のドラゴンボール探しの途中で知り合った亀仙人の下で修行し、天下一武道会やレッ
Text::AutoLink
NAME Text::AutoLink - Automatically Linkfy SYNOPSIS use Text::AutoLink; my $auto = Text::AutoLink->new; my $text = $auto->parse_string('http://search.cpan.org'); # '<a href="http://search.cpan.org">http://search.cpan.org</a>' my $auto = Text::AutoLink->new( plugins => [ 'Text::AutoLink::Plugin::HTTP' Text::AutoLink::Plugin::FTP->new(%args) ] ); DESCRIPTION Text::AutoLink is a module inspired by Te
形態素解析 エンジン 一覧
ChaSen 日本語形態素解析システム CaboCha Support Vector Machines に基づく日本語係り受け解析器 JSplitter 日本語の単語抽出ツール MeCab ChaSenを基に開発された高速な形態素解析器 Sen Java 形態素解析エンジン すもも NTT 物性科学基礎研究所で開発された日本語形態素解析システム 大量の日本語データを高速に形態素解析することを目的 JUMAN 日本語の解析の研究を目指す多くの研究者に共通に使える形態素解析ツール Breakfast 富士通研究所が開発した日本語形態素解析システム KNP 日本語文の構文解析を行なうシステム SUFARY suffix arrayというデータ構造を用いて高速な文字列検索を行なう MACD Java RM用いた形態素解析システム Rosette Google、Amazon、Lycos 等名だたるサ
マルコフ連鎖で文生成 - のんびり読書日記
今回はデータマイニングっぽい話ではなくて、ちょいネタで。昨日の記事でWP2TXTを使ってwikipediaのテキスト情報を取り出したので、これを使ってちょっと遊んでみます。以前プログラミング作法を読んだときに載っていた、マルコフ連鎖を試してみたいと思います。 プログラミング作法 作者: ブライアンカーニハン,ロブパイク,Brian Kernighan,Rob Pike,福崎俊博出版社/メーカー: アスキー発売日: 2000/11メディア: 単行本購入: 58人 クリック: 1,152回この商品を含むブログ (203件) を見る 作ったのはこんな感じ。そろそろコードのベタ張りはやめます。次あたりからはgithubにでも置きますかね。あれってちゃんとしたプロジェクトものしか置かない方がいいのかなと思ってたのですが、別に勉強用コードを置いてる人も結構いるんですね。僕も適当に置きまくろう。 #!/
テキスト解析:日本語形態素解析API - Yahoo!デベロッパーネットワーク
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
Yahooの日本語形態素解析Webサービスを使ってみる
Yahooの日本語形態素解析Webサービスを使ってみる Yahooが日本語形態素解析Webサービス・WebMAを公開しました。 ここでは、このWebサービスとともに、日本語形態素解析の説明をしてみます 形態素解析 - Wikipedia -に、詳細説明があります。 簡単に言うと、日本語の構文を分析して、各パーツの品詞（名詞、動詞、形容詞、助詞など）に分け、例えば、名詞の使われている順にページ内でどんな言葉が一番使われているのかを決定し、それにあわせた広告を表示したり（コンテンツマッチ型の広告）することができるわけです。 一番有名なサービスが、googleのadsense。 日本語形態素解析というのは、古くからあるサービスで、 比較的メジャーなのを挙げてみると、 MeCab、ChaSen、JUMAN、KAKASI なんてのがあります。 どれも、UNIX(LINUX)にインストー
Python – Hoge Knowledge
メモ．主に日記からの転載． 行番号を得る Perl で言うところの __LINE__ みたいなもの． スタックフレームを参照すれば良い． import inspect def lineno(): return inspect.currentframe().f_back.f_lineno if __name__ == '__main__': print lineno() >>> def hoge(*a): ... print a >>> hoge(1, 2, 3) (1, 2, 3) >>> def hage(a, b, c): ... print a, b, c >>> a = (1, 2, 3) >>> hage(*a) 1 2 3 >>> def hige(**a): ... print a >>> hige(a=1, b=2, c=3) {'a': 1, 'c': 3, 'b': 2
マルコフ連鎖プログラム - pyletの日記
プログラミング作法に載っていたマルコフ連鎖プログラムを作ってみました。 プログラミング作法 作者: ブライアンカーニハン,ロブパイク,Brian Kernighan,Rob Pike,福崎俊博出版社/メーカー: アスキー発売日: 2000/11メディア: 単行本購入: 58人 クリック: 1,152回この商品を含むブログ (209件) を見る import sys, random MAXGEN = 1000 nonword = "\n" w1 = w2 = nonword statetab = {} while 1: line = sys.stdin.readline() if line == "": break for word in line.split(): if not statetab.has_key((w1, w2)): statetab[(w1, w2)] = [] stat
「圧縮新聞」を作った - phaの日記
僕は昔からロボットがロボットなりに変な文章を生成して喋ったりする人工無脳とかそういう仕組みが好きで、最近はそのへんの仕組みを勉強していました。それで大体仕組みの基本はわかったので簡単なスクリプトを書いてみたよ。 圧縮新聞 このスクリプトはウェブ上にある新聞社とかのニュースの文章を元にして、バラバラにして圧縮してまとめた文章を作るので、ざっと眺めるだけでその日起こった事件の全体が何となくわかるかもしれません。リロードするたび文章は変わります。 生成例 しょうゆ・みそ業界大手のＮＯＶＡ（大阪市）が入った郵便小包は、北朝鮮の鉄道網を連結する計画だったらしいことが２１日、わかった。タンクに灯油を補給した。検案の結果、財政難などをほとんど与えずに６者協議の外相会議の早期再開に期待を表明した国と製薬会社に賠償を求めた。その後、死亡した。 しくみ こういった人工無脳みたいな文章生成をするには形態素解析と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
ChasenとKakasiとMeCabの形態素解析・わかち書きの比較
Blog - Mikula Beutl - SEO Consulting
