日本語係り受け解析器 CaboCha Ruby 拡張の基本的な使い方とちょっとした応用 - デー
ari3_botの会話エンジンで使っている自然言語の処理の中から他の方にも有益そうなところだけ書いておこうと思います。 このエンジン自体はアドホックにヒーリスティクスな処理を追加しまくっていて、とても説明しにくいのですが、基本的な部分だけ抜き出して……まとめて……解説します。全部実装できるほど詳細な解説はできないので、取っ掛かりになる程度です。 ちなみにCaboChaのAPIはきちんとしたドキュメントがない？ようで、僕はソースコードを自分で読んで得た知識から解説を行っています。また日本語文法関する知識もari3_botを作るためだけに得たものであり、あやしいので、あまり信じすぎないようにしてください。 もくじです。 ari3_botの会話エンジンとは CaboChaの基本的な使い方 CaboChaで主語と述語っぽいところを抜き出す 述語を活用してみる その他のいろいろなヒント まとめ ar
TechCrunch | Startup and Technology News
Welcome to Startups Weekly — Haje‘s weekly recap of everything you can’t miss from the world of startups. Sign up here to get it in your inbox every Friday. In…
SayKana - Mac用音声合成プログラム
SayKanaは、Mac OS X上で動作する日本語音声合成ソフトウェアです。OS Xに付属の say コマンド(英語の音声合成)と同様の機能を実装しています。 AquesTalk音声合成エンジンをMac OS X 上に移植したもので、基本的に『かな』からの音声合成であり、漢字かな交じり文は読み上げられません。 商用でなければ無償でご利用いただけます。 特徴 sayコマンドと同様の使用方法・インターフェース 女声/男声の声種切替可能 音声のAIFF保存 発話速度の変更 制限の少ない入力文字列 フロントエンドに簡易読みモジュールを含めましたので、音声記号列の表記仕様に合致しない文字列からでも、適切な読み上げを行うことができます。
世界中の人と日本語で話せる！？NICTが「言語グリッド」紹介
和歌山大学がセカンドライフ内に開設する「言語バリアフリールーム」。中国語を話す人と、京都の文化について会話している 日本語でチャット画面に「こんにちは」と書き込めば、ネットの向こうにいるフランス人の友人の画面には「Bonjour」と表示される――。言葉の壁を越えるこんなサービスの実現に向けて、一つのプロジェクトが動いている。情報通信研究機構（NICT）の「言語グリッドプロジェクト」だ。NICTは2008年3月17日、言語グリッドに関するシンポジウムを開催。言語グリッドの利用事例や、開発中のソフトウエアを紹介した。 言語グリッドは、世界中に存在するさまざまな技術やデータを共有し、多言語によるサービスを実現するための基盤ソフトウエアのこと。具体的には、機械翻訳エンジンや辞書、用例対訳（原文と、それを翻訳した文との組み合わせ）などの共有を目指す。こうした技術やデータ（言語資源と呼ぶ）は、世界各国
ステミングとは？
ステミングとは？ 2008-01-20-1 [IIR][NLP][Algorithm][Programming] 「Introduction to Information Retrieval」[1]の第二章 （次回の輪講の範囲）の2.2.4に出てくるステミング (Stemming) の 話題をまとめました。 § 英語などの欧米系の言語では、 意味的には同じ単語が語形変化により表層文字列が異なることがある。 例えば、"retrieves", "retrieved", "retrieving", "retrieval" などで[2]、実用上これらを同じ意味のものと見なし インデックス作成時に同じ単語として扱いたいという要求がある。 ステミング (stemming) はこのような語形変化を取り除き 同一の単語表現に変換する処理である。 ステミングの手法として、 ポーターのアルゴリズム (Port
Google Japan Blog: 大規模日本語 n-gram データの公開
突然ですが、穴埋めクイズです。下線部に入る単語はなんでしょう? グーグルで_____ おそらく、「検索」「調べる」「探す」といった単語を思いつくのではないでしょうか？ 実際に、Webにあるドキュメントをくまなく調べ、「グーグルで」の後にくる単語を調べると、「検索」が1位であるとがわかります。 一般に、直前の(N-1)個の単語を見て、次の単語を予測するモデルをN-gram言語モデルといいます。さきほどは、「グーグル」 と 「で」の2単語から次を予想しているので、3-gram言語モデルの例となります。現時点の単語が、直前の(N-1)個のみに影響を受けるという仮説は、一見現実離れしているようですが、実際には非常に有効な場合も多く、かな漢字変換、OCRのエラー訂正、機械翻訳、音声認識などに広く用いられています。たとえば、音声認識の場合、ノイズ等で現時点の単語をシステムが聞き取れなくても、言語モデル
マジでこれ凄いな商用もフリーって 歌う合成音声ソフト「初音ミク」:アルファルファモザイク
編集元：ニュース速報板より「歌う合成音声ソフト「初音ミク」 ヤマハが開発」 1 光圀(catv?) :2007/09/08(土) 14:11:45 ID:Ylg+C+i00 ?PLT(12001) ポイント特典 コメントをつけて楽しむ動画投稿サイト「ニコニコ動画（ＲＣ）」で、「初音ミクに○○を歌わせてみた」といった投稿が急増、人気ランキング上位にも連日登場している。動画を再生すると聞こえてくるのはアニメのような少女の歌声だが、実はこの歌声、８月３１日に発売された音楽制作ソフト「初音ミク」で作り出した合成音声だ。 同ソフトは、札幌市の電子音楽業、クリプトン・フューチャー・メディアがヤマハ（浜松市）の音声技術「ボーカロイド２」を活用して制作。メロディと歌詞を自由に入力することで、声優の藤田咲さんの声をベースにしたバーチャル・アイドル歌手「初音ミク」が本物の人間のように歌ってくれる。その自
[B! nlp] pcodのブックマーク
先週、 @sla さん主催のNIPS2013読み会で、word2vec論文（正確には続報）の紹介をしました。 ちょっと解説を書きます。 このところの深層学習ブームは自然言語処理にも来ていて、それらのウチの1つと言われています（が、全然deepっぽさはない）。 最初のモチベーションがどういうところにあったかというのは、ちょっと色々だと思いますが（おそらく最初は言語モデルにおける低頻度語の確率をウマイことモデル化・推定したかったんではないかな）、何はともあれ単語の意味的なあるいは統語的な振る舞いをベクトル表現で表すという研究が流行っております。 ベクトル表現というのは、1つの単語wに対して、その単語を「表現」するようなベクトル v(w) を作ります。 そんなこといわれても、作れば？ということなんですが、できたベクトルに対して何かしら「都合のいい」性質ができることが真の目標です。 「都合のいい」
Graphical visualization of text similarities in essays in a book | munterbund.de
In 2004 a book was published by the Interaction Design Institute of the University of Applied Sciences and Arts Zürich, on the subject of "the interaction" and its place in the world of man-machine-communications. The book, Total Interaction, is a compilation of nineteen essays which offer different perspectives on this complex thematic field; the issues they tackle form the basis of the Institut
辞書不要の形態素解析エンジン「マリモ」とは − ＠IT
2007/08/15 検索サービスを提供するベンチャー企業のムーターは8月1日、辞書を必要としない形態素解析エンジン「マリモ」の提供を開始した。従来、形態素解析では品詞情報を含む日本語辞書を用意するのが常識だったが、マリモでは、そうした辞書を不要とした。新技術のアプローチと特性について、開発元のムーターに話を聞いた。 統計処理で単語部分を推定 形態素解析とは、与えられた文を、文法上意味のある最小の単位（形態素）に区切る処理。「今日は晴れています」なら、「今日（名詞）／は（助詞）／晴れ（動詞）／て（助詞）／い（助詞）／ます（助動詞）」と分ける。検索エンジンをはじめ、さまざまな自然言語処理の場面で必要となる基礎技術だ。 形態素解析を行うには、あらかじめ品詞情報が付加された数十万語からなる辞書を用意する必要がある。また、新語や造語、専門用語に対応するには、個別に人力で単語を登録する必要がある。
NEC、トリプルメディアの時代において、ソーシャルメディアへの取り組みを推進するため、「公式アカウント一覧」および「「ソーシャルメディアポリシー」を公開 | 日本電気株式会社 | New
Accurately conveying Japan, present and future, to the world. Mission Providing trustworthy information that deepens understanding of, and generates interest in, Japan. 世界中で、日本に興味を持つ人を増やし、日本についての理解を深めるために、私たちは、信頼できる情報を提供します。 Vision Contributing to a better world through the promotion of mutual understanding between Japan and various international communities. 日本と世界の相互理解を推進することで、よりよい世界の実現に貢献します。
MEによる日本語係り受け解析 - dependency-analysis.pdf (application/pdf オブジェクト)
MEによる日本語係り受け解析 太田一樹 東京大学理学部情報科学科 4 年 kzk@is.s.u-tokyo.ac.jp 2007/06/07 概 要 日本語の構文解析において、係り受け解析は自然言語処理の基本技術の一つとして認識され ている。近年では構文情報が付加された大規模コーパスが利用になったことや、使用できるコ ンピューターの性能が伸びてきたことから、機械学習の手法を用いた係り受け解析手法が数多 く提案されている。 今回は特に最大エントロピー法 (ME 法) を用いた日本語係り受け解析手法について調査・実 装を行った。ある文節間の係りやすさの確率は、ME によって学習した係り受け確率モデルか ら計算する事ができる。この確率モデルは、学習データから得られる品詞情報などを元に、2 つ の文節が係るか係らないかを予測するのに有効な素性を学習することで得られる。 本稿では、ME 法の概要・
言語処理学会 The Association for Natural Language Processing Home Page
会員専用ページ (※ 会員情報の登録ならびに会費の納入については株式会社プロアクティブのシステムを使用しています。) 最新のニュースレター Vol.15 No.2 (2008年8月8日発行) 入会案内 雑誌「自然言語処理」の原稿執筆案内 (「3. 原稿の送付」 について変更がありますのでご注意ください) 雑誌「自然言語処理」のバックナンバー 雑誌「自然言語処理」の論文査読倫理綱領 雑誌「自然言語処理」の広告掲載について ニュースレター 年次大会 会則・諸規定(会則，学会員向けメーリングリスト投稿規定など) 日英対訳用語集について 日英対訳用語集(csvファイル) 学会動向調査 以下の内容は、研究者の便宜のためつけておりますが、言語処理学会として 責任を取るものではありません。御了承下さい。 言語データ情報 ＪＥＩＴＡ言語処理技術専門委員会による言語イニシャティブのリスト その他関連
Wikipediaのキーワードリンクを使って関連語データを作ってみた
Wikipediaのキーワードリンクを使って関連語データを作ってみた 2007-06-09-3 [NLP][Programming][Algorithm] Wikipedia のキーワードリンクを使って関連語データ（関連キーワード集） を作ってみた。 Wikipedia のデータはダウンロードページからbz2形式のを取ってきた。 日本のウィキペディアのXMLデータね。 (see Wikipedia:データベースダウンロード) で、Perlスクリプトで以下の関連語データ作成処理を行った。 （スクリプトはこの記事の末尾に載せておく） (1) 各キーワードページに含まれているキーワード（リンク）を取り出す。 例えばキーワードAのページにB,C,Dが含まれていたら、A => B,C,D というデータを蓄積。 またキーワードAが他のキーワードのページ（例えばX）に含まれていたら、それも蓄積。その場合
連想検索エンジン reflexa
連想検索エンジンreflexa（リフレクサ）はコトバとコトバのつながりを元に未知の情報を探索していくための連想検索エンジンです。連想検索ならではの楽しい検索体験をお楽しみ下さい。
オープンソースのOCRシステム「OCRopus」がGoogle Codeで公開 | ネット | マイコミジャーナル
OCRopusプロジェクトは、オープンソースプロジェクト向けのホスティングサイト「Google Code」上で、光学文字認識(OCR)システム「OCRopus」のα版をApache License 2.0のもと公開した。LinuxをはじめとするUNIX系OSで動作するが、確認はUbuntu Linux 6.10で行われている。 OCRopusは、文字認識エンジンと文書解析機能を含むOCRシステム。ドイツ人工知能研究センター(DFKI)の研究グループの1つ「Image Understanding and Pattern Recognition」(IUPR)が中心となり、DFKIのThomas Breuel教授指揮のもとに開発が進められている。Google Code上でのソースコードの公開は、Googleがスポンサーについたことを契機とするもの。 プラグラムには、アメリカ国勢調査局によって90
ブロガーの"感性"まで詳細に解析 - マーケティングサービス「CGM Watch」 | ネット | マイコミジャーナル
NTTアドとNTTデータは13日、ブログやSNSに代表されるCGMから必要な情報を検索・抽出・分析し、マーケティングレポートとして提供するサービス「CGM Watch」を発表した。特定のキーワードについての書き込みを収集するだけでなく、ブロガーの感性を抽出し詳細に解析することが可能になったことが最大の特徴。 ブログの書き込みを解析して「話題のキーワード」のランキングなどを提供するサービスはこれまでもあったが、「CGM Watch」では単語の出現頻度だけでなく、書き手がそれを購入したのか否か、好意的なのか批判的なのか、といった書き手の感性を最大81種類に細分化してレポートする。これはNTTデータが開発した日本語意味理解エンジン「なずき」をマーケティングに応用したもの。 商品プロモーションの分野でブログが活用されることが多くなっているが、同社ではこれをアンケートやグループインタビューと並んでマ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CiNii Research
https://jp.techcrunch.com/2007/11/09/true-knowledge-launches-natural-language-search-engine/
https://jp.techcrunch.com/2007/08/07/orbious-will-make-forwarding-confidential-documents-dangerous/