日本語係り受け解析器 CaboCha Ruby 拡張の基本的な使い方とちょっとした応用 - デー
ari3_botの会話エンジンで使っている自然言語の処理の中から他の方にも有益そうなところだけ書いておこうと思います。 このエンジン自体はアドホックにヒーリスティクスな処理を追加しまくっていて、とても説明しにくいのですが、基本的な部分だけ抜き出して……まとめて……解説します。全部実装できるほど詳細な解説はできないので、取っ掛かりになる程度です。 ちなみにCaboChaのAPIはきちんとしたドキュメントがない？ようで、僕はソースコードを自分で読んで得た知識から解説を行っています。また日本語文法関する知識もari3_botを作るためだけに得たものであり、あやしいので、あまり信じすぎないようにしてください。 もくじです。 ari3_botの会話エンジンとは CaboChaの基本的な使い方 CaboChaで主語と述語っぽいところを抜き出す 述語を活用してみる その他のいろいろなヒント まとめ ar
テキスト解析:キーフレーズ抽出API - Yahoo!デベロッパーネットワーク
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
MeCabの辞書にはてなキーワードを追加しよう - 不可視点
MeCabは形態素解析のためのソフトウェアです。日本語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日本語や、正しく書かれた日本語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般的な話ですが以下のような認識が一般的かと思われます。 というのも、一番広く使われているであろう自然言語処理技術は形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解
iPhoneで使える、日本語 WordNetのObjective-Cクラスを書いてみた。 - macOS/iOS API解説
「自然言語処理は Python がいちばん」とか見てて、iPhoneで使いたかったので、Objective-Cでも書いてみようと思い、書いてみました。 日本語 WordNetデータベースにアクセスするためのObjective-Cクラス http://nlpwww.nict.go.jp/wn-ja/ 2009.4.4修正 2011.6.27 伊藤真央さんからご指摘、修正。 databaseをクローズしていない部分を修正 実用になる速度となりました。 辞書を抜いて置いてあります。 「wnjpn.db」を入れて使用してください。 https://github.com/oomori/WordNetJP_ObjC 間違いあればご指摘ください。 WordNetJPN.h // // WordNetJPN.h // // Created by 大森 智史 on 09/03/31. // Copyrigh
自然言語処理は Python がいちばん - 武蔵野日記
現在大学1年生の人で3年後には NAIST に (というか松本研に) 来たいという人から「どんなプログラミング言語やっておくといいですか」と質問されたりするのだが、なかなか答えるのは難しい。自分は Perl → Python がメインでときどき C++/C# を使ったりするのだが、どれが一番いいかはなんとも言えないので、自然言語処理以外に転向する可能性も考えると、C とか C++ とか Java とか(授業でそちらをやるのであれば)を最初の武器に選んだ方がいいのでは、と思ってはいる。 そんなこんなで最近 Hal Daume III (機械学習を用いた自然言語処理では非常に有名な人) のブログで Language of Choice というタイムリーなエントリーが出ていたので、紹介すると、「それなりに大きな自然言語処理のプロジェクトでどのプログラミング言語を使うのか」というアンケート結果が出
日本語 WordNet (wn-ja)
日本語 WordNet リリース * 画像 * ダウンロード * 今後の予定 * 参考文献 * リンク * English 本プロジェクトでは、 Princeton WordNet や Global WordNet Gridに 着想をえて、日本語のワードネットを構築し、オープンで公開します。 独立行政法人情報通信研究機構（NICT）では、自然言語処理研究をサポー ト する一環として、2006年に日本語ワードネットの開発を開始しました。最初の 版、version 0.9は、2009年2月にリリースされました。このversion 0.9は、 Princeton WordNetのsynsetに対応して日本語をつけています。もちろん、 Princeton WordNetにはない日本語synsetを付与する必要があり、また、 Princeton WordNetにみられるsynsetの階層構造に、
産総研：ユーザーが協力すると性能が向上する音声情報検索システムを実現
発表・掲載日：2008/06/12 ユーザーが協力すると性能が向上する音声情報検索システムを実現 －インターネット上の音声情報を認識・検索するサービスを開始－ ポイント インターネット上の音声データ（ポッドキャスト）を全文検索できるウェブサービスを開始 音声認識の誤りを不特定多数のユーザーが訂正することによって認識・検索性能が向上 新しい言葉の自動学習により、最新の話題を含む音声データの検索も可能 独立行政法人 産業技術総合研究所【理事長 吉川 弘之】（以下「産総研」という）情報技術研究部門【研究部門長 関口 智嗣】メディアインタラクショングループ【研究グループ長 浅野 太】後藤 真孝 主任研究員と緒方 淳 研究員らは、ユーザーが協力すると日々性能が向上する音声情報検索技術を開発し、インターネット上にある日本語の音声データ（ポッドキャスト）を対象とした全文検索サービス「PodCastle(
語の共起情報を用いたWeb検索
概要 現在、Web上の莫大な情報の中から、ユーザが必要な情報を 得る手段として検索エンジンが広く用いられている。 各検索エンジンでは、検索結果を順位付けし、 一般的に評価の高いWebページを検索結果の上位と することで効率化を図っている。 しかし、有用であるということは主観的であるため、 一般的に評価の高いページが誰にでも有用であるとは限らない。 本研究では、ユーザが入力した検索キーワードと Webページ内に含まれる語との共起性を用いて、 Webページを評価し、さらにユーザからのフィードバックを 得ることで、各ユーザの要求により適合した結果を提示する 検索方法を提案する。 従来手法 重要語抽出の従来手法 多くの自然言語文書処理において用いられている 代表的な手法に tfidf(Term Frequency-Inverse Document Frequency)法 [1][2]がある。 対象
DO++ : マルコフ情報源上で次の文字を予測する
文字列（単語列）を解析する際、i番目の文字はその直前(N-1)文字のみ依存するというマルコフ情報源を仮定することはいろいろな場面で現れます。 例えば音声認識とか機械翻訳では、次の単語を直前(N-1)単語を使って予測するというN-gramモデルが古くから今でも使われてますし、データ圧縮でもこれと全く同じように履歴を使って次の文字を予測し、その予測確率を用いて符号化するPPMモデルがあります。 ここで問題になるのは、何文字前まで見れば次の文字を予測できるかということが一般のデータだと分からないということです。例えば4文字前まで見た場合より5文字前まで見たほうが次の文字が確実に予想できそうですが、4文字前までは過去のデータで何回もでているのに5文字になると途端に出現回数が少なくなってサンプル数が少なくなってしまい予測精度が低下してしまう問題があります。 そのため大抵は1,2,3..,N文字前の文
Research | Nakagawa Lab.
中川研究室の研究テーマは、統計的機械学習の理論とアルゴリズム、および自然言語処理およびそのWWWへの応用です。特に、統計的自然言語処理の理論、ベイズ統計に基づく機械学習の理論と学習アルゴリズム、およびWWWに見られる半構造化文書からの情報抽出および情報ナビゲーションシステムなどを研究しています。以下に詳細を記します。 統計的機械学習 統計的機械学習とは、観測されたデータから統計的手法を用い新たな知識を導出することである。 統計的機械学習についての教科書的な内容はこちらを参照してほしい。 統計的機械学習には種々の分類がある。主要なものを説明しよう。 教師あり学習と教師なし学習 教師あり学習(supervised learning)では、観測データと、そのデータの意味が与えられる。例えば、文書分類問題であれば、観測された文書とその文書の属するカテゴリー（スポーツ、芸能、など）の対のデータ集
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
現代日本語文法概説 主要目次
生きあたりまったりブログ
http://www.cs.cmu.edu/~hideki/softwares/jawjaw/
サービス終了のお知らせ
Podcastle
ILU 言語理解研究所 | 感情を宿したAI（人工知能）
大語彙連続音声認識システムJulius
圧縮新聞