情報処理学会全国大会のイベントで自然言語処理について話しました
3/16に京都のグランドプリンスホテルで行われた情報処理学会全国大会の前座のイベント、春の情報処理祭に講師として参加しました。 御存知の通り、情処の全国大会には情報系のあらゆる業種から参加者が集まりますが、このイベントはM1（B4の人もいたそうな）を対象にして、広く情報科学に付いて学ぼうというイベントでした。 私はNL研からの推薦ということで、基本的には他業種の学生向けを意識して自然言語処理について話しました。 同時開催で言語処理学会年次大会が開催されていたので、言語処理系の人はあまり参加してなかったのではないかな？ 自然言語処理@春の情報処理祭 from Yuya Unno 自然言語処理の最近の流行りのテーマということで統計的機械翻訳（SMT）の紹介と（全然専門でも何でもないが）、いかに自然言語処理が他業種の技術で「荒らされてきた」か、そして分野外の人こそチャンスがあるというような話をし
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
企業における自然言語処理技術の活用の現場（情報処理学会東海支部主催講演会@名古屋大学）
行動計量シンポジウム20140321 http://lab.synergy-marketing.co.jp/activity/bsj_98thYoichi Motomura
ALAGIN 言語資源・音声資源サイト - ホーム
オープンソースソフトウェア 上位下位関係抽出ツール （https://alaginrc.nict.go.jp/hyponymy/index.html） 多言語形態素解析システム（特許等調整中） 多言語係り受け解析システム（CNP）(https://alaginrc.nict.go.jp/cnp/index.html) 意見（評価表現）抽出ツール(https://alaginrc.nict.go.jp/opinion/index.html) 関係知識を利用する全文検索システム(https://alaginrc.nict.go.jp/qe4solr/index.html) 並列類似文字列検索システム(https://alaginrc.nict.go.jp/para-simstring/index.html) 高速化・高並列化ミドルウェア RaSC(https://alaginrc.nict.g
局所的類似情報に基づいた テキストマイニングに関する研究 竹田隆治 博士 (情報学) 総合研究大学院大学 複合科学研究科 情報学専攻 平成 20 年度 (2009) 本論文は総合研究大学院大学複合科�
局所的類似情報に基づいた テキストマイニングに関する研究 竹田隆治 博士 (情報学) 総合研究大学院大学 複合科学研究科 情報学専攻 平成 20 年度 (2009) 本論文は総合研究大学院大学複合科学研究科情報学専攻に 博士 (情報学) 授与の要件として提出した博士論文である. 審査委員会 高須淳宏 教授 (主査) 総合研究大学院大学/ 国立情情報学研究所 相原健郎 准教授 総合研究大学院大学/ 国立情情報学研究所 相澤彰子 客員教授 総合研究大学院大学/ 国立情情報学研究所 影浦峡 准教授 東京大学大学院 大山敬三 教授 総合研究大学院大学/ 国立情情報学研究所 市瀬龍太郎 准教授 総合研究大学院大学 / 国立情情報学研究所 (主査以外はアルファベット順) 3 Text Mining Based on Locally Similar Information Takaharu Taked
p60-65@ðÍiàj20-2235
1. ジップの法則 大量のテキストに使用された要素の頻度を 集計し、そのデータを値が大きい順に並べる と、その順位（ランク）と頻度の間には次の 法則があることがわかっている。 この法則を「ジップの法則」と呼ぶ。ジッ プ（Zipf）は、この研究を1929年から始めた そうである。その結果に関連する主な著書と して、Zipf（1935, 1949）がある。当初は、Principle of Least Effort用語を用いていた。 ジップの発見した法則は、単語の使用頻度 と順位との関係から導き出した法則であるが、 言語に限らず何らかの頻度と順位との関係に 適用される。 頻度、順位、定数をそれぞれ f , r , c で表す と、ジップの法則は次の式で表される。定数 c は、データから求めることになる。 表１は、福田総理の所信表明演説文におけ る単語を出現頻度が高い順に並べ、その順位 と単語の
ベクトル空間法を利用した類似度計算
ベクトル空間法を利用した類似度計算 澁谷 翔吾 ，廣安 知之，三木 光範 ISDL Report No. 20081110002 2008年 5月 22日 Abstract 1 はじめに 近年, 異なる文書間の類似度を定量的に計る手法が盛んに研究されている. 本レポートでは, ベクトル空間モデルを用いることにより, それぞれの文書のベクトルを比較することにより類似度を定量的に計る手法について調査した. 本報告では, それらの手順について解説する. 2 形態素解析 形態素解析（Morphological Analysis）とは, コンピュータ等の計算機を用いた自然言語処理の基礎技術の1つであり, かな漢字変換等にも応用されている. 対象言語の文法の知識（文法のルールの集まり）や辞書（品詞等の情報付きの単語リスト）を情報源として用い, 自然言語で書かれた文を形態素（Morpheme）の列に分
Java製形態素解析ライブラリ「lucene-gosen」を試してみる
概要 Javaの有名な形態素解析器でありながら、長らく「公式サイトどこ？」な状況だったSenとGoSenですが、最近はlucene-gosenなるGoSenベースのライブラリがちゃんと管理された状態で公開されてるとか。 lucene-gosen http://code.google.com/p/lucene-gosen/ しかもこの子は辞書内包なのでjarを落とすだけで使えて、Lucene用AnalyzerやSolr用Toknizerも付いていて、日本語の検索用インデックスを貼る時に便利な各種フィルタも用意されているという、至れり尽くせりな構成になっているとか。 これは触ってみねばということで、とりあえず簡単な形態素解析、辞書の追加、Luceneでの利用、Solrでの利用を試してみました。 ちなみに上のURLでCommiterのところに名前が出ているKoji SekiguchiさんはSol
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
目次
HTML構造における頻出パターンのマイニングによる WWWからの情報抽出
http://www.dl.kuis.kyoto-u.ac.jp/lecture/doc/infosystem02.pdf