BimyouSegmenter: Rubyだけで書かれた微妙なサイズの分かち書きソフトウェア - デー
BimyouSegmenterはRubyだけで書かれた微妙なサイズの日本語分かち書きソフトウェアです。 約150Kバイトの微妙なサイズのソースコードで、青空文庫にある太宰治、宮沢賢治、夏目漱石、夢野久作作品であれば、MeCab+ipadicによるの分かち書きの結果と94%くらいは同じになります。 というTinySegmenterのパロディです。 TinySegmenterは新聞記事で学習されているのと、空白文字が単語にくっついたりして扱いが難しかったので、TinySegmenterのようなひとつのソースコードに全部つっこんだ感じの分かち書きのライブラリを自分の用意したデータで学習して好きに調節できたらいいなと思ったので作ってみました。 nekoneko_genでもこれを使っています。 TinySegmenterとは特徴ベクトルも学習アルゴリズムも学習データも違いますが、基本的な考え方はTi
MeCabの辞書をカスタマイズする | mwSoft
概要 MeCab0.994で再学習機能が入ったので、その辺りも含めてMeCabの辞書カスタマイズ方法を洗ってみる。 今回取り扱うのは、CSV形式で新しい単語の情報を記述して辞書を生成（mecab-dict-index）する方法と、文章の解析結果を用意してそれを利用して学習（mecab-cost-train）する方法。 Linuxで実行。Windowsは知らない。 単語追加用のCSVファイルを作成する まずはCSVファイルを手書きして、MeCabの辞書に新しい単語を追加してみる。 やり方は公式サイトに載っている。 今回は例として「アメリカの大統領の名前くらい登録しておきたいよね」ということでバラクとオバマという2つの固有名詞を追加してみる。両単語はIPA辞書では未知語になっている。 $ echo "バラク・オバマ" | mecab -U"%M\t%H\t未知語\n" バラク 名詞,一般,*,
そろそろChaIMEについて一言いっておくか - 射撃しつつ前転 改
2月は割とガンガンと開発をしてきたのだが、3月に入ってさすがにエネルギーが切れてきたので、一旦、気分転換にエントリに書いてみることにする。 ChaIMEというのは主に研究目的のかな漢字変換エンジンである。奈良先の小町さん(id:mamoruk)がメインで開発していて、自分もここしばらくはアクティブに開発している。こちらでデモを試すことができる。ChaIMEの特徴はひたすらに統計情報で変換をするところなのだが、今回はそういった話ではなく、もうちょっと一般的なかな漢字変換についての話をダラダラと書いてみようと思う。 デモを見て分かる通り、今までのChaIMEはステートレスで、ひらがな列を入力に対してそれっぽい変換候補を複数出力してさぁ選べ、という形だった。文節境界を変更したり、文節毎に候補を出すことはできない。これは単に実装コストの問題で、研究用途で実験をする際には文節境界を変更してどうたらこ
MeCab で UniDic 辞書を使ってみる / 桃缶食べたい。
MeCab で UniDic 辞書を使ってみる MeCab で使える形態素解析用の辞書は、IPA 辞書の他にもいくつか公開されています。そのひとつであるUniDic は、IPA 辞書よりも個々の単語を詳細に分類したもので、分割した形態素が文中で果たす役割をより精密に検出することができます。UniDic はメンテナンスが頻繁に行われているようで、最新版は 1 ヶ月ほど前の 2013/3/14 にリリースされた 2.1.2 になります。ライセンス形態は GPL、LGPL、BSD License のトリプルライセンスとなっていて、その点でも、エンジニアにとっても採用しやすい辞書となっています。 今回はこの UniDic を実際にビルドし、MeCab から使ってみることと、辞書の再学習までを試してみました。 MeCab で UniDic を使うUniDic はバイナリ辞書も配布されていますが、ここ
形態論情報 現代日本語書き言葉均衡コーパス（BCCWJ）
ホーム 現代日本語書き言葉均衡コーパス（BCCWJ） 形態論情報 形態論情報 Morphological information 2種類の言語単位 短単位の概要 最小単位の認定規定 短単位の認定規定 短単位解析用辞書 長単位の概要 文節の認定規定 長単位の認定規定 2種類の言語単位 現代日本語書き言葉均衡コーパスは、次の2種類の言語単位に分割され、品詞などの情報が付与されています。 用例収集を目的とした短単位 言語的特徴の解明を目的とした長単位 この短単位・長単位は、いずれも『日本語話し言葉コーパス』（CSJ）で採用した言語単位です。また、短単位は国立国語研究所が行った現代雑誌九十種調査のβ単位を、長単位はテレビ放送の語彙調査の長い単位を基に設計したものです。CSJとの互換性の保持と、国立国語研究所の持つ語彙調査の知見の活用の両立を図っています。 短単位の概要 短単位は、言語の形態的側面に
概要 UniDic
UniDicは日本語テキストに形態論情報を付与するための電子化辞書です。 UniDicは国立国語研究所のコーパスの構築に利用されています。 形態素解析辞書としてのUniDic（unidic-mecab）は形態素解析器MeCabの辞書として利用できます。 UniDicの特徴 FEATURE 国立国語研究所で規定した「短単位」という揺れの少ない斉一な単位で設計されています。 語彙素・語形・書字形・発音形の階層構造を持ち，表記の揺れや語形の変異にかかわらず同一の見出しを与えることができます。 語種をはじめとする言語研究に有用な情報を付与することができます。 アクセントや音変化の情報を付与することができ、音声処理の研究に利用することができます（現代語用のみ）。 言語資源としてのXML版UniDic 形態素解析辞書とは別に，言語資源として使いやすいXML形式にまとめたUniDicの公開を予定して
論文感想: "Good, Great, Excellent: Global Inference of Semantic Intensities"(TACL vol.1) - 唯物是真 @Scaled_Wurm
Good, Great, Excellent: Global Inference of Semantic Intensities 図表、式は論文中から引用 概要 似た意味の形容詞の強弱の順序付けをするタスク 例えば「寒い」「涼しい」「冷たい」「痛い」などの形容詞が与えられた時に、その強弱関係は「涼しい＜寒い＜冷たい＜痛い」ですよ、と順序付けをする話(この例は私が作った適当なもの Webコーパスから"A but not B"などのパターンに当てはまる頻度を数えて、それらを使って単語間のスコアを計算する 順序付けの対象となる形容詞のクラスタは、WordNetの類義語関係などから作った単語リストを、スコアで重み付けしてグラフにして、連結成分で分割したものを使う 混合整数計画法を使ってグローバルな目的関数を最適化したら良い結果が得られた 感想 ペアワイズな評価尺度だとアノテーター間のアグリーメント
形態素解析ツールの品詞体系
ChaSen 品詞体系 (IPA品詞体系) ChaSen の品詞体系は任意の階層化を許している。 いわゆる形容動詞は名詞の形容動詞語幹として含まれ、 形容詞には含まれない。Juman の指示詞という カテゴリは「連体詞」に含まれている。 判定詞「だ」は助動詞とされている。 Type1 Type2 Type3 Type4 Examples Description
ACL Member Portal | The Association for Computational Linguistics Member Portal
Computational linguistics is the scientific study of language from a computational perspective. Computational linguists are interested in providing computational models of various kinds of linguistic phenomena. These models may be "knowledge-based" ("hand-crafted") or "data-driven" ("statistical" or "empirical"). Work in computational linguistics is in some cases motivated from a scientific perspe
日本語形態素解析ライブラリ Kuromoji のコマンドライン用インターフェイスを書いた - ひだまりソケットは壊れない
Java で書かれた日本語形態素解析ライブラリ Kuromoji を Perl から使ってみたいなー、と思って、別の言語のプログラムから使いやすいようなインターフェイスを書きました。 Kuromoji について kuromoji - japanese morphological analyzer Java で書かれたオープンソースの日本語の形態素解析ライブラリです。 検索用のライブラリらしくて、Apache Lucene と Apache Solr に組み込まれているらしいです。 もちろん検索エンジンとは独立して利用することも可能です。 独立して使用する場合は、単に jar ファイルをダウンロードしてきて Java のライブラリパスに追加するだけ (あるいは公開されている Maven リポジトリを使用して依存関係を解決するだけ) で形態素解析できるようになります。 便利ですね。 Java
ユニバーサルコミュニケーション研究所 情報分析研究室
情報分析研究室では、Web等に存在する大量のテキストや画像等を深く意味的に分析し、情報の価値ある組み合わせや、価値ある仮説を柔軟な入力を元に提示でき る技術を開発します。ますます複雑化していく現代社会において、一見かけ離れた情報間の予想もしなかった繋がりが非常に重大な帰結をもたらす事例がますます頻繁におきています。我々の目指す技術はそうした情報間の組み合わせをユーザに分かりやすい形で入手可能にするものです。より具体的には、文の同義性やテキストに書かれた因果関係などの事象間の意味的関係を元に、ユーザの多様なニーズに応えられる情報やその組み合わせ、あるいは仮説を、Web等に存在する膨大な情報源をもとに生成する技術です。こうした技術の開発には先進的な言語処理技術、画像処理技術、膨大な言語資源や画像資源が必要となりますが、これまでに開発してきた最先端技術や、関連分野を研究する公的機関としては日本最
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
NAIST-jdicをChaSenとMeCabで利用する - 自然言語処理 on Mac
日本語形態素解析器ChaSenとMeCabのMacPorts (chasen, mecab) が、解析器本体 (chasen-base, mecab-base) と辞書データおよび全体の３つのportに分かれました。 MeCabの全体のportがエンコーディングごとに用意されています。MacPortsでは依存関係を指定するときに、portのオプションまで限定することができません。そのためこれまでは、UTF-8版のMeCabを依存関係に指定しておいて、まだインストールされていないときに自動的に入れるようにすることができませんでした。今回、エンコードごとにportとして独立させたので、例えばcabochaやmecab-javaのportからUTF-8版MeCabが自動的に入るようになりました。 オプションに+dartscloneを指定すると、dartsの代替であるdarts-cloneが、ch
NECのテキスト含意認識技術がNIST主催の評価タスクで第一位を獲得(2012年4月13日): プレスリリース | NEC
NECは、二つの文が同じ意味を含むかどうかを判定するテキスト含意認識技術の性能について、米国国立標準技術研究所(NIST、注1)が主催する評価タスク(注2)で世界各国からの参加機関中第一位の評価(注3)を獲得しました。 テキスト含意認識技術とは、大量のテキスト（ビッグデータ）を分析して新たな価値を創出するための基盤技術の一つで、インターネット上に溢れる製品・サービスに対する顧客の声や風評を集約して分析し、マーケティングや企業のリスク管理などに活用するものです。 従来、テキスト含意認識技術は、二つの文に含まれる単語の一致・不一致を中心に分析していたため、異なる単語で同じ意味が表現されていたり、同じ単語を用いて異なる意味が表現されている場合に、正しい分析結果が得られないといいう課題がありました。 このたびNECが開発し第一位の評価を受けた技術は、文中における単語の重要性、主語や述語などの文の構
ACL Member Portal | The Association for Computational Linguistics Member Portal
Computational linguistics is the scientific study of language from a computational perspective. Computational linguists are interested in providing computational models of various kinds of linguistic phenomena. These models may be "knowledge-based" ("hand-crafted") or "data-driven" ("statistical" or "empirical"). Work in computational linguistics is in some cases motivated from a scientific perspe
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
gr.jp
Google Code Archive - Long-term storage for Google Code Project Hosting.
ktsukuda.net - このウェブサイトは販売用です！ - 情報学 京都 大学 データベース フォー 学生 田中克己 奨励賞 リソースおよび情報
ktsukuda.net - このウェブサイトは販売用です！ - 情報学 京都 大学 データベース フォー 学生 田中克己 奨励賞 リソースおよび情報
https://people.cs.umass.edu/~dasmith/inlp/lect10-cs585.pdf