Language Detection Library for Java
The document describes a language detection library that can detect the language of texts with over 99% precision for 49 languages. It uses a Naive Bayes algorithm and character n-grams as features to classify texts into language categories. The library is open source and available for Java. It was tested on over 9,000 news articles in 49 languages with an accuracy of 99.77%.Read less
Kneser-Ney スムージングによる文書生成 - 木曜不足
少し前に Kneser-Ney スムージングの性能を測ってみた記事 を書いたが、今回は Kneser-Ney スムージングによる n-Gram 言語モデルで文書生成を行なってみた。 スクリプトはこちら。 https://github.com/shuyo/iir/blob/master/ngram/knlm.py 適当なテキストファイル(複数可)を入力すると、1行1文書の訓練データとみなして Kneser-Ney スムージング付きの n-Gram 言語モデルを学習後、文書を生成してファイルに出力する。 オプションもいくつか指定できるが、-h でヘルプを出すか、ソースを読むかしてもらえば。 与えられた文書の確率を Kneser-Ney で計算するには、ディスカウントによって生じる正規化係数の補正を求めるために N1+ などのちょいややこしい値をあらかじめ計算して保持しておかないといけないが、文
PRML ガール 〜とある文芸部の統計女子〜 - 木曜不足
これは「PRMLガール 〜 文芸部のマネージャーが「パターン認識と機械学習」を読んだら 〜」の幕間的なお話です。 未読の方は先にそちらをどうぞ。 PRMLガール 〜 文芸部のマネージャーが「パターン認識と機械学習」を読んだら 〜 - 木曜不足 「先輩、先輩。我らが PRML ガールの評判聞きました？」 「聞いてない」 「やっぱり気になりますよねえ。ねえ？」 「僕は別に」 「……」 「……わかったわかった。どんな評判なの？」 「評判というか苦情ですかね。『 PRML ガール言うくせに PRML 関係ないやん！』みたいな」 「まあ、情報量とエントロピーの話しかしてないし」 「『あとがきがわりの AC ガール』（暗黒通信団刊行の書籍『PRML ガール』に収録）に至っては選択公理ですからねえ。そんな評判を跳ね返すためには、紛れもなく PRML ってテーマをここらで一発取り扱っておくべきなんじゃない
PRML 読んでやってみた（下巻編） - 木曜不足
昨日の記事を書いて、そういえば「パターン認識と機械学習」(以下 PRML) 上巻については「やってみた」「試してみた」系の記事をまとめページを作っていたことを思い出した。 PRML 読んでやってみた（上巻編） http://d.hatena.ne.jp/n_shuyo/20100505/prml そして、これの下巻編を作るの忘れてたので、ここにまとめておこう。 基本的には PRML を読む中で、本当にそうなのかなというあたりを手を動かしてみて確かめてみたという内容。実装は主に R で、たまに Python + numpy を使っている。 専門でない人間がやっているわけで、いろいろ間違っているかもしれない点はあらかじめ(実際、変分ベイズのときは盛大に間違えてた)。 6章 カーネル法 PRML６章「ガウス過程による回帰」を R で試す http://d.hatena.ne.jp/n_shuyo
独断と偏見によるノンパラ入門 - 木曜不足
「ノンパラメトリック」って言うくらいだからパラメータ無いんかと思ってたら、パラメータめっちゃあるし。 機械学習のネーミングのひどさはこれに始まった話じゃあないけど、それにしたって。 ノンパラの一番素朴なやつ( K-means とか)は本当にパラメータ無くてデータだけだから納得なんだけど、だんだん欲が出てパラメータ足しちゃったり派生させちゃったりしてるうちに、よくわかんなくなってきちゃったんだろうかねえ。まったく。 どれどれ、と英語版 Wikipedia の "Non-parametric statistics" を見たら、なんか意味が4種類くらい書いてあるし。じゃあ名前分けろよ。 en.wikipedia.org とりあえずここで言う「ノンパラ」とは、変数の個数決めなくていい「分布の分布」なメタっぽいやつのこと。つまりディリクレ過程とか、ディリクレ過程とか、そこらへん。 「あー、ノンパラベ
ノンパラベイズ入門の入門
機械学習×プログラミング勉強会 vol.2 での発表資料です。 ベイズの何が嬉しいか、ノンパラベイズの何が嬉しいかを数式を使わず語ります。Read less
それが僕には面白そうだったから──中谷秀洋 - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズのエンジニアを紹介するインタビューシリーズの第三回。今回は知る人ぞ知る、中谷秀洋。大学院まで進んで数学を修めたものの研究者になるでもなく、気がついたらサイボウズ・ラボに腰を落ち着けることに。ただ一貫してるのは「面白そう」。 中谷秀洋（Shuyo Nakatani） 2007年、サイボウズ・ラボ株式会社に入社。 小学校5年生のときに懸賞で当選し「TRS-80」を入手して以来、ゲームを動機にプログラミングにのめり込む。40代を迎えた今もゲーム好きは相変わらずで、家族からは「ゲームは1日30分」と言われているとか。gihyo.jpにて「機械学習 はじめよう」を連載中。 Apache Foundationからリリースされている全文検索システム「Solr」には、言語判定ライブラリとして「Cybozu language-detection library」が含まれている。これを開発したのが、
PRML 読書会 #13 １０章 近似推論法(変分ベイズ) - 木曜不足
参考：「機械学習とパターン認識」(PRML)のアンチョコ by herumi PRML 9章や10章の数式の解説ノート。10章の大変な計算も丁寧に展開してある。 4/10 の C.M.ビショップ「パターン認識と機械学習(PRML)」読書会 #13＠サイボウズ・ラボ に参加しました。各位お疲れ様でした。 今回のテーマは１０章の変分推論(変分ベイズ)。監訳者のしましま先生からも「PRML本で最も恐ろしいところ」とお墨付きをもらっているほどの鬼計算の章。 10.2.1 の混合ガウス分布を変分ベイズで推論する例のところを担当した。 発表資料 10.2-10.2.1 例：変分混合ガウス分布、資料後半 by id:n_shuyo 10.2.2-10.2.5 変分下限*1〜導出された分解 by wk さん 10.3 変分線形回帰 by id:tsubosaka さん 10.4-10.5 指数型分布族〜局
Webページの本文抽出 (nakatani @ cybozu labs)
Webページの自動カテゴライズ の続き。 前回書いたとおり、パストラックで行っている Web ページのカテゴライズでは、Web ページの本文抽出がひとつの鍵になっています。今回はその本文抽出モジュールを公開しつつ、使っている技法をざっくり解説などしてみます。 本モジュールの利用は至極簡単。require して analyse メソッドに解析したい html を与えるだけ。文字コードは UTF-8 です。 【追記】大事なこと書き忘れ。本モジュールは Ruby1.8.5 で動作確認していますが、特別なことはしていないので、1.8.x なら動くと思います。 $KCODE="u" # 文字コードは utf-8 require 'extractcontent.rb' # オプション値の指定 opt = {:waste_expressions => /お問い合わせ|会社概要/} ExtractCont
Latent Dirichlet Allocations の Python 実装 - 木曜不足
LDA とは "Latent Dirichlet Allocation"。文書中の単語の「トピック」を確率的に求める言語モデル。 「潜在的ディリクレ配分法」と訳されていることもあるが、その名前だと「それってなんだっけ？」という人のほうが多そうｗ。 各単語が「隠れトピック」(話題、カテゴリー)から生成されている、と想定して、そのトピックを文書集合から教師無しで推定することができる。特徴は、果物の apple と音楽の apple とコンピュータ関連の apple を区別することが出来る(ことが期待される)という点。そのために、どのトピックを生成しやすいかという分布を各文章も持つ。細かい話は略。 結果の見方としては、定量的にはパープレキシティを見るし(一般に小さいほどいい)、定性的には各トピックがどのような単語を生成するか、その確率上位のものを見てふむふむする。この「各トピックが生成する単語」
Active Learning 入門
3. References • (Settles 2009) Active Learning Literature Survey – よくまとまったサーベイ。本資料での用語は主にこちらに準拠 • (Schein+ 2007) Active Learning for Logistic Regression – LR に AL を適用する場合のサーベイとして使える • (Olsson 2009) A Literature Survey of Active Machine Learning in the Context of Natural Language Processing – こちらもしっかりしたサーベイ • (Guo+ 2007) Optimistic Active Learning using Mutual Information – Expected Error Reduction
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://github.com/shuyo/iir/blob/master/lda/hdplda.py
CRF を使った Web 本文抽出