projects:sgd [leon.bottou.org]
Learning algorithms based on Stochastic Gradient approximations are known for their poor performance on optimization tasks and their extremely good performance on machine learning tasks (Bottou and Bousquet, 2008). Despite these proven capabilities, there were lingering concerns about the difficulty of setting the adaptation gains and achieving robust performance. Stochastic gradient algorithms ha
GitHub - agesmundo/HadoopPerceptron: http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en//pubs/archive/36266.pdf
Perceptron training prediction and evaluation for Hadoop reference for implementation : http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en//pubs/archive/36266.pdf =========================================== 1) DOWNLOAD AND COMPILE: $ git clone git://github.com/agesmundo/HadoopPerceptron.git $ cd HadoopPerceptron $ make #optional: #before invoking "$ make" yo
CRFsuite - A fast implementation of Conditional Random Fields (CRFs)
CRFsuite is an implementation of Conditional Random Fields (CRFs) [Lafferty 01][Sha 03][Sutton] for labeling sequential data. Among the various implementations of CRFs, this software provides following features. Fast training and tagging. The primary mission of this software is to train and use CRF models as fast as possible. See the benchmark result for more information. Simple data format for tr
Multinomial DPMを実装してみた - yasuhisa's blog
ちょっと前に実装してたんだけど、メモを書くがてら公開してみる。やりたいこととしてはnested Chinse Restaurant Processまで行きたいんだけど、ノンパラベイズ初心者なので一番取りかかりやすいであろうDirichlet Process Mixture(DPM)を文書モデルでやってみたという感じです。HDPではなくDPMとしてコーパスをモデル化するので、いくつ文書があろうがそれらは全部一つの文書として取り扱います(というか、そういう形でしか取り扱えません。扱いたかったらHDPの世界へ行こう)。 目的 やってみようと思った理由はいくつかあって 実際に自分で把握できるミニマムな*1ノンパラベイズのプログラムをgetする 実際に書いてみることでノンパラベイズのプログラムではまりやすいところを知る コード書く段階までやってみないと分かったつもりになっていることが多い などなどで
Variable order linear-chain CRFs
About this site This site is dedicated to a machine learning model named "variable-order linear-chain CRFs". I've put some documents and software here. Author Hiroshi Manabe () Documents My thesis (pdf, partly translated into English, originally in Japanese)Its title is "An Efficient Algorithm for Variable-Order Linear-Chain CRFs". Software CRFSuite for variable-order Markov models An implementati
Stanford CS246
Handouts: Basic Math recitation Slides Hadoop session Slides, Example, Hadoop Installation Instructions 1/3/2011 Introduction [PDF], MapReduce [PDF] Reading: Ch2: Large-Scale File Systems and Map-Reduce 1/5/2011 Association Rules: Frequent itemsets and Association rules [PDF] Reading: Ch6: Frequent itemsets 1/10/2011 Near Neighbor Search in High Dimensional Data [PDF] Reading: Ch3: Finding Simila
LCCC - NIPS 2010 Workshop on Learning on Cores, Clusters and Clouds
LCCC : NIPS 2010 Workshop on Learning on Cores, Clusters and Clouds Keynote: Averaging algorithms and distributed optimization Lecture video Slides (pdf) John N. Tsitsiklis In distributed averaging and consensus algorithms, processors exchange and update certain values (or "estimates", or "opinions") by forming a local average with the values of their neighbors. Under suitable conditions, such a
双対分解による構造学習 - Preferred Networks Research & Development
入力\(x\)から出力\(y\)への関数を学習する機械学習の中で、出力が構造を有している問題は構造学習（Structured Output Learning）と呼ばれ、自然言語処理をはじめ、検索のランキング学習、画像解析、行動分析など多くの分野でみられます。 今回はその中でも複数の構造情報を組み合わせても効率的に学習・推論ができる双対分解による構造学習について紹介をします。 # 構造学習についてよく知っているという方は双対分解による構造学習のところまで読み飛ばしてください。 構造学習の導入 構造を有した出力の例として、 ラベル列 （品詞、形態素列の推定、時系列におけるアクションの推定、センサ列） 木 （係り受け解析における係り受け木、構文解析木、談話分析、因果分析） グラフ （DAG:述語項構造による意味解析 二部グラフマッチング:機械翻訳の単語対応） 順位付集合（検索における順位
Graham Neubig - チュートリアル資料
学校での講義 Fall 2024: Advanced NLP (CS11-711 @ CMU) Fall 2022: Advanced NLP (CS11-711 @ CMU) Spring 2022: Multilingual NLP (CS11-737 @ CMU) Fall 2021: Advanced NLP (CS11-711 @ CMU) Spring 2021: Neural Networks for NLP (CS11-747 @ CMU) Fall 2020: Multilingual NLP (CS11-737 @ CMU) Spring 2020: Neural Networks for NLP (CS11-747 @ CMU) Fall 2019: Machine Translation and Sequence-to-sequence Models (CS11-7
オンライン最適化とRegret最小化 - DO++
大量のデータから、何か有益な情報を求める問題の多くは最適化問題を解くことに帰着されます． 最適化問題とは与えられた関数fの値を最小（最大）にするような変数xを探すといった問題です。 例えば、機械学習（これを利用する自然言語処理、情報検索など）、画像処理、AI(ロボットの経路制御）、 など多くの分野で最適化問題は登場します。 その中でもオンライン最適化（機械学習の文脈でいえばオンライン学習）と呼ばれる最適化手法は 実用性の高さと実装のしやすさから多く利用されるようになってきました。 このオンライン最適化は近年Regret（後悔）最小化というゲーム理論などで使われていた枠組みで 解析されることが多くなってきました。 今回はこのRegret最小化について簡単に解説してみようと思います。 （機械学習が詳しい人向けに補足すると、VC次元など他の機械学習を解析する手法と比べてRegret最適化の面白い
条件付き確率場のマルコフ性とか準マルコフ連鎖とか - 射撃しつつ前転 改
実装する上ではどうでもいい、言葉の定義の問題のところに足を突っ込みつつあるような気もするけれど、CRFについて調べていたらどんどん混乱してきたので、現在のところの理解をまとめてみる。たぶん、突っ込みどころはいっぱいありますので、突っ込んで頂けると幸いです。 CRFは入力Xと出力Yの組をたくさん与えることで、未知のXに対してもP(Y|X)を計算できるようにするモデルである。ただし、Yは構造を持つ（この構造を持つというのがどう言うことかもややこしくて今調べているのだが、こちらはとりあえず棚上げする）ものとする。 CRFはであるということしか規定せず、自然言語処理ではlinear chain CRFとsemi markov CRFの2つ、特にlinear chain CRFがよく使われている。 linear chain CRFは出力Yが一本鎖の構造になっているところが特徴である。linear c
latticelm
日本語 This is the page for latticelm, a tool for Bayesian non-parametric word segmentation and language model learning using Pitman-Yor language models. The major point of the toolkit is that it is applicable to not only regular text, but also lattices. The motivation for the tool was research into the possibilities of learning language models from continuous speech, presented in the following paper
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
MapReduceによる大規模データを利用した機械学習
Google Code Archive - Long-term storage for Google Code Project Hosting.
Google Code Archive - Long-term storage for Google Code Project Hosting.
rinko2010
サービス終了のお知らせ
NIPS Tutorial, December 2010
自然言語処理研究会 - tsubosakaの日記
