MLに関するlamiredのブックマーク (24)

  • SVM-Light(インストール)

    SVM-Lightの機能 SVM-Lightは、サポートベクターマシンを利用するためのツールであり、C言語で記述されています。SVM-Lightの主な特徴を以下に挙げます。 高速で最適化をするためのアルゴリズム 分離、回帰の両問題を解くことができる αの誤差率、精度を計算 何千ものサポートベクターを扱うことができる 数万の学習データにも対応 よく知られるカーネル関数に加え、あなた自身が定義した関数の利用が可能 要素の多くが0であるデータに最適 SVM-Lightをもとにしたサポートベクター回帰(SVR)はAI-UnitのmySVMで利用できます。 SVM-Lightについて SVM-LightはVapnik氏が考案したパターン認識装置サポートベクターマシンを実装したものです。最適化アルゴリズムはJoachims氏による提案を採用しています。このアルゴリズムは必要メモリ量を計測し、また、効率

    lamired
    lamired 2011/04/21
    SVM-lightのインストール
  • 自然言語処理研究会 - tsubosakaの日記

    id:nokunoさんが主宰する第2回自然言語処理勉強会@東京で"Latent Dirichlet Allocation入門"というタイトルで発表してきました。 内容としては機械学習ライブラリMalletに実装されているLDAのマルチスレッド実装クラスのParallelTopicModelで使われているトピックモデルの技術を紹介するという話でした。 Latent Dirichlet Allocation入門View more presentations from tsubosaka. 当は文章検索への応用とかの話もしたかったのですが準備に時間が足りず断念

    自然言語処理研究会 - tsubosakaの日記
    lamired
    lamired 2011/03/26
    LDA入門とMLライブラリMallet
  • ラグランジュ未定乗数法

    これで解決! ラグランジュの未定乗数法解説ムービー (Youtube) 所要時間:20分 ラグランジュの未定乗数法とは、変数(λ)を新たに導入するだけで制約条件つきの最小、最大値問題を簡単に解く方法です。例えば、下の練習問題1を見てみましょう。"subject to~"とは、「~という制約条件のもとで」という意味です。ひとつの制約条件を満たしながら、関数 f を最小化しなさい、という問題です。よく見るとx1, x2というように、変数が二つありますね。二変数なので、じつは高校の知識で解けてしまいます。しかし、ラグランジュの未定乗数法が広くもちいられているのは、変数がもっと増えても一気に解く事が可能だからです。「これで解決!大学数学」のラグランジュ未定乗数法の巻では、直感的な理解をめざしたグラフ解法によって、λという変数を置く必要性について考えていきます。まずは、ムービーを見ながら練習問題1を

    lamired
    lamired 2011/02/09
    SVMなどでも登場するラグランジェの未定乗数法の詳しい解説.
  • 生態学データ解析 - JAGS 雑

    参照: ベイズ統計 & MCMC, R で JAGS (rjags 編), R で JAGS (runjags 編) ここは JAGS に関してのあれこれを書いてます [もくじ] JAGS とは R から JAGS を使う WinBUGS との比較,みたいなもの JAGS でできないこと JAGS インストールの注意 (Windows7) --- 古い情報? JAGS とは JAGS - Martyn Plummer さん (R コアメンバーの一人でもある) が作った Just Another Gibbs Sampler,簡単にベイズモデルを記述でき,MCMC (Markov Chain Monte Carlo) 計算によってベイズ推定ができます JAGS News: 開発 blog 作者 Martyn Plummer さんによる解説 こちらのペイジ にある manual (PDF fil

    lamired
    lamired 2010/06/29
    MCMCでベイズ推定を行うツール
  • サービス終了のお知らせ

    サービス終了のお知らせ いつもYahoo! JAPANのサービスをご利用いただき誠にありがとうございます。 お客様がアクセスされたサービスは日までにサービスを終了いたしました。 今後ともYahoo! JAPANのサービスをご愛顧くださいますよう、よろしくお願いいたします。

    lamired
    lamired 2010/06/24
    東大の機械学習の授業ページ
  • 隠れマルコフ実装してみた。 - 木曜不足

    PRML 13章読んで、隠れマルコフモデルを実装してみた。今回は Python + numpy の習作も兼ねている。 http://github.com/shuyo/iir/blob/master/sequence/hmm.py 今回実装してみたアルゴリズムは以下の通り。数字は PRML の章番号。 まあなんて盛りだくさん。 最尤推定(EM アルゴリズム) (13.2.1) Baum-Welch(フォワード・バックワード)アルゴリズム (13.2.2) スケーリング係数(13.2.4) Viterbi アルゴリズム(13.2.5) 複数系列を用いた学習 (演習 13.12) HMMからサンプリング(生成モデル) (13.2) left-to-right HMM (13.2) テキストファイルを与えると、1行1系列とみなして、アルファベットからなる単語を抽出し、HMM で学習&文章をサンプリ

    隠れマルコフ実装してみた。 - 木曜不足
    lamired
    lamired 2010/06/22
    Python+NumpyによるHMMの実装
  • Bayes classification in Ruby made easy – /bin/recykl

    Recently I was experimenting with ruby bayes classification. At first sight it looks like a difficult topic, but with the right libraries it is interesting and funny. Before you start experimenting, you have to install 3 gems. gem install classifier gem install madeleine Confirm the required stemmer gem. For the beginning, lets experiment with the plain bayes classifier. require 'classifier' bayes

    lamired
    lamired 2010/05/28
    Rubyによるベイズ識別器のプログラム.
  • ナイーブベイズ分類器であいさつbot作ってみた

    こうですね。わかります。 double kernel(Map<String, Double> x1, Map<String, Double> x2){ double n = 0; for(Map.Entry<String, Double> ent : x1.entrySet()){ if(!x2.containsKey(ent.getKey())) continue; n += ent.getValue() * x2.get(ent.getKey()); } return (n + 1) * (n + 1); } ということで、2次多項式カーネルにするには、1足して2乗するだけということなのでやってみました。結果ですが、なんかよくなってるような気もするけど、よくわかりません。。。 やっぱ、ちゃんと交差検証で性能試せるようにしないと。 スパムフィルタでよく使われてる、ベイジアンフィルタのこと

    ナイーブベイズ分類器であいさつbot作ってみた
    lamired
    lamired 2010/05/25
    Pythonによるナイーブベイズの応用例.
  • ディリクレ分布まとめ - あらびき日記

    この記事は abicky.net の ディリクレ分布まとめ に移行しました

    ディリクレ分布まとめ - あらびき日記
    lamired
    lamired 2010/05/25
    ディリクレ分布のまとめ.Rによるプログラムも.
  • EM アルゴリズム実装(勉強用) - 木曜不足

    最近忙しくて*1、PRML の予習が滞り中。 しかし、次の PRML 読書会に徒手空拳で行ったら、気持ちよく昇天してしまいそうなので、なんとか頑張って読んでみる。 EM アルゴリズムは何となくわかるが、変分ベイズがわからん…… というわけで、Old Faithful の混合正規分布での推論を K-means と EM と変分ベイズについて、Rで実装してみる。 K-means Old Faithful + K-means については、すでに 前回の記事でお試し済み。 その記事では、イテレーションを1行で書いてネタっぽくしてしまってたので、わかりやすく整理したのが以下のコード。 距離を取るところは少し変えて短くしてある。 # Old Faithful dataset を取得して正規化 data("faithful"); xx <- scale(faithful, apply(faithful,

    EM アルゴリズム実装(勉強用) - 木曜不足
    lamired
    lamired 2010/05/22
    RによるEMアルゴリズムの実装.
  • Google Scholar

    lamired
    lamired 2010/05/21
    EMアルゴリズムによるMAP推定の参考.
  • 最尤推定、MAP推定、ベイズ推定 - 人工知能に関する断創録

    1.2.5 曲線フィッティング再訪 1.2.6 ベイズ曲線フィッティング のところを実装してみます。前回は、最小二乗法で曲線フィッティングをしたけど、ベイズ的な方法で解こうって話のようです。この2つの節では、 最尤推定 最大事後確率(MAP)推定 ベイズ推定 という3つのパラメータ推定方法が曲線フィッティングという具体例で説明されてます。他の教科書では抽象的に定式化されていて違いがよくわからなかったけど、この章では曲線フィッティングという具体例に基づいて説明されているのでわかりやすいと感じました。 最尤推定 まず、最尤推定のプログラムです。実は、最尤推定で対数尤度(1.62)を最大化することは、最小二乗法の二乗和誤差関数E(w)の最小化と等価なのでwの求め方は最小二乗法(2010/3/27)とまったく同じです。 最尤推定では、目標値tの予測分布を求めるためもう1個予測分布の精度パラメータ(

    最尤推定、MAP推定、ベイズ推定 - 人工知能に関する断創録
    lamired
    lamired 2010/05/14
    最尤推定,MAP推定,ベイズ推定のコーディング.
  • 機械学習/MacでSVM-Lightを使う - とうごろうぃき

    インストール † 展開するときにディレクトリーを作ってくれないので注意しましょう. mkdir svm_light mv svm_light.tar.gz gunzip -c svm_light.tar.gz | tar xvf - make all gunzipの-cオプションは圧縮ファイルをそのままにして伸張した結果を標準出力に書き出すもので,tarの引数-は標準入力から入力されたファイルを展開するものです. これだとコンパイルだけで,パスを通さないと使えません. パスが通っているところにコンパイルされたファイルを移動させると,いつでもターミナルから実行できるようになります. sudo mv svm_learn svm_classify /usr/local/bin make clean 最後のmake cleanは不要になったファイルを消すためのオマケです. コンパイルでできたファイ

    lamired
    lamired 2010/05/13
    macでSVM-lightを使うための手引き.
  • Reuters-21578 Text Categorization Test Collection

    Test Collections Reuters-21578 Currently the most widely used test collection for text categorization research, though likely to be superceded over the next few years by RCV1. The data was originally collected and labeled by Carnegie Group, Inc. and Reuters, Ltd. in the course of developing the CONSTRUE text categorization system.  Further details, including discussion of previous versions of the

    lamired
    lamired 2010/05/13
    Reuters-21578というデータセットの詳細ページ.
  • 半教師あり学習とは結局のところ何なのか? - yasuhisa's blog

    半教師あり学習の質はどこにあるのか? 現在の半教師あり学習の悪い(?)ところ その他 今週ゼミで半教師あり学習のイントロダクション的なものをやる予定なので資料を作っている。 Self Training Generative Models S3VMs Graph-Based Algorithms Multiview Algorithms などなどの手法を簡単に紹介する予定(Blogにもあげるかもしれない)。で、資料を作っていて、「半教師あり学習とは、つまりラベルありデータだけではdata sparsenessに負けてしまうところをラベルなしデータによって補う方法ではないか」というところに行きついた気がする。 半教師あり学習 from syou6162 半教師あり学習の質はどこにあるのか?Semi-Supervised Learning Tutorialの資料からいくつか例で見てみよう。テ

    半教師あり学習とは結局のところ何なのか? - yasuhisa's blog
    lamired
    lamired 2010/05/10
    半教師あり学習についての参考.
  • Introduction to Semi-Supervised Learning #4 - imyt’s learning space

    Introduction to Semi-Supervised Learning (Synthesis Lectures on Artificial Intelligence and Machine Learning) 作者: Xiaojin Zhu,Andrew B. Goldberg出版社/メーカー: Morgan and Claypool Publishers発売日: 2009/09/15メディア: ペーパーバック購入: 1人 クリック: 52回この商品を含むブログ (9件) を見る 自分用のメモ書きです。 1. Introduction to Statistical Machine Learning 2. Overview of Semi-Supervised Learning 3. Mixture Models and EM 4. Co-Training 4.1 Two view

    Introduction to Semi-Supervised Learning #4 - imyt’s learning space
    lamired
    lamired 2010/05/10
    Introduction to SSLのまとめメモ.
  • 本のフロク: August 2007

    lamired
    lamired 2010/05/04
    JoachimsのTSVMの論文について.
  • IBM Developer

    IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

    IBM Developer
    lamired
    lamired 2010/04/26
    IBMのPythonによるニューラルネットワークのコーディング.
  • PRML合宿まとめサイト

    ■上巻 第1章: 序論 序論ではまずパターン認識の最も簡単な例として多項式曲線フィッティングを取り上げ、パターン認識・機械学習の基的な枠組みを紹介する。そしてベイズの定理や統計量などの確率論の基礎を導入し、確率論の観点から再び曲線フィッティングを扱う。不確実性はパターン認識の分野における鍵となる概念であり、確率論はこれを定量的に取り扱うための一貫した手法を与えるため、この分野における基礎の中心を担っている点で重要である。 また、回帰・識別の実際の取り扱いに際して必要となる決定理論や、パターン認識・機械学習の理論において役立つ情報理論の導入についても行う。 発表資料はこちら(ppt)とこちら(ppt)。前半では多項式曲線フィッティングの例およびベイズ的確率を、後半では決定理論および情報理論を取り扱っている。 第2章: 確率分布 第2章では二項分布や多項分布、ガウス分布といった各種の確率分布

    lamired
    lamired 2010/04/24
    PRML合宿(?)のまとめ.
  • 脳を理解するための情報源メモ

    脳を理解し BESOM モデルを拡張するために必要な知識の 良質な情報源を、独断で選んで紹介します。 ( 2014-06-04 更新) (2013-02-07: 内容が一部古くなっています。 また、少し敷居を上げ過ぎた感があるので、もう少し絞り込んで整理し直したいと思っています。) ★★★・・・ 必読。脳を理解しようとする人は必ず目を通すべきだと思います。 ★・・・ おすすめ。大変役に立ちます。 * こちらもご覧ください。 「脳を理解するための情報源メモ」更新予定メモ 目次 脳科学全般 機械学習 パターン認識、 自己組織化マップ、 ベイジアンネット、 独立成分分析、 主成分分析、 強化学習、 特徴選択、 正則化、 フレーム、 Deep Learning 認知科学・心理学 遂行機能、 事象関連電位、 アフォーダンス、 選択的注意 神経科学 神経解剖学、 計算論的神経科学 哲学 意識、 自由意

    lamired
    lamired 2010/03/17
    機会学習とその周辺を見渡すのに面白い.