PRML第2章 スチューデントのt分布 Python実装 - Qiita
今回はスチューデントのt分布の最尤推定を実装します。スチューデントのt分布はガウス分布より外れ値に対して頑健な性質を持つ分布としてよく知られていますが、よくよく思い出せばこの分布を用いたことが全くなかったので、良い機会ですしその頑健性を実際に確認してみます。一回目のPRML実装のときに標準ライブラリ以外は極力numpyだけというルールを設けましたが、今回はディガンマ関数というあまり馴染みのない関数が出てきたためscipyも使いました。この企画２回目にして早々にnumpy以外のサードパーティーのパッケージを使ってしまうこととなり、先が思いやられてしまいます。 スチューデントのt分布は、ガウス分布$\mathcal{N}(x|\mu,\tau^{-1})$の精度パラメータ$\tau$の共役事前分布としてガンマ分布${\rm Gam}(\tau|a,b)$を用い、精度を積分消去して得られる分布で
Pythonで「線形回帰」と"確率版の線形回帰"である「ベイズ線形回帰」 - Qiita
モチベーション Pythonで機械学習アルゴリズムを1から書く系のことがしたい 「機械学習」でググると評判の良い技評のページがあり勉強を兼ねて。古いページですが、解説がわかりやすかったので読んだこと無い方はオススメです。 以下、上記ページの自己理解のための再まとめです（詳細は文末に記載したオリジナルページを参照してください） 線形回帰の求め方の流れ 基底関数 「線形回帰」では，まず「基底関数」というものを定める 文字通り、関数を表現するベースとして使うもの 基底関数に特別な条件はないので自由に好きな関数が使える ただし、選び方によってモデルの性能や得られる関数の形などが決まるので、基底関数は解きたい問題にあわせて選ぶ必要がある 中でもよく使われる基底関数2種類が以下（それぞれの詳細は後述） 多項式基底
機械学習アルゴリズム実装シリーズ vol 2[ロジスティック回帰編] - Technology Topics by Brains
こんにちは。ブレインズテクノロジー樋口です。 機械学習アルゴリズムを一から実装するシリーズ2回目。今回のお題はロジスティック回帰(Logistic Regression)の実装。 前回と同様あまり難しい説明はなしに実装していくつもりですが、もっと詳しいこと教えんかい( ﾟдﾟ )ｸﾜｯ!!となったら以下のような専門書をどうぞ。 machinelearningmastery.com ロジスティック回帰とは ロジスティック回帰(Logistic Regression)は分類問題を解決するための手法で教師あり学習に分類されます。 元々は統計の分野で発展してきたもので、応用先としては ・e-mailのスパム判定 ・病理標本の悪性判定 ・トランザクションの正常性判定 などに使われているようです。 # 名前には回帰(Regression)とついてるんですけど分類なんですね。。。 ロジスティック回帰[理
多重共線性によって重回帰分析の推定は不安定になる（のはなぜか？） - jnobuyukiのブログ
今回は、回帰分析を実用する上で気をつけたい問題の１つである多重共線性について考えます。 多重共線性って？ 回帰分析では、一つの従属変数（予測される変数）に対して一つ以上の独立変数（予測する変数）を構成して予測モデルとします*1。このとき、予測する変数を「独立変数」と呼ぶように、予測する変数の間には関連性がない（つまり独立）ことが想定されています。複数の変数で予測するなら似たような者同士ではなく、異なるもので予測したほうが意味があると思えるので、この想定は納得のいくものです。 しかし、社会科学領域でしばしば起こるのですが、何かの調査項目同士にはある程度相関関係が見られます。 ここで相関が少しでも高いと直ちに回帰モデルが作れないわけではなく、ある程度は独立変数間に相関があっても分析可能です。しかし、独立変数間に極端に高い相関があると、予測そのものが不安定になることがあります。例えば、独立変数に
tensorFlow : ニューラルネットワークによる回帰(regression) - Qiita
はじめに 画像の分類やオブジェクト認識などの問題でDNNが注目されていまして，たくさんのサンプルコードが公開されています．これらは分類(classification)の問題ですが，回帰(regression)の問題をDNNで解きたい場面もあると思います．本稿ではtensorFlowとscikit-learnのデータセットを用いて回帰の問題を解いてみようと思います． データセット scikit-learnの"diabetes"のデータセットを用います．これは糖尿病患者の生理学的な特徴量(10次元, real)と1年後の病状を表すターゲット(1次元, int)をセットにしたデータです．特徴量は$\pm0.2$に正規化されており，ターゲットの値域は$25<y<346$となっています．各特徴量がそれぞれの値が何を意味しているか理解していませんが，とりあえず回してみます．サンプル数は442です． ネ
カテゴリー変数に embedding layer を用いたNeural Net - puyokwの日記
kaggle のRossmann の3 位のNeokami Inc(entron)さんの用いた手法が面白かったので、その概要の紹介などをしていきたいと思います。 まず手法の名前は、"Entity Embeddings of Categorical Variables" で、 [1604.06737] Entity Embeddings of Categorical Variables 論文にもなっています。コードはGithub にありますので、興味のある方はご覧ください。 github.com (これはPython3 を用いて書かれています。) embedding layer を用いた他のコンペでの有力なsolution。 kaggle のtaxi コンペ: Taxi Trajectory Winners’ Interview: 1st place, Team ? | No Free Hu
回帰(regression)のコンセプトと用語を復習する - Qiita
データを分析していて２つの指標間に関係性について直線をあてはめたい（直線をフィットさせたい）状況があるかと思います．自分で関数を用意する必要はないと思いますが，さて，Pythonではどのパッケージを使うべきでしょうか？ numpy.linalg.lstsq() http://docs.scipy.org/doc/numpy-1.10.0/reference/generated/numpy.linalg.lstsq.html numpy.polyfit() http://docs.scipy.org/doc/numpy-1.10.0/reference/generated/numpy.polyfit.html#numpy.polyfit scipy.optimize.curve_fit() http://docs.scipy.org/doc/scipy/reference/generated
やる夫で学ぶ機械学習 - 単回帰問題 - · けんごのお屋敷
やる夫で学ぶ機械学習シリーズの第 2 回です。回帰について見ていきます。 第 1 回はこちら。やる夫で学ぶ機械学習 - 序章 - 目次はこちら。やる夫で学ぶ機械学習シリーズ 問題設定 やらない夫 今日は回帰について詳しく見ていく。 やる夫 回帰って響きがカッコいいお。 やらない夫 ここからは、より具体的な例を混じえながら話を進めていこう。 やる夫 具体例は、やる夫の明日のお昼ごはんぐらい大事だお。 やらない夫 まったく意味がわからないたとえなんだが…。そうだな、たとえば、主人公の攻撃力によって、敵キャラに与えるダメージが決まるゲームがあるとしよう。 やる夫 よくある設定だお。 やらない夫 ダメージには揺らぎがあって、常に同じダメージを与えられるとは限らない。さて、実際に何度か敵キャラに攻撃してみて、その時の攻撃力と与えたダメージをグラフにプロットしてみると、こんな風になっていたとしよう。
ロジスティック回帰 (勾配降下法 / 確率的勾配降下法) を可視化する - StatsFragments
いつの間にかシリーズ化して、今回はロジスティック回帰をやる。自分は行列計算ができないクラスタ所属なので、入力が3次元以上 / 出力が多クラスになるとちょっときつい。教科書を読んでいるときはなんかわかった感じになるんだが、式とか字面を追ってるだけだからな、、、やっぱり自分で手を動かさないとダメだ。 また、ちょっとした事情により今回は Python でやりたい。Python のわかりやすい実装ないんかな？と探していたら 以下の ipyton notebook を見つけた。 http://nbviewer.ipython.org/gist/mitmul/9283713 こちらのリンク先に2クラス/多クラスのロジスティック回帰 (確率的勾配降下法) のサンプルがある。ありがたいことです。理論的な説明も書いてあるので ロジスティック回帰って何？という方は上を読んでください (放り投げ)。 この記事で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
