ロジスティック回帰 - 人工知能に関する断創録
今回は、ロジスティック回帰です。この方法はPRMLで初めて知りましたが、統計学の方では一般的な方法のようです。回帰という名前がついてますが、実際は分類のためのモデルとのこと。ロジスティック回帰では、クラス1の事後確率が特徴ベクトルの線形関数のロジスティックシグモイド関数として書けることを利用しています。 ここで、σ(a)は式（4.59）のロジスティックシグモイド関数です。 訓練データ集合 {x_n, t_n} （今度は、クラス1のときt_n=0, クラス1のときt_n=1なので注意）からパラメータwを最尤推定で求めます。尤度関数は、 と書けるので、誤差関数（尤度関数の負の対数）は、 となります。誤差関数を最小化するようなwを求めたいってことですね。で、普通だったら今までのようにwで偏微分して0とおいてwを解析的に求めるところですが、yにロジスティックシグモイド関数が入っているせいで解析的に
パーセプトロン - 人工知能に関する断創録
今回は、4.1.7のパーセプトロンアルゴリズムを実装します。パーセプトロンは、2クラスの識別モデルで、識別関数は式（4.52）です。 パーセプトロンは、下の条件を満たすような重みベクトルwを学習します。教師信号は、クラス1のとき教師信号+1、クラス2のとき-1（0じゃない）なので注意。 上の条件をまとめるとxnが正しく分類されているときは、 を満たします。この条件はあとでプログラム中で使います。パーセプトロンは、正しく分類されているパターンに対してはペナルティ0を割り当て、誤分類されたパターンにペナルティ を割り当てます。上の式の値はxnが誤分類されたデータの場合、必ず正になるので注意。なのでパーセプトロンの誤差関数（パーセプトロン基準）は、 で与えられます。ここで、Mは誤分類されたパターンの集合です。この誤差関数は誤分類のパターンが多いほど値が大きくなるので誤差関数を最小化するようなwを
フィッシャーの線形判別 - 人工知能に関する断創録
今回は、4.1.4のフィッシャーの線形判別を試してみました。これは、他の手法と少し毛色が違う感じがします。まず、D次元の入力ベクトルxを（4.20）で1次元ベクトル（スカラー）に射影します。ベクトル同士の内積なので結果はスカラーで、wはxを射影する方向を表します。 フィッシャーの線形判別は、射影後のデータの分離度をもっとも大きくするようなデータの射影方向wを見つけるという手法だそうです。 クラス1のデータ集合C1の平均ベクトルとクラス2のデータ集合C2の平均ベクトル（4.21）をw上へ射影したクラス間平均の分離度（4.22）を最大にするwを選択するのが1つめのポイントのようです。式（4.22）の左辺はスカラーです（フォントの違いがわかりにくい）。 wは単位長であるという制約のもとで（4.22）を最大化するようにラグランジュ未定乗数法で解くと、 という解が得られます（演習4.4）。これは、ベ
分類における最小二乗 - 人工知能に関する断創録
4.1節は、データから識別関数を直接的に構成するアプローチとして、 最小二乗法 フィッシャーの線形判別 パーセプトロン が紹介されています。すべて線形識別モデルなので二次元なら直線、三次元なら平面、それ以上なら超平面で分離できる、つまり、線形分離可能なデータしか分類できない方法です。私が昔、機械学習を勉強していたときはこれがメインだったのでこっちのアプローチが一番自然な感じがして、ベイズ的なアプローチの方が新鮮に感じていました。 ここで出てくるパーセプトロンは、Rosenblattが提案したやつでMinskyとPapertに「線形分離しかできないじゃないか！」と批判されたアルゴリズムですね。線形分離不可能なデータにも対応できるRumelhartの多層パーセプトロンは5章のニューラルネットワークに、サポートベクトルマシン（SVM）は下巻の7章に出てくるようです 今回は、4.1.3の分類におけ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
