Courseraの機械学習ネタの続き。今回はロジスティック回帰をやってみます。回帰と付くのになぜか分類のアルゴリズム。以前、PRMLの数式をベースにロジスティック回帰(2010/4/30)を書いたけど今回はもっとシンプル。以下の3つの順にやってみたいと思います。 勾配降下法によるパラメータ最適化 共役勾配法(2014/4/14)によるパラメータ最適化(学習率いらない!速い!) 正則化項の導入と非線形分離 ロジスティック回帰は線形分離だけだと思ってたのだけど、データの高次の項を追加することで非線形分離もできるのか・・・ 使用したデータファイルなどはGithubにあります。 https://github.com/sylvan5/PRML/tree/master/ch4 勾配降下法によるパラメータ最適化 2クラスのロジスティック回帰は、y=0(負例)またはy=1(正例)を分類するタスク。ロジステ
![共役勾配法によるロジスティック回帰のパラメータ推定 - 人工知能に関する断創録](https://cdn-ak-scissors.b.st-hatena.com/image/square/9ead5928d6c529bd886fd9f3146a24e3ecb40992/height=288;version=1;width=512/http%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fa%2Faidiary%2F20140415%2F20140415224735.png)