回帰モデルにおけるL1正則化とL2正則化の効果 - old school magic
概要 回帰モデルとは、与えられた入力を用いて目標変数を予測するモデルです。 回帰モデルでは過学習を防ぐため、誤差関数(二乗誤差関数など)に次の式で表される正則化項を加えて最小化します。 この形の正則化項を用いる回帰をブリッジ回帰と呼びます。 特にの時をLasso回帰、の時をRidge回帰と呼びます。また、それぞれに用いられている正則加項をL1ノルム、L2ノルムと呼びます。 L1ノルムとL2ノルムの特徴を簡単にまとめると次のようになります。 L1ノルムはパラメータの一部を完全に0にするため、モデルの推定と変数選択を同時に行うことができる 特に次元数>>データ数の状況で強力 L2ノルムは微分可能であり解析的に解けるが、L1ノルムは 解析的に計算出来ない L1ノルムには様々な推定アルゴリズムが提案されている また、L1ノルムには 次元が標本数より大きい時、高々個の変数まて
MacでPythonの機械学習環境構築(2014年5月版) - old school magic
この記事は古くなっています。 最新版の記事はこちらになります。 MacでPythonの機械学習環境構築(2015年2月版) - old school magic 概要 MacでPythonの管理と環境構築の備忘録です。 色々試してみて今の形に落ち着いたのですが、コロコロ変わりそうな気もするので日付をつけときます。 簡単にまとめるとこんな感じです。 Pythonの導入・管理 : pyenv 機械学習ライブラリの構築 : Anaconda 前回はこんな感じだったのでだいぶ変わりました。 前準備 バージョン管理システムはhomebrewを用います。 ソフトウェアをまとめて管理(インストールやアップデート、削除等)するためのソフトです。 homebrewについては次の解説が参考になります。 公式 Homebrew — The missing package manager for OS X インス
機械学習を初めて勉強する人におすすめの入門書 - old school magic
概要 私が機械学習の勉強を始めた頃、何から手を付ければ良いのかよく分からず、とても悩んだ覚えがあります。同じような悩みを抱えている方の参考になればと思い、自分が勉強していった方法を記事にしたいと思います。 目標としては、機械学習全般について、コンパクトなイメージを持てるようになることです。 そのためにも、簡単な本から始めて、少しずつ難しい本に挑戦して行きましょう。 入門書 何はともあれ、まずは機械学習のイメージを掴むことが大切です。 最初の一冊には、フリーソフトでつくる音声認識システムがおすすめします。 フリーソフトでつくる音声認識システム - パターン認識・機械学習の初歩から対話システムまで 作者: 荒木雅弘出版社/メーカー: 森北出版発売日: 2007/10/17メディア: 単行本（ソフトカバー）購入: 45人 クリック: 519回この商品を含むブログ (38件) を見るレビュー :
Python3でPyMCのインストール - old school magic
概要 PyMCはPythonのベイズ統計用ライブラリです。特にMCMCに重点を置いています。 Python3にPyMCを導入するのに割りと手こずったのでメモします。 参考になれば幸いです。 インストールの前準備 今回はPyMC version 3を試します。(まだalpha版です。) Python 2.7もしくは3.3に対応しています。 PyMC3 https://github.com/pymc-devs/pymc 依存しているライブラリは Theano NumPy SciPy Matplotlib です。これらを事前にインストールします。 参考 MacでPythonの機械学習環境構築(2014年5月版) - old school magic Theano Anaconda(Python用の機械学習パッケージ)で一発です。 と言いたいところですが、Theanoでちょっと引っかかりました。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
