リッジ回帰とラッソ回帰の理論と実装を初めから丁寧に - Qiita
はじめに 前回の記事で重回帰分析の導入をしてみたので、今回はその続きということで、2つ同時にやってみたいと思います。 ベクトルの微分公式については下記のブログが参考になります。 もしこの記事がお役に立てた時はQiitaのイイねボタンを押していただけると励みになります。 参考記事 「ベクトルで微分・行列で微分」公式まとめ 重回帰分析 リッジ回帰について考える際に、重回帰分析の理解はマストになるのでここでも見ていこうと思います。式変形については、前回の記事で詳しく導入したので少しだけ端折っていきます。 準備 説明変数$x_1, x_2, x_3, \cdots, x_m$を$\boldsymbol{x}$（$x$のベクトル）とする 予測値を$\hat{y}$とする（$\hat{y}$はスカラー） 回帰係数を$w_1, w_2, w_3, \cdots, w_m$を$\boldsymbol{w}
時系列データ分析の処理でやってはいけないこと（反省を含めて） - Qiita
（追記1）用語（"in-sample", "out-of-sample")の使い方が不適切との指摘をいただきました．本記事の後半部にこの点，追記いたしました． （追記2）を後半部に加えました． Qiita投稿した後，内容の誤りに気がついても，手間を惜しんでそのままになってしまいがちである．ごく小さな誤記であればまだいいが，理論的な誤りや勘違いにおいては，間違った発信が続いていることには違いなく，反省しなければならない．（記事削除が手っ取り早いのですが，「いいね」がついていたりすると削除も失礼かと... ） さて，以前 回帰モデルの比較 - ARMA vs. Random Forest Regression - Qiita で時系列データからLag（遅れ）を特徴量として使う Random Forest回帰のやり方を紹介している． 今回は単変量の時系列データであるが，いくつかの過去のデータ使っ
データの種類の理解と線形回帰ことはじめ - Qiita
昨日は統計のウソを見破る 5 つの視点として統計的誤りに関する注意点を説明しました。 本日はここであらためて、分析しようとしているデータそのものにスポットを当ててみたいと思います。 KPI (key performance indicator) とは目標を達成するために何が必要かを定量的に表す数値です。整形して美人になりたいというのは KPI ではありませんが、体重を 3 ヶ月後までに 10 キロ減らすとか鼻を 1.5 センチ高くするといったものは KPI です。 データにはどのような種類があり KPI として利用しようとしている指標はどんなデータなのか正しく理解していないとしばしば誤った KPI を導き、無意味なデータ分析へとつながる危険を孕みます。 変数とは 社会調査や医療統計など様々な分野で被調査対象者の状態を多方面から特定していきます。たとえばアンケートやカルテを想定してみましょう
線形回帰と相関係数、そして東京の平均気温を実際に分析してみる - Qiita
線形回帰における仮定 前々回、前回 と線形回帰について説明してきました。 線形回帰における最小二乗法では Y 軸の点と点の全体的な長さの差異 (= これを、それぞれの差の二乗を取ってから加算するので二乗誤差といいます) が最小になるように、まっすぐな線 (= 1 次式の直線となる関数) を求めました。すなわち、データの集合から直線に回帰する推定をおこなったわけです。 相関係数を求める どんな 2 次元データでも線形回帰で関数を導くことはできますが、それが妥当かどうか気になります。そこで両者の相関係数を求めます。相関係数はベクトル v1, v2 からそれぞれの要素 x, y の平均を求め、次に v1, v2 の分散と共分散を求めます。コードで表現してみましょう。 def correlation(data): n = len(data) # 二次元データの長さを n に求める xm = 0.0
[Review] Wide&Deep Learning - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Main Question can we teach computers to learn like humans do, by combining the power of memorization and generalization? Study Resources Tensorflow Tutorial Nice Qiita Post in Japanese Research Blog Visual Concept Case Study Let's say one day you wake up with an idea for
![[Review] Wide&Deep Learning - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c5a065018045cb8935d9affbda0bcd09a5f0ab23/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRmF2YXRhcnMzLmdpdGh1YnVzZXJjb250ZW50LmNvbSUyRnUlMkYyMDYyNjc5MiUzRnYlM0Q0P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1lMTcxNzlmZDdkODRmMDAxMWY1YWZlNGI0YmNjMTZhOA%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D252d3bb79a479c660485224722ed8572%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUmV2aWV3JTVEJTIwV2lkZSUyNkRlZXAlMjBMZWFybmluZyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTdkZjBlMjhmYzE4ZTZhMDE4ZjM1ZGU5ZTczOTZmMjhj%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBSb3dpbmcwOTE0JnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9NGEwOTczZTZhZTVjN2ZiM2E0ZDkzMTU1MjRkZDdlZTc%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D6de727fab18e05b3b15c118a08e2936c)
LinearRegression クラスについてメモ - Qiita
sklearn の LinearRegression クラスについての個人メモ。 LinearRegression とは 線形回帰モデルの一つ。説明変数の値から目的変数の値を予測する。 導入 import sklearn.linear_model.LinearRegression アトリビュート coef_ 回帰変数。 intercept_ 切片。 メソッド fit(x, y) 線形回帰モデルの当てはめを実行。訓練の開始。 xが対象データで、yが正解データ ※教師あり学習が前提 get_params() 推定に用いたパラメータを取得。 predict(x) モデルを使用して、xに対して予測を実行し予測値を算出する。 score(x, y) 決定係数を出力。予測値xと正解値yの相関を測る。 実践 import pandas as pd from sklearn.linear_model im
【機械学習】最小二乗法について メモ - Qiita
機械学習で使用することを前提として、最小二乗法についてまとめます。 ど文系のメモなので、誤りなどあったら指摘していただければ嬉しいです。 最小二乗法とは 最小二乗法(さいしょうにじょうほう、さいしょうじじょうほう；最小自乗法とも書く、英: least squares method)は、測定で得られた数値の組を、適当なモデルから想定される1次関数、対数曲線など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、残差の二乗和を最小とするような係数を決定する方法、あるいはそのような方法によって近似を行うことである。(Wikipedia) あるデータの分散について回帰を行いたいときなどに用いる考え方。 回帰直線をはじめとし、ロッソ回帰やリッジ回帰などの根底となる概念。 数式について 数式 モデル関数を f(x) とするとき
scikit-learnの決定木/ランダムフォレストのルールからPythonコードを生成 - Qiita
はじめに Pythonで機械学習といえばscikit-learnですが、scikit-learnを使うにはnumpyやscipyといった大きめのライブラリを入れる必要があります。でも、プログラムでほんのちょこっとだけ機械学習のモデルを使って分類したいって場合だと、わざわざそういう重いもの入れたくないなーと思うときがあります。scikit-learnで学習したものをnumpy, scipy, scikit-learnなしに使って分類処理ができたらなーって。 そこで今回はscikit-learnの決定木 (DecisionTreeClassifier) やRandom forest (RandomForestClassifier) からif-then形式のコードを生成するものを紹介します。 コード https://github.com/ikegami-yukino/misc/blob/mast
Gradient Boostingについて - Scikit-Learnを使ったfeature transformation(GBDT + LR vs LR) - - Qiita
1. scikit-learnを使った実験概要 Gradient Boostingについて - 準備編 - （ http://goo.gl/y2EVLI ） の予告通り今回はSklearnで実験をしてみました。目的は、GBDTを使ったfeature transformationが予測を改善するのか、という点を確認する事です。 ところで、Gradient Boostingでfeature transformationする話は昔からあったはずですが、ADKDD'14で発表されたPractical Lessons from Predicting Clicks on Ads at Facebook[1]が非常に有名です。実験はこの論文がやっている事と同じですが、featureの安定性等は計算していません。実務で適用する場合は重要な点ですので、ぜひトライしてみて下さい（結果を教えて頂けるととてもうれ
【機械学習】scikit learnを用いた回帰分析 - Qiita
こんにちは。 林@アイエンターです。 前回はブログでは数学的なアプローチの回帰分析のお話をいたしました。 最近は統計分析や機械学習の分野では、Pythonが使われるケースが増えています。 Pythonには、数理演算やデータ可視化の強力なライブラリがそろっているのが その一因かと思います。 今回は「scikit-learn」という機械学習で良く用いられるpythonライブラリを紹介します。 非常にパワフルなライブラリーです。 実際、前回のブログのサンプルデータをライブラリーで回帰分析してみます。 ■環境セットアップ 「Anaconda」という、Pythonパッケージをインストールします。 これはPython本体と、科学技術、数学、データ分析関連で良く使われるライブラリを、一括でインストールできるパッケージです。 Windows/MacOS/Linuxのそれぞれのパッケージが用意されています。
tensorFlow : ニューラルネットワークによる回帰(regression) - Qiita
はじめに 画像の分類やオブジェクト認識などの問題でDNNが注目されていまして，たくさんのサンプルコードが公開されています．これらは分類(classification)の問題ですが，回帰(regression)の問題をDNNで解きたい場面もあると思います．本稿ではtensorFlowとscikit-learnのデータセットを用いて回帰の問題を解いてみようと思います． データセット scikit-learnの"diabetes"のデータセットを用います．これは糖尿病患者の生理学的な特徴量(10次元, real)と1年後の病状を表すターゲット(1次元, int)をセットにしたデータです．特徴量は$\pm0.2$に正規化されており，ターゲットの値域は$25<y<346$となっています．各特徴量がそれぞれの値が何を意味しているか理解していませんが，とりあえず回してみます．サンプル数は442です． ネ
Coursera Machine Learningの課題をPythonで: ex1（線形回帰） - Qiita
方針 オンライン学習プラットフォームCourseraで一番人気の講座、Stanford大学のMachine Learning。講師はAndrew Ng先生。授業はレクチャーとプログラミング課題からなるが、プログラミング課題に使用する言語はOctaveまたはMatlabが指定されている。 このプログラミング課題をPythonを使って粛々と実装していく。ただし、 オリジナルの課題はアルゴリズムの理解を助けることを目的としているため、一部の処理は機械学習のライブラリを使用せずに自らコードを書くように設計されている。これをそのままPythonで再現するのではなく、できる限りPythonにある機械学習ライブラリを使って効率よく実装したい。 という方針。 さっそくex1 最初の課題となるex1では線形回帰(Linear Regression)をやります。レストランチェーン経営において、過去に出店した街
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
正則化項（LASSO）を理解する - Qiita
[Review] Wide&Deep Learning for Recommender System - Qiita![[Review] Wide&Deep Learning for Recommender System - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c8ee4576ae8c677f6b298876c6bb587ee94dc23b/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRmF2YXRhcnMzLmdpdGh1YnVzZXJjb250ZW50LmNvbSUyRnUlMkYyMDYyNjc5MiUzRnYlM0Q0P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1lMTcxNzlmZDdkODRmMDAxMWY1YWZlNGI0YmNjMTZhOA%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D252d3bb79a479c660485224722ed8572%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUmV2aWV3JTVEJTIwV2lkZSUyNkRlZXAlMjBMZWFybmluZyUyMGZvciUyMFJlY29tbWVuZGVyJTIwU3lzdGVtJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9YmRiODAyMmYxODFlYTM0ZGJmY2IwOTZkN2JhNDM5ZDU%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBSb3dpbmcwOTE0JnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9NGEwOTczZTZhZTVjN2ZiM2E0ZDkzMTU1MjRkZDdlZTc%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D5c8b4e1ccd62209ed63fe92eeb907dfe)
statsmodels で線形回帰 - Qiita
https://qiita.com/gash717/items/5ad68ed192f802c6ad36