サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
画力アップ
univprof.com
下の5つの手法はどれも説明変数 (記述子・特徴量・入力変数) から潜在的な変数 (たとえばPCAなら主成分と呼ばれます) を計算する手法であり、その潜在変数 (latent variable, LV) は説明変数の線形結合で (説明変数のベクトルとあるベクトルの内積の形で) 表されることを仮定しています。 主成分分析 (Principal Component Analysis, PCA) 独立成分分析 (Independent Component Analysis, ICA) 部分的最小二乗法 (Partial Least Squares, PLS) 正準相関解析 (Canonical Correlation Analysis, CCA) 線形判別分析 (Linear Discriminant Analysis, LDA) 今回はこれらの違いをまとめておきます。
いろいろな大学などでの研究をわかりやすく紹介したり、研究生活のこと・データ解析のことなど書いたり。データ解析手法のプログラムや教科書もnoteで公開しています! データ分析・解析関係の質問、どしどし受け付けております! データ解析をおこなうとき、データセットに欠損値があるときがあります。たとえば、 サンプルAは変数1と変数2の両方に値があり、 サンプルBは変数1に値はあるが変数2には値がなく、 サンプルCは変数2に値はあるが変数1には値がない、 といったときです。エクセルファイルにデータを表示したときに虫食いがあるようなデータセットの状況です。 このような状況ではどうすればよいでしょうか? 実は、これには明確な答えはありません。 しかし、多少わかっていることもあります。 順に説明します。 まず、欠損値のあるサンプルをすべて削除してみる 縦にサンプル、横に変数が並んでいるようなデータセットの
いろいろな大学などでの研究をわかりやすく紹介したり、研究生活のこと・データ解析のことなど書いたり。データ解析手法のプログラムや教科書もnoteで公開しています! データ分析・解析関係の質問、どしどし受け付けております! みなさん、回帰分析やクラス分類を行うデータ解析・データ分析のときには必ずアンサンブル学習をしましょう! アンサンブル学習はとても単純です。データセットが与えられたときに、たくさんの回帰分析モデルやクラス分類モデルを作ればいいんです。 どうやってたくさんモデルを作るの? たくさんモデルを作る方法は、大きく分けて2通りあります。それらは ランダムに説明変数(特徴量・記述子・入力変数)を選ぶ ランダムにサンプルを選ぶ です。もちろん 1. と 2. とを組み合わせて、ランダムに説明変数とサンプルとを選ぶやり方もあります。とにかくたくさんモデルを作りましょう! たとえば、200サン
プログラム・コード販売にあたっての『あいさつ』・『心構え』はこちらをご覧ください。 [New] 堀江貴文さん(ホリエモン)のメルマガ[Vol.359]における副業紹介において、このプログラム・コード販売が、なんと 1番 に紹介され評価していただきました! 公開しているデータ解析・機械学習・データマイニング関係のプログラム・コードをまとめておきます。ご興味のある方はぜひご利用ください!なおこちらは随時追加していきます!ご要望があればおっしゃってください! 見える化・可視化・低次元化 複数の見える化・可視化手法を一気に行い、結果を比較 R言語(note) R言語(SPIKE) Python言語(note) Python言語(SPIKE) 主成分分析(principal component analysis, PCA) スマホ用 教科書 カーネル主成分分析 (kernel principal c
いろいろな大学などでの研究をわかりやすく紹介したり、研究生活のこと・データ解析のことなど書いたり。データ解析手法のプログラムや教科書もnoteで公開しています! データ分析・解析関係の質問、どしどし受け付けております! PLSの成分数・SVMのC・LASSOのγを決めるのにクロスバリデーションを使うことが一般的です。5-foldクロスバリデーションや2-foldクロスバリデーションなどによってr2CVやRMSECVや正解率CVを計算して、r2CVが最大になったりRMSECVが最小になったり正解率CVが最大になったりするパラメータの値を用いるわけです。 で、r2CV・RMSECV・正解率CVを外部データに対する予測性の指標とする人もいますが、これはやってはいけません。具体的には、『r2CVが0.8なので、新しいデータについては8割の精度で予測できる!』とか、『RMSECVが0.5なので、新し
『データ解析の手順』 における「3. 外れ値処理・変数処理・ノイズ処理を行う」についてです。なお実行するためのプログラムについてはこちらをご覧ください。 公開中のプログラム・コード一覧(実用的かつ実践的なデータ解析・機械学習・データマイニング) : 大学教授のブログ ステップワイズ法 (Stepwise) により変数選択ができます。 [New] Stepwiseによる変数選択のプログラムを簡単に入手できるようになりました! それぞれのURLからお求めください! R: https://note.mu/univprof/n/nbb3b509205a7 ステップワイズ法(Stepwise)による変数選択は下の手順で行われます。 変数選択の方法を設定する 変数減少法・変数増加法・変数増減法の中から選びます。 ・変数減少法: 全変数から最も評価値が上がるように1つずつ変数を減らしていきます。 ・変数
このページを最初にブックマークしてみませんか?
『大学教授のブログ (データ分析相談所)』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く