F値 - 機械学習の「朱鷺の杜Wiki」
正解率 (精度, accuracy)：正や負と予測したデータのうち，実際にそうであるものの割合 \[\mathrm{Accuracy}=\frac{TP+TN}{TP+FP+TN+FN}\] 適合率 (precision)：正と予測したデータのうち，実際に正であるものの割合 \[\mathrm{Precision}=\frac{TP}{TP+FP}\] 再現率 (recall, 感度, sensitivity)：実際に正であるもののうち，正であると予測されたものの割合 \[\mathrm{Recall}=\frac{TP}{TP+FN}\] 特異度 (specificity)：実際に負であるもののうち，負であると予測されたものの割合 \[\mathrm{Specificity}=\frac{TN}{FP+TN}\] F値 (F尺度, F-measure)：再現率と適合率の調和平均． \[\
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
The document describes various probability distributions that can arise from combining Bernoulli random variables. It shows how a binomial distribution emerges from summing Bernoulli random variables, and how Poisson, normal, chi-squared, exponential, gamma, and inverse gamma distributions can approximate the binomial as the number of Bernoulli trials increases. Code examples in R are provided to
【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本 - Qiita
【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本本機械学習数学データ分析データサイエンス Update版2023年版データ分析の100冊を書きましたよ！ 必読10冊を更新。データサイエンス、データ分析、機械学習周りでおすすめ図書10選のような記事は良く見ますが、網羅的な紹介記事はあまり見かけないので自分が欲しいと思い書きました。私よりたくさん読んでいる方は多々いらっしゃると思いますが、記事を書いてくださいな。 別の観点でデータ分析プロジェクトのフェーズ毎の参考書籍紹介という記事を新たに書きました。 データ分析の各フェーズ（データ分析プロジェクト全体-ビジネス状況の理解-データの理解-データの準備-モデルの作成-評価-展開）毎に参考書籍を紹介しています。 本記事の対象と想定 Qiitaはプログラマやコンピューター系技術者のための記事と思っ
ビジネス実務の現場で有用な統計学・機械学習・データマイニング及びその他のデータ分析手法10+2選（2016年版） - 渋谷駅前で働くデータサイエンティストのブログ
そう言えば3年前にこんなまとめ的エントリを書いたのでした。この内容はそのままかなりの部分が2年前に刊行した拙著の原案にもなったということで、色々思い出深いエントリです。 なのですが。・・・この3年の間に統計学・機械学習・データマイニングの諸手法及びそれを取り巻くビジネスニーズには様々な進歩があり、そろそろこの内容にも陳腐化が目立つようになってきました。ということで、3年間の進歩を反映してアップデートした記事を書いてみようと思います。前回は「10選」でしたが、今回は「10+2選」に改めました。そのラインナップは以下の通り。 統計学的検定（t検定・カイ二乗検定・ANOVAなど） t検定 カイ二乗検定 ANOVA（分散分析） その他の検定 重回帰分析（線形回帰モデル） 一般化線形モデル（GLM：ロジスティック回帰・ポアソン回帰など） ロジスティック回帰 ポアソン回帰 正則化（L1 / L2ノルム
「そのモデルの精度、高過ぎませんか？」過学習・汎化性能・交差検証のはなし - 渋谷駅前で働くデータサイエンティストのブログ
今年の1月にこんな話題を取り上げたわけですが。 この記事の最後にちょろっと書いた通り、実際にはこういう"too good to be true"即ち「そのモデルの精度いくら何でも高過ぎるんじゃないの？」→「実は汎化性能見てませんでした」みたいなケースって、想像よりも遥かに多くこの世の中存在するみたいなんですね。ということで、それこそ『はじパタ』の2章とかPRMLの最初の方に出てくる初歩中の初歩なんですが、その辺の話を改めてだらだら書いてみようと思います。 そもそも「精度100%」とか「相関係数0.9以上」とか見たら身構えるべき 冒頭に挙げた例は、そもそも「精度100%なんておかしい」という声があちこちから挙がったことで話題になり、蓋を開けてみたらleakageはあるわ訓練誤差でしか評価してないわで散々だったわけです。 一般に、実世界のデータセットで統計モデリングにせよ機械学習にせよモデリン
RでL1 / L2正則化を実践する - 渋谷駅前で働くデータサイエンティストのブログ
L1 / L2正則化と言えば機械学習まわりでは常識で、どんな本を見てもその数式による表現ぐらいは必ず載ってる*1わけですが、そう言えばあまり実務では真面目にL1 / L2正則化入れてないなと思ったのと、Rでやるなら普通どうするんだろう？と思ったので*2、もはや周回遅れみたいな感じではありますが備忘録的に実践してみようかと思います。 L1 / L2正則化って何だっけ ということで復習（自分の記憶が合っているかどうかの確認）。。。PRMLにも載ってる有名な図がありますが、あれの説明が直感的には最も分かりやすいかと思います。これは重み付けベクトルが2次元の場合、つまりとを求めるという問題を想定した図です。もうちょっと言えば2次元データに対する分類or回帰問題ということで。 基本的には分類器にせよ回帰モデルにせよ、学習データに対する誤差*3を定式化して、これを最小化するように（このケースでは2つの
特徴選択 - Wikipedia
特徴選択（とくちょうせんたく、英: feature selection）とは、機械学習と統計学の用語であり、頑健な学習モデルの構築のため、特徴集合のうち意味のある部分集合だけを選択する手法のことを指す。特徴量選択、変数選択、特徴削減、属性選択、素性選択、変数部分集合選択などとも呼ばれる。生物学の文脈では、DNAマイクロアレイの実験に基づいて影響力のある遺伝子を検出する手法を指す場合もある。不要で冗長な特徴量をデータから除去することによって、特徴選択は学習モデルを次の点で改善する： 次元の呪いの効果を緩和する。 汎化性能を向上させる。 学習を高速化する。 モデルの可読性を改善する。 特徴選択を行うと、データのうちどの特徴量が重要でありどのようにそれらが関係しているかなどといった点について、人間が理解しやすくなるという効果もある。 導入[編集] 単純な特徴選択アルゴリズムは場当たり的なものだが
機械学習を用いた予測モデル構築・評価
質的変数（順序尺度）に有用なポリコリック相関係数を紹介しています。 また、ポリコリック相関係数を使った因子分析の方法も説明しています。
ラグランジュの未定乗数法と例題 | 高校数学の美しい物語
二変数関数 f(x,y)f(x,y)f(x,y) を最大化したいときに，一般的には f(x,y)f(x,y)f(x,y) をそれぞれの変数で微分して 000 となる点を調べます。 微分係数が 000 となるのは極値となる必要条件なので， f(α,β)f(\alpha,\beta)f(α,β) が最大→(α,β)(\alpha,\beta)(α,β) は ∂f∂x=∂f∂y=0\dfrac{\partial f}{\partial x}=\dfrac{\partial f}{\partial y}=0∂x∂f=∂y∂f=0 の解，または区間の端っこと言えます。 この手法は例えば，二変数の二次関数の最適化問題に有効です。
Support Vector Machine
最近よく巷で耳にするモノ． SVM， Support Vector Machine， さぽーとべくたーましん． これっていったい，どんなもんなんでしょう． なにやら便利そうなモノらしいので，ちょいと調べて要点をまとめてみようかな，なんて． でも，ただまとめただけだとそのへんの記事を読むのとなんにも変わらないので， コーディングするために必要な知識を中心にまとめてみることにします．
「統計学と機械学習の違い」はどう論じたら良いのか - 渋谷駅前で働くデータサイエンティストのブログ
何かこんなメディア記事が出ていたようです。 これを読んで色々な人がツッコミを入れまくっている模様ですが、この記事の不思議なところは「完全に間違った説明というわけでもないのに何故か（両分野に詳しい）誰が読んでも猛烈な違和感を覚える」ところなんじゃないかなぁと。 正直、これはライター・インタビュアー・コメンテーター・編集者の誰のせいなのかは全く分からないんですが、ツッコミ入れられまくっている内容について色々あげつらってもあまり建設的でないので、ここでは記事中で本題として取り上げられている「統計学と機械学習の違い」についてちょっとコメントしてみようと思います。 あ、もちろん僕がこれから書くコメントも別に正しいとは全く限らないので、おかしいところや間違ってるところがあったらバンバン突っ込んでいただければ幸いです*1。そしてガチ勢向けのコメントでもないので何卒悪しからず。 統計学はデータを「説明」す
ラグランジュの未定乗数法を実例で理解する - Qiita
Wikipediaが詳しいです（ラグランジュの未定乗数法）。 ざっくり概要は、束縛条件がある場合に式の最適化をする方法です。 式で表すと、ある式$f(x,y,z)$があってその極値を求めたいけれど、条件として$g(x,y,z)=0$となるように$x,y,z$を選ばないと行けないという状況です。 計算方法 極値を求めたい式$f(x,y,z)$と、束縛条件$g(x,y,z)$がある場合に、新たな式
ＥＭＡＮの物理学・解析力学・ラグランジュの未定乗数法
となることが取敢えずの極値の条件である。 残念ながらこの条件から導かれる点 が極小か極大か、 ただの停留点か、あるいは鞍点であるかということは分からない。 鞍点というのは、例えば 2 変数関数をグラフにしたときの図形が 馬の鞍のようになる場合の話で、ある方向には極小であるがある方向には極大である、 という状況になる点である。 山の尾根沿いの道に例えてもいいかも知れない。 道の左右はどちらを向いても下り坂だが、前後は両方とも上り坂ということがある。 そういう点だ。 その他にも、現在点は水平だが、前には上り坂、後ろには下り坂という状況だってある。 上に書いた条件だけではそこまでの判定はできないが、 とりあえず、極値になりそうな候補をすべて導き出すことならば出来る。 条件付極値判定 ではこれに対して、二つほどの束縛条件が加わったらどうなるだろう。 これでは 、 、 はそれぞれ独立に、 自由には動
Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くデータサイエンティストのブログ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
@kenmatsu4のマイページ - Qiita
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料