http://www.singularpoint.org/blog/math/optimization/logit-maximum-entoropy/
主成分分析(PCA)がなぜ分散共分散行列を対角化する固有値問題となるか - 緑茶思考ブログ
主成分分析（principal component analysis:PCA）とは？ 教師なし学習の一つ。 データの分散（ばらつき）が大きいところ（主成分）を見つける操作。 つまり分散が大きいところが大事で、小さいところは気にしないようにする。 既存の特徴を組み合わせて分散が大きくなる新たな尺度となる特徴を見つける。 例えば、2つの特徴を組み合わせて1つの特徴でその対象を上手く捉えることができたら、 パラメータを減らせる。 PCAのアルゴリズム 全データの重心を求める（平均値） 重心からデータの分散（ばらつき）が最大となる方向を見つける 新しいデータ表現軸として、2.で求めた方向を基底とする 上記でとった軸と直交する方向に対して分散が最大となる方向を探す。 2.~3.をデータの次元分だけ繰り返す PCAの目的 データの特徴抽出 データのバラつきが大きい部分に着目することでよいデータを識別し
Edward – Home
A library for probabilistic modeling, inference, and criticism. Edward is a Python library for probabilistic modeling, inference, and criticism. It is a testbed for fast experimentation and research with probabilistic models, ranging from classical hierarchical models on small data sets to complex deep probabilistic models on large data sets. Edward fuses three fields: Bayesian statistics and mach
築地市場の土壌汚染の状況を空間統計解析で可視化する
平成29年5月25日、東京都は、築地市場で実施された土壌汚染調査の結果を公表し、調査した111か所のうち30か所において環境基準値を上回る有害物質を検出しました。この記事では、東京都のデータを基にヒ素などの有害物質の空間分布の可視化を試みると同時に、汚染の現況を分析してみたいと思います。 まず最初に断わっておきますが、築地市場の上部が低浸透性のアスファルトあるいはコンクリートでカヴァーされているという前提の下で、この程度の汚染では築地市場の安全性に何の問題もないことをハッキリと主張させていただきます。その上であえて言わせていただきますが、極めて不当に危険視されている豊洲市場は、築地市場の地下に比べて比べ物にならないほど安全であると言えます。今回の築地市場における土壌汚染データの開示は、あの強烈な「豊洲バッシング」（豊洲という地域を含めて）がいかに乱暴であったかを確認する絶好の機会であると考
Singular Value Decomposition (SVD) tutorial
Singular Value Decomposition (SVD) tutorial BE.400 / 7.548 Singular value decomposition takes a rectangular matrix of gene expression data (defined as A, where A is a n x p matrix) in which the n rows represents the genes, and the p columns represents the experimental conditions. The SVD theorem states: Anxp= Unxn Snxp VTpxp Where UTU = Inxn VTV = Ipxp (i.e. U and V are orthogonal) Where the colu
Deep Learning
An MIT Press book Ian Goodfellow and Yoshua Bengio and Aaron Courville The Deep Learning textbook is a resource intended to help students and practitioners enter the field of machine learning in general and deep learning in particular. The online version of the book is now complete and will remain available online for free. The deep learning textbook can now be ordered on Amazon. For up to date an
「彼女ゼロ頻度問題」への対策法 - Qiita
彼女ゼロ頻度問題とは？ 機械学習、とくに自然言語処理においてはゼロ頻度問題という課題が生じることがある。 例えば単語の種類数に比して、それが使われる文や文章のデータサンプルが少ないため、単語単体であればなんとかなるが単語と単語が共起する例となると一気にサンプル数が足りなくなりうまく学習ができない、といったケースが挙げられる。 これは機械学習を学ぶ理系男子諸氏の恋愛局面にも起こりうる話である。恋愛関係とはテキストの表層的な共起に対比して深層的な格関係に相当し、それは表層的な共起から生じる。 そうした出会いスパースネス問題及び彼女ゼロ頻度問題について、機械学習の視点から考えてみたい。 ラプラススムージング ラプラススムージングとは、出現回数を問答無用に+1する方法である。これは表層的な共起の観点では、どんな女性とも一度は出会ったことがあるってことにする、という意味になる。あらゆる初体験を、初体
What is an intuitive explanation of the relation between PCA and SVD?
Answer (1 of 5): Principal Component Analysis (PCA) is a procedure through which we try to remove the redundancy present in the Dataset by projecting the Given Dataset to a different Vector Space such that the Covariance Matrix(of the Dataset in new Space) is Diagonalized. Such a Projection (Tran...
正規直交基底（定義、求め方、性質） - 具体例で学ぶ数学
正規直交基底とは、 ・それぞれの長さが $1$（正規化されている）で ・互いに直交している（内積が $0$） ような基底（線形結合で全てを表せるような必要最小限のベクトルの集合）です。 正規直交基底の例 例題 三本のベクトル：$\overrightarrow{v_1}=\begin{pmatrix}\frac{1}{\sqrt{2}}\\\frac{1}{\sqrt{2}}\\0\end{pmatrix}$、$\overrightarrow{v_2}=\begin{pmatrix}\frac{1}{\sqrt{2}}\\-\frac{1}{\sqrt{2}}\\0\end{pmatrix}$、$\overrightarrow{v_3}=\begin{pmatrix}0\\0\\1\end{pmatrix}$ が正規直交基底をなしていることを確認せよ。 解答 長さが１であることの確認 $|\
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
