Python: 多様体学習 (Manifold Learning) を用いた次元縮約 - CUBE SUGAR CONTAINER
今回は多様体学習を使ってデータの次元を縮約する方法について。 これはデータの前処理として、主に二つの目的で使われる。 一つ目は、次元を縮約することで二次元や三次元の形でデータを可視化できるようにするため。 もう一つは、次元を縮約した結果を教師データとして用いることでモデルの認識精度を上げられる場合があるため。 データの次元を縮約する手法としては主成分分析 (PCA) が有名だけど、これは線形な変換になっている。 ただ、実際に取り扱うデータは必ずしもそれぞれの次元が線形な関係になっているとは限らない。 そこで、非線形な変換をするのが多様体学習ということらしい。 今回使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.6 BuildVersion: 16G1114 $ python --version Python
EMアルゴリズム徹底解説 - Qiita
本ブログは、混合ガウス分布を題材に、EMアルゴリズムという機械学習界隈では有名なアルゴリズムを丁寧に解説することを目的として書いています。 また、この記事は、「数学とコンピュータ Advent Calendar 2017」の24日目の記事です。 そして長いです。 1. はじめに 観測した確率変数 $X$ をよく表現する、モデル $p(x|\theta)$ のパラメータを求めることが確率分布の推定ではよく行われます。つまり最尤法ですね。より複雑な分布になるとその分布の構造に潜在変数(Latent Variable) $Z$ があると仮定してモデル化を行うと、シンプルな組み合わせで $X$ の分布を表現できることがあります。今回扱う混合ガウス分布もその一つです。 のちに説明しますが、データセットの種別を完全データ集合と不完全データ集合に分けた場合、不完全データ集合に属するようなデータセットはデ
PyTorchでSliced Wasserstein Distance (SWD)を実装した
PyTorchでSliced Wasserstein Distance (SWD)を実装してみました。オリジナルの実装はNumpyですが、これはPyTorchで実装しているので、GPU上で計算することができます。本来はGANの生成画像を評価するためのものですが、画像の分布不一致を見るためにも使うことができます。 コード こちらのリポジトリにあります。 https://github.com/koshian2/swd-pytorch SWDとは PGGANの論文で使われている画像類似度の評価指標です。GANの評価指標の多く（Inception scoreやFID）が訓練済みInceptionモデルベースであるのに対し、SWDはInception依存ではありません。訓練済みInceptionモデルは大抵ImageNetベースなので、特徴量抽出がドメインによって得意だったり不得意だったりします。し
Sliced Wasserstein GMM を実装してみた - yokaze.github.io
最近話題の Sliced Wasserstein Distance (SWD) [Deshpande 2018, Deshpande 2019] を理解するため、 Kolouri らの Sliced Wasserstein Distance for Learning Gaussian Mixture Models (SWGMM) を実装しました。 以前の記事で Wasserstein 距離の解説 を書いたので、こちらも是非ご参照ください。 GitHub に実装を載せました。 あらすじ 従来、観測データと生成モデルの分布を比較するために Kullback-Leibler (KL) 損失が使われてきた。 しかし KL 損失を使うと勾配消失や局所解が発生するため、GAN などの高度なタスクでは上手く動かないことがある。 近年の研究から、Wasserstein 距離が勾配消失に強く、色々なタスクに
PyTorchの勾配更新方法の解説
今回も PyTorch に関する記事です。 この記事では、requires_grad、zero_gradなどについて説明します。 私自身も勉強中ということもあり間違い等あるかもしれません。その際は Twitter などで教えてください。 requires_grad とは【学び直し】Pytorch の基本と MLP で MNIST の分類・可視化の実装までで紹介したように、requires_gradは自動微分を行うためのフラグです。 単純に tensor を定義した場合はデフォルトで False になっています。 x = torch.ones([3, 32, 32]) x.requires_grad # >>> False一方で、ネットワークを定義した場合のパラメータはデフォルトでrequires_grad=Trueです。 意外とこれを知らずにわざわざ学習時にrequires_grad=Tr
「Gensim」による機械学習を使った自然言語分析の基本――「NLTK」「潜在的ディリクレ配分法（LDA）」「Word2vec」とは
「Gensim」による機械学習を使った自然言語分析の基本――「NLTK」「潜在的ディリクレ配分法（LDA）」「Word2vec」とは：Pythonで始める機械学習入門（9）（1/2 ページ） 最近流行の機械学習／Deep Learningを試してみたいという人のために、Pythonを使った機械学習について主要なライブラリ／ツールの使い方を中心に解説する連載。今回は機械学習を使った自然言語分析のライブラリ「Gensim」について解説します。 プログラミング言語「Python」は機械学習の分野で広く使われており、最近の機械学習／Deep Learningの流行により使う人が増えているかと思います。一方で、「機械学習に興味を持ったので自分でも試してみたいけど、どこから手を付けていいのか」という話もよく聞きます。本連載「Pythonで始める機械学習入門」では、そのような人をターゲットに、Pytho
オンライン機械学習（CW、SCW）を実装してみた
機械学習において、データを一括で読み込んで学習を行う方法を「バッチ学習」といいます。 これに対し、「オンライン学習」とは、1件ずつデータを逐次読み込んで学習させる方法のことをいいます。 そのため、学習させるデータを全て保持しておく必要がなく、1件ずつ学習に利用したデータをすぐに捨てることができます。 このような性質が有効な場面としては、例えば、以下のような実装場面が考えられます。 最新データの逐次入力によって、モデル精度を更新し続けることが要求される場合 サイズが大きいデータから学習させる必要があり、全てのデータはメモリに乗り切らない場合 個人情報のデータなど、手元に保管するリスクがあるものから学習させる場合 オンライン機械学習のより詳しい内容については、下記が参考になります。 機械学習プロフェッショナルシリーズの中で、オンライン機械学習をテーマにした一冊です。 今回実装したCWやSCWの
Python: scikit-learn の Pipeline を使ってみる - CUBE SUGAR CONTAINER
機械学習では、元のデータセットに対して前処理や推論フェーズが何段にも重なることがある。 scikit-learn には、そういった何段にも重なった処理を表現しやすくするために Pipeline という機能が備わっている。 今回は、その Pipeline を使ってみることにする。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.5 BuildVersion: 17F77 $ python -V Python 3.6.5 下準備 まずは scikit-learn と必要なパッケージをあらかじめインストールしておく。 $ pip install numpy scipy scikit-learn 続いて Python のインタプリタを起動しておく。 $ python データセットについては Iris データセットを
Python: 特徴量の重要度を Permutation Importance で計測する - CUBE SUGAR CONTAINER
学習させた機械学習モデルにおいて、どの特徴量がどれくらい性能に寄与しているのかを知りたい場合がある。 すごく効く特徴があれば、それについてもっと深掘りしたいし、あるいは全く効かないものがあるなら取り除くことも考えられる。 使うフレームワークやモデルによっては特徴量の重要度を確認するための API が用意されていることもあるけど、そんなに多くはない。 そこで、今回はモデルやフレームワークに依存しない特徴量の重要度を計測する手法として Permutation Importance という手法を試してみる。 略称として PIMP と呼ばれたりすることもあるようだ。 この手法を知ったのは、以下の Kaggle のノートブックを目にしたのがきっかけだった。 Permutation Importance | Kaggle あんまりちゃんと読めてないけど、論文としては Altmann et al. (2
第1回機械学習工学ワークショップ（MLSE2018） (2018/07/01 13:00〜)
１泊３食（初日 夕食、２日目 朝食、昼食）付きです。 請求書払いには対応致しません。 あらかじめご了承下さい。 主催 日本ソフトウェア科学会 機械学習工学研究会 URL: https://sites.google.com/view/sig-mlse 問い合わせ: mlse2018sws(a)wsf.jp (a) を@に変えてください． 主要スケジュール 参加申込締切 ：２０１８年５月２５日（金） ポジション発表申込締切：２０１８年５月２５日（金） ポジション発表採択通知：２０１８年６月 １日（金） 参加可否通知 ：２０１８年６月 １日（金） 参加費振込期限 ：２０１８年６月１５日（金） 参加申込は、発表者の方、一般参加の方、共通に行ってください。 Slack 当日の議論や情報交換を、MLSE Slack の #summerworkshop2018 チャンネルにて行いま
KaggleのWinner solutionにもなった「K近傍を用いた特徴量抽出」のPython実装 - u++の備忘録
今回は、KaggleのWinner solutionにもなった「K近傍を用いた特徴量抽出」を紹介します。 Rでの実装は公開されていますが、Pythonでの実装は確認できなかったので、自前のPython実装も公開しています。 github.com アルゴリズムの概要 Pythonでの例 可視化のためのパッケージ読み込み サンプルデータの生成 可視化 K近傍を用いた特徴量抽出 可視化 iris での例 追記20180624 実装の修正 はてなホットエントリ入り アルゴリズムの概要 近傍数を、分類するクラス数をとした場合に、アルゴリズムは個の特徴量を生成します。生成される特徴量は下記のように、観測値と各クラス内の最近傍点との間の距離から計算されます。 とあるクラスに属する訓練データの中の第1近傍までの距離を1つ目の特徴量とする とあるクラスに属する訓練データの中の第2近傍までの距離の和を2つ目の
PythonのSymPyで変分ベイズの例題を理解する - StatModeling Memorandum
この記事の続きです。 ここではPRMLの10.1.3項の一変数ガウス分布の例題（WikipediaのVariational_Bayesian_methodsのA basic exampleと同じ）をSymPyで解きます。すなわちデータが に従い*1、とが、 に従うという状況です。ここでデータ（）が得られたとして事後分布を変分ベイズで求めます。 まずはじめに、上記の確率モデルから同時分布を書き下しておきます。 なので、 となります。 この問題は単純なので事後分布は厳密に求まるのですが、ここでは変分ベイズで解きます。すなわち、事後分布をで近似します。さらにと因子分解可能と仮定します。そして、前の記事の最後の2つの式を使って、とが収束するまで繰り返し交互に更新して求めるのでした。以下ではこれをSymPyでやります。 from sympy import * from sympy.stats imp
STA-663-2017 — STA-663-2017 1.0 documentation
Navigation index next STA-663-2017 1.0 documentation » STA-663-2017¶ Contents: Notes on using Jupyter Keyboard Shortcuts Magic commands Using shell commands Load extension for R Getting help Further exploration Introduction to Python Resources Overview Hello, world Types Operators Names, assignment and identity Naming conventions Collections Sets Dictionary Control Structures Functions Functions W
iandprogram.net - このウェブサイトは販売用です！ - iandprogram リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
pytorchでgmmの最尤推定 - やったことの説明
はじめに 今まではKerasを使っていたけど、最近になってpytorchを覚えようとしている。 “Define by Run"と"Define and Run"の違いとかはよくわかっていないのでそのへんは適当。 普通にtutorialだけやっていると、 “なんとかネットワークは作れるけど、自分が考えた新しい層を追加できない” ということになりそうだったので、ネットにあまり情報のなかったgmmを勾配法(最尤推定)で解くプログラムを作って、pytorchを理解することにした。 gaussian mixture model 適当にデータを作る %matplotlib inline import pylab as plt import seaborn as sns sns.set_style("white") from scipy.stats import norm import numpy as
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ABCIで回そう爆速深層学習 (基礎編)
https://intel.github.io/scikit-learn-intelex/
Home - PyCaret
今までの投稿記事のまとめ（統計学/機械学習/数学 etc） - Qiita
http://people.seas.harvard.edu/~dduvenaud/papers/blackbox.pdf