Alec Radford's animations for optimization algorithms
Alec Radford has created some great animations comparing optimization algorithms SGD, Momentum, NAG, Adagrad, Adadelta, RMSprop (unfortunately no Adam) on low dimensional problems. Also check out his presentation on RNNs. "Noisy moons: This is logistic regression on noisy moons dataset from sklearn which shows the smoothing effects of momentum based techniques (which also results in over shooting
IoTセンサーデータを使ったD3.jsによるグラフ化と機械学習モデルによる故障予測
IoT（Internet of Things：モノのインターネット）のセンサーで取得したデータをクラウド上のデータベースに蓄積し、分析・活用するアプリケーションを手軽に始めてみる連載の第3回です。今回は、IBMのPaaS「Bluemix」が提供するIoTデバイス接続サービス「IBM Watson IoT Platform」を経由して受信した温度・湿度データを、DBaaS（Database as a Service）の「IBM Cloudant」へ蓄積し、グラフとして可視化するとともに、「IBM Predictive Analytics」サービスで生成した機械学習モデルを用いて故障予測を行うアプリケーションを作成します。 サンプルアプリケーションの概要 今回作成するアプリケーションは、以下の3つのアプリケーション（サブ機能）で構成されます。 ① 「IoTデバイスのデータを受信してデータベース
PRML6.4.2 Gaussian processes for regressionのメモ - めもめも
基底を固定した場合の計算量 一般には、N✕N行例の逆行列計算が必要になるところが、有限個の基底を固定するとM✕M行列の逆行列計算に計算量が減少する理由を具体的な計算で確認。 Figure 6.10を再現するコード わかりやすさ優先で冗長なコードにしてあります。 # -*- coding: utf-8 -*- import numpy as np import matplotlib.pyplot as plt from numpy.random import normal np.random.seed(20160317) num_data = 100 iter_num = 50 rate = 0.005 beta = 36.0 t0 = 1.0 eta1, eta2, eta3 = 1.0, 1.0, 1.0 def prep_data(): x1 = normal(0.0, 0.5, nu
パーセプトロンの学習規則をPythonで実装 - Qiita
この投稿について 線形分離可能なデータ群に対する識別境界の決定方法の1つであるパーセプトロンの学習規則をライブラリなどを使わずにPythonで実装してみました。 Python、機械学習ともに初心者なので、良くないポイントはご指摘お願いします。 「パーセプトロンの学習規則」と並んで比較される「Widrow-Hoff（ウィドロウ・ホフ）の学習規則」については「Widrow-Hoff（ウィドロウ・ホフ）の学習規則をPythonで実装」でまとめてあります。 パーセプトロンの学習規則の理論 パーセプトロンの学習規則の概要や数式については以下のスライドにざっくりとまとめてあります（スライド途中からです）。 1次元の場合 下図のような1次元上に存在し、2クラスのいずれかにに属する線形分離可能な学習データの分離境界線を求める。 実装のポイントとしては、 初期の重みベクトルはw=(0.2,0.3)とし、学習
サポートベクターマシンを勾配法で解く。 - sonoshouのまじめなブログ
最も代表的な教師あり分類手法の一つであるサポートベクターマシン。 訓練サンプルから、各データ点との距離が最大となるマージン最大化超平面を求めるという明確な分類基準がある、かつ、一見求めづらそうなこの超平面を一意に求められるということから 数学的に美しい分類手法と言えるでしょう。 サポートベクターマシンの詳しい説明はこちらになります。 サポートベクターマシン - Wikipedia さて、上のWikipediaの記述にもある通り、 マージン最大化超平面は最適化問題の凸二次計画問題となります。 今回は、この凸二次計画問題を勾配法で解くことで、 ハードマージンのサポートベクターマシンを実装しました。 使用したデータ 線形分離可能なデータです。 また、こちらの座標関係をテキストデータにしたものがこちらです。 各行がデータを表しており、スペースで区切られています。 左から、X座標、Y座標、クラス(1
2011-11-29
matplotlibでpatchにtransformをつけると消えてしまうように見える現象が起きた。 まず、散布図の上に普通に長方形のpatchを乗せてみる。 clf() scatter(random(100), random(100)) ax = gca() rect = Rectangle((0, 0), 1, 1, alpha=0.3) ax.add_patch(rect) matplotlib.pyplot.savefig("test.png", dpi=100) ここまではとても自然にできる。じゃあこの長方形を回転してみよう、とtransformを指定すると消えてしまう。transformの作り方がまずいのかと思ったがAffine2D.identity()でも消えてしまう。 clf() scatter(random(100), random(100)) ax = gca() t
【kNN】R で k 近傍法 |
K近傍法 k近傍法 (k-nearest neighbor algorithm) は, 特徴空間上で最も近い距離にある訓練データに基づいて分類/回帰を行う手法であり, 直感的にもわかりやすいパターン認識手法です。 最短近傍法は与えられた未知データに対して一番近い訓練データのクラスに属しているだろうというのが基本的な考えで, 特徴空間で距離が近い順から k 個選択し多数決でクラスを推定するのが kNN法 です。一般的にはユークリッド距離が使われます。 一方, 訓練データにノイズが多かったり k を小さくした場合に精度が下がりやすい特徴があります。特徴空間が高次元になるとデータ間の距離が遠くなるため, 予め有用な特徴の見当がつく場合は特徴選択を行う方が良いです。また, 基本的に特徴空間全てを保持するためメモリ負荷が高くなります。 kNN in R {class} パッケージを使います。kNN(
iPython-Notebooks / Comparing machine learning classifiers based on their hyperplanes or decision boundaries.ipynb / Jupyter Notebook Viewer
from pykalman.classifier import GenerativeBayes import pandas as pd import numpy as np rnorm = np.random.normal from sklearn.svm import SVC from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier from sklearn.qda import QDA from sklearn.linear_model import LogisticRegression from sklearn.neighbors import KNeighborsClassifier from skle
MLDemos：機械学習について理解するための可視化ツール
たまたま面白いツールを見つけた。機械学習のパラメータをいじるとインタラクティブに学習結果が可視化して見れるお勉強アプリ。 MLDemos – A visualization tool for machine learning MLDemosは、機械学習でのクラス分類、回帰、クラスタリング、次元削減、力学系、報酬最大化を行うそれぞれのアルゴリズムのパラメータが、学習結果にどのように影響しているのかを勉強・理解するための教材として開発されたオープンソースの可視化ツールです。 MLDemosはオープンソースで、個人・アカデミック用途なら無料で利用できます。 可視化結果が美しい。 初学者が機械学習のイメージを掴むにはちょうどいいかもしれない。パラメータの調整の感覚も分かってくるかも。プロットしたデータを3Dでグリグリ回して見れるのが個人的に好き。 残念ながらDeep Learningは実装されてな
Pythonで遺伝的アルゴリズムを動かすPyevolveを試してみた - Wolfeyes Bioinformatics beta
課題のために遺伝的アルゴリズムを使う必要があったので，Pythonで遺伝的アルゴリズムを動かすことのできるライブラリPyevolveを試してみた． 始めの一歩 動かし方はとてもシンプルなので，公式ドキュメントのGet Startedをざっと見たあとにExampleでどういう使い方ができるのかを個別に見ていけばいいと思う． Get Started - Tutorial — Pyevolve v0.5 documentation Examples — Pyevolve v0.5 documentation 日本語資料なら，自分が確認した限りでは以下のサイトが一番詳しい． Pyevolveで学ぶ遺伝的アルゴリズム - mfumiの日記 Pyevolveの基本的な使い方 ゲノムインスタンスの生成 ゲノムの構造はバイナリや1次元配列，2次元配列，木構造などを取ることができ，初期値が取りうる値の幅など
オープンソースのデータ可視化ツールのre:dashでらくらく分析共有 その１ 〜 インストール編 - Qiita
オープンソースのデータ可視化ツールのre:dashでらくらく分析共有 その１ 〜 インストール編 オープンソースのデータ可視化ツールのre:dashでらくらく分析共有 その２ 〜 グラフ編 オープンソースのデータ可視化ツールのre:dashでらくらく分析共有 その３ 〜 Google Spreadsheets編 オープンソースのデータ可視化ツールのre:dashでらくらく分析共有 その４ 〜 pivot table編 ウェブサービス、ソーシャルゲームなどを運営していると数値データがたまります。 その数値データを分析して、次の施策に活かすのが非常に大事です。 生のデータをMySQLなどを叩いて、数値に出して、Excelにグラフを貼り付けるのもいいですが、毎回やっていると工数がとられます。 ディレクター、エンジニア、だれでも出したい数値が自分で出せるのが理想です。 Tableauなどのツールも
Bayesian inference - an interactive visualization
Tweet The visualization shows a Bayesian two-sample t test, for simplicity the variance is assumed to be known. It illustrates both Bayesian estimation via the posterior distribution for the effect, and Bayesian hypothesis testing via Bayes factor. The frequentist p-value is also shown. The null hypothesis, H0 is that the effect δ = 0, and the alternative H1: δ ≠ 0, just like a two-tailed t test.
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
1. 野球Hack!~Pythonを用いたデータ分析と可視化 - The Art Of Programming A Baseball Game! - Shinichi Nakagawa@shinyorke PyCon JP 2015 Talk Session(2015/10/11) 2. Who am I ? • Shinichi Nakagawa(@shinyorke) • Recruit Sumai Company, Ltd. • Pythonista/Agile/Baseball Scientist • 贔屓チーム • 北海道日本ハムファイターズ(NPB) • オークランド・アスレチックス(MLB) • “野生の野球アナリスト”活動
非公開サイト
サイトの構築。作品の販売。ブログの投稿。この他にもさまざまな機能があります。 ログイン サイトをはじめよう 非公開サイト このサイトは現在プライベート設定になっています。
JavaScriptによるパーセプトロン/Passive-Aggressive体験デモ - シリコンの谷のゾンビ
前回k-NNデモを作った後に「これパーセプトロンも同じようにデモ作れるんじゃね?」と思ったので実装してみた．今度はクリックでデータ点を追加できるようにしたり，サンプル選択方法を可変にしたり，PAの更新の様子を可視化すると面白いかもと思って後からPAも追加してみた． パーセプトロンは誤分類するサンプルを正しく分類するように超平面を更新する線形識別器で，Passive-Aggressive (PA) は損失を発生させるサンプルに対して損失が0になり，重みベクトルの変化量が最小になるように超平面を更新するアルゴリズム． オンライン学習についてざっくりした俯瞰は以下の資料などをご参照． TokyoNLP#5で「パーセプトロンで楽しい仲間がぽぽぽぽ〜ん」を発表しました というわけでk-NNと同じように公開． Perceptron/PA Demo ver.1.0 使い方 Update onceボタンで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qiita.com/gash717/items/cd9b97a9d26f6ec90df3
Visualizing K-Means equilibria
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―