ウェーブレット変換の基本 - HELLO CYBERNETICS
はじめに ウェーブレット変換を考える動機 周波数解析 時間周波数解析 周波数解析の限界 短時間フーリエ変換 不確定性関係 時間と周波数のどちらを立てるのか ウェーブレット変換 ウェーブレット変換のモチベーション１ ウェーブレット変換のモチベーション２ ハールウェーブレット マザーウェーブレットから生まれる基底たち 基底を足し算していろんな波形を作る 逆ウェーブレット変換から見る とは ウェーブレット変換 ウェーブレット変換を更に詳しく 基底について 基底の選び方で結果が変わる 基底の性質の差異 利用方法や得意領域 非定常な波形の時間周波数解析 不確定性関係のバランス取り ある程度性質が分かっている場合の異常検知 ノイズの除去 最後に はじめに ウェーブレット変換は、生まれながらにしての時間周波数解析手法であり、短時間フーリエ変換などに変わる解析手法として使われています。今回はウェーブレット
【書籍紹介】ガウス過程と機械学習 - HELLO CYBERNETICS
はじめに 目次とコメント 0章 たった５分でガウス過程が分かってしまう 1章 線形回帰モデル 2章 ガウス分布 3章 ガウス過程 4章 確率的生成モデルとガウス過程 5章 ガウス過程の計算法 6章 ガウス過程の適用 7章 ガウス過程による教師なし学習 ガウス過程のライブラリ GPy GPyTorch GPflow はじめに 既に機械学習界隈の中で気になった方は手に取っているであろう「MLP ガウス過程と機械学習」の紹介です。 ガウス過程と機械学習 (機械学習プロフェッショナルシリーズ) 作者: 持橋大地,大羽成征出版社/メーカー: 講談社発売日: 2019/03/09メディア: 単行本（ソフトカバー）この商品を含むブログを見る ガウス過程と言えば、「ベイズ」や「カーネル法」、「確率過程」など、難しそうな言葉のオンパレードで、どうも機械学習を学びたての人にとっては敬遠しがちなものである印象が
NumPyroの基本を変化点検知で見る - HELLO CYBERNETICS
はじめに NumPyro基本 ライブラリの準備 確率分布 transoforms モジュール （tfp.bijector相当） 変化点検知 データ モデル 事前分布からのサンプリングでモデルの動作確認 MCMC推論 結果確認 はじめに TFUGベイズ分科会にてPPLについて話しました。改めてPPLを複数比較してみたことで、一層NumPyrpの書きやすさにほれぼれとしました。 www.hellocybernetics.tech 現状、PPLをまとめると 通常利用：Stan より低レベルを触れる研究用途：TensorFlow Probability 深層生成モデル及びベイズニューラルネットの変分推論 : Pyro 上記及び高速なMCMC : NumPyro という具合です。実際、速度やインターフェースの書きやすさを見るとNumPyroが個人的には抜けているのですが、一方でバックエンドがJaxで
機械学習で抑えておくべき損失関数（分類編） - HELLO CYBERNETICS
はじめに ニューラルネットワーク 損失関数を考えるモチベーション 分類の損失関数 ０−１損失関数 分類における損失関数の基本 0-1損失の問題点と代理損失 色々な損失関数 分類の損失を考える上で重要な「正解と出力の積」 ロジスティック損失 指数損失 ヒンジ損失 平滑化ヒンジ損失 損失関数の図示 0-1損失で図の見方を確認 ロジスティック損失 指数損失 ヒンジ損失 平滑化ヒンジ損失 比較 最後に モデルの方の話 実際に使う場合の話 学習の評価は「正解・不正解」だけでない 回帰における損失関数 はじめに 機械学習における教師あり学習では、入力に対してパラメータを用いて関数を構築し、正解データに対して損失を定義し、これを最小化する手続きを取ります。 損失を、色々なとの組に対して計算し、その総和が最小化されるようにを決めることを学習と呼びます。これにより未知のデータを入力した時に、それに対する正解
Jaxでガウス過程 + NumPyroでハイパーパラメータ推論 - HELLO CYBERNETICS
モジュール データ ガウス過程 カーネル関数 予測 決め打ちハイパーパラメータでの予測 MCMC でのハイパーパラメータ推論 モデル 事前分布からのサンプリング 事後分布の推論 予測分布 ガウス過程関連の記事 モジュール import jax.numpy as np import jax from jax import random, grad, vmap, jit, lax import matplotlib.pyplot as plt import seaborn as sns import numpyro import numpyro.distributions as dist from numpyro import plate, sample, handlers from numpyro.infer import MCMC, NUTS, SVI, ELBO plt.style.us
【PyTorch・Pyro】モデリングレシピ - HELLO CYBERNETICS
はじめに 単一の分布を使ったモデル 正規分布 同時分布の設計 同時分布からのサンプリング Pyroコード ベルヌーイ分布 同時分布の設計 同時分布からのサンプリング Pyroコード カテゴリ分布 同時分布の設計 同時分布からのサンプリング pyroコード 混合モデル ガウス混合モデル 同時分布からのサンプリング Pyroコード ディリクレ過程混合モデル（某折過程モデル） 同時分布からのサンプリング Pyroコード 最後に はじめに Pyroで確率モデリングを書くときには「確率モデリング自体を知ること」と「Pyroの書き方を知ること」の両方が必要です。今回はPyroの書き方に重点をおいて、とある確率モデルを記述するためのPyroでのコード例を適当に記載します。 約束事として、観測変数（データ） $x$ に対して、このデータの生成にまつわるパラメータをすべてひっくるめて $\theta$ と記
ベイズ統計 - HELLO CYBERNETICS
はじめに データとモデル 確率モデル 確率モデルを作る 複雑なモデルを使うことが最善手であるか モデルの具体的な作り方 モデルの仮定 アンサンブルモデル 点推定モデル 最尤推定 制約付き最尤推定※ （最大事後確率推定） ベイズ予測分布と点推定 ベイズ統計学 ベイズ予測分布を得ることの意義 ベイズ統計学の主題 特異モデルと正則モデル ベイズ統計学のまとめ はじめに ベイズだの頻度論だので盛り上がっているので、ぶん殴られる覚悟で書いてみます。 データとモデル 観測値がランダムに見える場合、それを確率変数 $X$ として扱います。 さて、今、$X$ には我々が知ることのできない真の分布 $q(X)$ があるとしましょう。もしも、$X$ を無限回観測し満遍なくデータを集められるとすれば、$q(X)$ の形状を把握することができるかもしれません。 ところが、そんなのは幻想であって実際に無限回の観測を
PyTorchの周辺ライブラリ - HELLO CYBERNETICS
PyTorch 確率的プログラミング GPyTorch Pyro BoTorch Ax Training Wrapper pytorch lightning ignite Catalyst skorch Computer Vision kaolin pytorch3d kornia PyTorch pytorch.org いわずとしれたディープラーニングフレームワークです。最近、国産のフレームワークであるChainerの開発元であるPFNが、PyTorchへの移行を示したこともあり、一層認知度が高まったように思います。すでに研究分野ではTensorFlowよりも高いシェアを誇っている状態であり、今後、プロダクション方向にも整備が行くようで更に注目しておくべきでしょう。 ディープラーニングフレームワークと言いつつ、多次元配列の計算を自在に行うことが可能な自動微分ライブラリとして活用することも
ベイズモデリング勉強の外観 - HELLO CYBERNETICS
はじめに 上記発言の意図 アヒル本 須山ベイズ 渡辺ベイズ 確率モデリング 確率モデリングの概要 確率モデリング手順 予測モデル MAP推定値 EAP推定値 ベイズ予測分布 ベイズモデリングのまとめ はじめに 今回は下記のツイートが割と評判が合ったので、少し補足のための記事を書きたいと思います。 ベイズやるなら ●モデリング、プログラミング アヒル本 ●推論、計算 須山ベイズ ●理論 渡辺ベイズ 3冊で良いです。— HELLO CYBERNETICS (@ML_deep) 2019年1月6日 なぜかすごく「いいね」がついているので補足 ・アヒル本 数学的難易度低め、データに対するモデリングに注力 ・須山ベイズ 数学的難易度は中、腕力がいる、モデリング→推論の流れの数式操作に注力 ・渡辺ベイズ 数学的難易度は高、予測分布等の数学的性質（汎化性能との関係）などの理論に注力 https://t.
ディープラーニングは自動で特徴を抽出してくれる？ - HELLO CYBERNETICS
はじめに 特徴抽出とは ニューラルネットワークによる特徴抽出 深層学習は特徴抽出を自動で行うのか 補足：本当に自動機械学習に向けて はじめに 未だに強く主張されることの多い「ディープラーニングは人手の特徴抽出作業を自動で実施してくれる」という話。 このことについては肯定も否定もしないというのが私の立場ですが、基本的に「思っているより思い通りには行かない」という事実があることは主張しておきたいです。 そのために、今回「ディープラーニングが自動で特徴抽出を行ってくれる」ということがどういうことなのかを簡単に説明します。 特徴抽出とは まず特徴抽出とは何かを説明していきましょう。特に断りが無い限りは大文字は行列、小文字はベクトルあるいはスカラーだと思って差し支えありません（今回は特に細かい数式の設定が議論に影響することはありません）。 今、入力 $x$ で出力が $y$ となるような適当なデータ
【訓練誤差と汎化誤差】学習・統計的推定は正しいのか？【過学習】 - HELLO CYBERNETICS
はじめに 学習の目的と試み 真の目的に対する我々の現実 データのサンプリング（採取） 真の目的と推定・学習の関係 具体的な学習の試み 正則化による統計モデルの制限 ハイパーパラメータの調整 最終評価 （補足）ベイズ推論 理論的な学習の評価 これまでの話との関連 汎化誤差の近似 最後に はじめに 機械学習、統計分析に少しでも触れたことのある方は「過学習」という言葉を聞いたことがあるでしょう。 データに対してパラメータをうまくフィッティング させすぎている場合 に生ずる現象です。 過学習が起こらないように上手に正則化などを用いて、学習できる能力を制限したり、日夜ハイパーパラメータの調整に明け暮れている人もいるかもしれません。今回は訓練誤差と汎化誤差という2つの誤差をしっかりと理解して、なぜに過学習なるものが起こるのかを見ていきます。 そうすることで、普段行っている「学習」であるとか「推定」であ
統計物理学と機械学習の関係 - HELLO CYBERNETICS
統計物理学の始まり 統計物理の着想は熱力学にあり 熱力学におけるエントロピーという概念の導入 統計物理学のモチベーション 統計物理学の着想 統計物理学を始める上での基本 熱の移動の正体 統計物理学でのエントロピー 統計力学と機械学習 情報統計力学 イジングモデル イジングモデルを更に一般化したスピングラスモデル 統計力学が機械学習にもたらすもの 機械学習での発展 最後に 量子アニーリングコンピュータ ベイズ 統計物理学の始まり まず統計物理学がどんなものかを説明しましょう。ここを定性的にでも把握しておくと、だいぶ機械学習に近しい考え方を持っていることを強く実感できるはずです。 統計物理の着想は熱力学にあり 統計物理学は熱力学からやって来ました。 私達は生活の中で容易に実感できるように、「熱」というものが温度の高い方から低い方へ流れていくことを知っています。運動エネルギーや化学エネルギー、電
ダイバージェンス関数を数学の立場から概観 - HELLO CYBERNETICS
機械学習で現れるダイバージェンスといえばご存知KLダイバージェンスがあります。 KLダイバージェンスは学習をする際の評価関数として用いられることもありますが、二乗誤差などに比べ、なぜにこの関数が評価関数として妥当なのか納得しづらいところです。 今回は数学的な立場からダイバージェンス関数について眺めてみて、これが学習の評価基準として選ばれうることを見てみたいと思います。 情報量から見たKLダイバージェンスの記事 近さを測る 評価基準と空間 評価基準と座標の選び方 ダイバージェンスとは 近さを測るものさし 近さを測るとは 確率分布族の空間 確率分布同士の近さを図で測る 直線的に分離度を測ることを諦める 局所的にはユークリッド空間：多様体 数学的な立場において なぜKLダイバージェンスが有効なダイバージェンスと言えるのか 不変性の要請 ダイバージェンス EMアルゴリズム 参考文献 情報量から見た
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
