p進機械学習の紹介 - Qiita
機械学習ではデータを$\mathbb{R}^n$の元として扱い,分類や回帰といったタスクを$\mathbb{R}^n$から$\mathbb{R}^m$への写像として構成します. ところが近年Poincare Embedding等$\mathbb{R}^n$以外の世界で考えることによる効果がいくつか得られています. 今回調べた$p$-adicな構造もそうした実数ではありえない構造の一つです. これは大学数学の知識を少し仮定して、$p$-adicな機械学習の現状を調べたものです. 調べた範囲だと2010年以降の論文はほとんどなかったので,改めてまとめておくだけでも価値があるかと思います. 数学の知識としては以下を仮定します. 位相空間論,特にコンパクト性や完備性 初等的な環論.例えば整域に対する商体の操作や環の乗法群の定義 とはいえ,なるべく丁寧に解説するので,定理の主張が読めれば特に問題ない
UMAP 論文を読む - Qiita
この記事は 機械学習の数理 Advent Calendar 2018 の 11 日目のための記事です. 間に合いましたか? この記事について McInnes らによる "Uniform Manifold Approximation and Projection (UMAP)" を読み, その解説を試みます. UMAP は t-SNE のようにデータの次元削減とその可視化を提供する手法です. t-SNE よりも可視化の結果がより良く見える (同じクラスタはよりまとまっている) ことや, データを fuzzy topology というこれまで使われてこなかったけど数学的裏付けがあってイケてる方法で表現したぜ！ と言ってる点が目を引き, 読んでみようと思ったのですが, 圏論の言葉で書かれており読むのに苦労していたら12月になっていました. 機械学習界隈で圏論に馴染みがあることを仮定するのは無理が
【Day-23】機械学習で使う"距離"や"空間"をまとめてみた - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 23日目。 ここまでデータをどういう風に処理したり、どういうタスクをこなしていくかについて勉強してきたが、 一度基礎的な事項に戻ってみたいと思う。基礎だから簡単というわけではない。基礎だからこそ難しく、また本質的な内容。 データ分析で使われている手法などをまとめて集約して、簡単な説明を付け加えていく。 しかし、このあたりの数学*1は苦手なので、なるべく直感的に自分のイメージを書いていく。 われわれが生きている空間や、距離は"正しい"のか ユークリッド空間/ユークリッド距離 点の距離 分布の距離 wasserstein計量 カーネル(再生核ヒルベルト空間) Topological Data Analysis(TDA) 次元削減/Embedding PCA(principal component analysis) t-SNE(t-Distributed
計算グラフの微積分：バックプロパゲーションを理解する | POSTD
はじめに バックプロパゲーションとは、ディープモデルの学習を計算可能にしてくれる重要なアルゴリズムです。最近のニューラルネットワークではバックプロパゲーション (誤差逆伝播法) を使うことで、最急降下法による学習が愚直な実装と比べて1000万倍速くなります。 例えば，バックプロパゲーションでの学習に1週間しかかからないのに対して、愚直な実装では20万年かかる計算になります。 ディープラーニングでの使用以外にも、バックプロパゲーションはさまざまな分野で使えるとても便利な計算ツールです。それぞれで呼ばれる名称は違うのですが、天気予報から、数値的安定性を分析する時にまで多岐にわたり使用できます。実際に、このアルゴリズムは、いろいろな分野で少なくとも20回は再開発されています（参照： Griewank（2010） ）。一般的な用途自体の名前は”リバースモード微分”といいます。 基本的に、この技術は
一般逆行列・ムーア・ペンローズ逆行列 - 大人になってからの再学習
連立方程式を解くために、行列の逆行列が用いられる。 簡単な例として で表されるxとyの関係を行列を使って表せば次のようになる。 ここで , , とすると、最初の式は という線形代数でおなじみの式で表されるから、 両辺にの逆行列をかけて として解が求まる。 つまり、行列Aの逆行列を求めれば解を求めることができる。 今回の例だと、 なので、 となって、 が求まる。 これはグラフに表すと、次のようになって、つまりの二つの直線の交点を求めたことになる。 さて、このように、きれいに連立方程式が解ける場合はいいけど、 現実問題として解が求まらないことは多くある。 ＝＝＝＝＝ ■ 例1) 式が多すぎて解が存在しない。 このような3つの式を満たす解は存在しない。 グラフに表すと次のような感じ。 3つの直線は1つの点で交わらないため、解が無いことがわかる。 ■ 例2) 式が少なすぎて解が1つに定まらない。
最大エントロピーモデル - DO++
自分の復習も含め、最大エントロピーモデルについて勉強会で発表しました。発表資料 [ppt] [pdf] 今年のACLやICMLなどでの発表などを解説してます。論文中になかった式導出とかもしてみてます。 発表中では結構口頭で補足した部分があって、この資料だけでは不十分だと思います。適宜引用先などを参照してください。 最大エントロピーモデルは高次元の確率分布推定に適していて自然言語処理や、最近だと動植物がどのように分布しているかなどの推定等、広い分野で使われている確率モデルです。 ＃修正＋質問・回答スライドを追加しました
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://ibisml.org/archive/ibis2016/Hiraoka_IBIS2016.pdf
https://www.jeremykun.com/