何でも微分する
IBIS 2023 企画セッション『最適輸送』 https://ibisml.org/ibis2023/os/#os3 で発表した内容です。 講演概要: 最適輸送が機械学習コミュニティーで人気を博している要因として、最適輸送には微分可能な変種が存在することが挙げられる。微分可能な最適輸送は様々な機械学習モデルに構成要素として簡単に組み入れることができる点が便利である。本講演では、最適輸送の微分可能な変種とその求め方であるシンクホーンアルゴリズムを紹介する。また、この考え方を応用し、ソーティングなどの操作や他の最適化問題を微分可能にする方法を紹介するとともに、これらの微分可能な操作が機械学習においてどのように役立つかを議論する。 シンクホーンアルゴリズムのソースコード：https://colab.research.google.com/drive/1RrQhsS52B-Q8ZvBeo57vK
最適輸送理論の解説論文とか書籍へのリンクのまとめ - 備忘録
はじめに メモとして。WGANの勉強にもなるかなと。 2023年 11月 追記 輸送計画，輸送写像，輸送経路―有限集合とℝ2の最適輸送理論の違い― https://www.jstage.jst.go.jp/article/bjsiam/32/2/32_69/_article/-char/ja/ 2023年3月時点の最新情報 最適輸送本イベントに寄せて学ぶ - Stimulator 理論 入門 最適輸送理論梗概 [1009.3856] Introduction to Optimal Transport Theory A user’s guide to optimal transport Introduction to Monge-Kantorovich Problem 地球はやっぱり丸かった？！- 物質を最適な方法で運ぶ理論を用いて物の形を理解する NIPS 2017 Tutorial A
PyTorchでSliced Wasserstein Distance (SWD)を実装した
PyTorchでSliced Wasserstein Distance (SWD)を実装してみました。オリジナルの実装はNumpyですが、これはPyTorchで実装しているので、GPU上で計算することができます。本来はGANの生成画像を評価するためのものですが、画像の分布不一致を見るためにも使うことができます。 コード こちらのリポジトリにあります。 https://github.com/koshian2/swd-pytorch SWDとは PGGANの論文で使われている画像類似度の評価指標です。GANの評価指標の多く（Inception scoreやFID）が訓練済みInceptionモデルベースであるのに対し、SWDはInception依存ではありません。訓練済みInceptionモデルは大抵ImageNetベースなので、特徴量抽出がドメインによって得意だったり不得意だったりします。し
Sliced Wasserstein GMM を実装してみた - yokaze.github.io
最近話題の Sliced Wasserstein Distance (SWD) [Deshpande 2018, Deshpande 2019] を理解するため、 Kolouri らの Sliced Wasserstein Distance for Learning Gaussian Mixture Models (SWGMM) を実装しました。 以前の記事で Wasserstein 距離の解説 を書いたので、こちらも是非ご参照ください。 GitHub に実装を載せました。 あらすじ 従来、観測データと生成モデルの分布を比較するために Kullback-Leibler (KL) 損失が使われてきた。 しかし KL 損失を使うと勾配消失や局所解が発生するため、GAN などの高度なタスクでは上手く動かないことがある。 近年の研究から、Wasserstein 距離が勾配消失に強く、色々なタスクに
最適輸送が遅すぎる（スライス法による解法）
Workshop OT 2023 http://webpark2072.sakura.ne.jp/otworkshop/ での講演スライドです。 最適輸送が重すぎて動かない問題に対する有効な解決策であるスライス法についてと "Fast Unbalanced Optimal Transport on a Tree" (NeurIPS 2020) を紹介します。 論文： https://arxiv.org/abs/2006.02703 コード: https://github.com/joisino/treegkr 『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最优传输理论与计算 ——雷娜 顾险峰 - 脉脉
http://sosuke110.com/surinotsubasa2023.pdf