Workshop OT 2023 http://webpark2072.sakura.ne.jp/otworkshop/ での講演スライドです。 最適輸送が重すぎて動かない問題に対する有効な解決策であるスライス法についてと "Fast Unbalanced Optimal Transport on a Tree" (NeurIPS 2020) を紹介します。 論文: https://arxiv.org/abs/2006.02703 コード: https://github.com/joisino/treegkr 『最適輸送の理論とアルゴリズム』好評発売中! https://www.amazon.co.jp/dp/4065305144
PyTorchでSliced Wasserstein Distance (SWD)を実装してみました。オリジナルの実装はNumpyですが、これはPyTorchで実装しているので、GPU上で計算することができます。本来はGANの生成画像を評価するためのものですが、画像の分布不一致を見るためにも使うことができます。 コード こちらのリポジトリにあります。 https://github.com/koshian2/swd-pytorch SWDとは PGGANの論文で使われている画像類似度の評価指標です。GANの評価指標の多く(Inception scoreやFID)が訓練済みInceptionモデルベースであるのに対し、SWDはInception依存ではありません。訓練済みInceptionモデルは大抵ImageNetベースなので、特徴量抽出がドメインによって得意だったり不得意だったりします。し
最近話題の Sliced Wasserstein Distance (SWD) [Deshpande 2018, Deshpande 2019] を理解するため、 Kolouri らの Sliced Wasserstein Distance for Learning Gaussian Mixture Models (SWGMM) を実装しました。 以前の記事で Wasserstein 距離の解説 を書いたので、こちらも是非ご参照ください。 GitHub に実装を載せました。 あらすじ 従来、観測データと生成モデルの分布を比較するために Kullback-Leibler (KL) 損失が使われてきた。 しかし KL 損失を使うと勾配消失や局所解が発生するため、GAN などの高度なタスクでは上手く動かないことがある。 近年の研究から、Wasserstein 距離が勾配消失に強く、色々なタスクに
社内勉強会、今期(と言ってももうあと1ヶ月もないですが)は、数理最適化勉強会と、Effective Modern C++輪読会をしています。この記事は、後者のEffective Modern C++輪読会で、『Effective Modern C++』5章の一部を輪読した時の資料を流用したものです。 C++11と言えば、昔のC++(03)から色々あって多くの機能が追加されとても便利になったバージョンです。さらに、C++14は11では間に合わなかった・忘れていた色々な便利なものを補填したもので、Effective Modern C++輪読会は、『Effective Modern C++』を教科書にしながらこのC++11/14について学ぶ会になっています。 時は既に2016年、gccもclangもMSVC++も概ねC++14が使えるようになっており、もはやC++14が使えないコンパイラにはC+
発表以来、IT業界を騒がせる次世代大規模言語モデル「GPT-4」。さまざまな業界で「本気でAIに仕事を奪われるのでは」と話題だ。コードを瞬時に生成できることから、ITエンジニア間でも「廃業になりそう」「未経験からエンジニアになるハードルが高くなる」などの声がSNSで見られる。 とはいえ、「AIに仕事を奪われる」言説はことあるごとに唱えられすぎて信ぴょう性が薄くなってきている。「どうせまた大言壮語でしょ」と思いつつ、GPT-4でアプリを作れるか試してみたら、できてしまった。IT系Webメディアで記者をしている身ではあるが、エンジニアとして経験があるわけではなく、プログラミングも素人同然だ。そんな記者でもできてしまったのだ。 「画像をまとめてjpgに変換」 困りごとを解決してみた 今回作ったのは、「指定のファイル内にある画像を全てJPEGに変換するアプリ」だ。記者は画像をITmedia NEW
NewsPicks エンジニアの中村です。普段はデータ基盤や機械学習システムの開発、運用をやっています。 さて皆さん、すでにChatGPTは使っていらっしゃるでしょうか。エンジニア、非エンジニアを問わず世の中を席巻している感のある ChatGPT ですが、今月初めにいよいよ API も公開されて、アプリケーションやサービスに組み込みたいと考えている方も多いのではないでしょうか1。 というわけで、弊社でもこの新しい技術をより多くのエンジニアに使いこなせるようになってもらいたいと考え、ChatGPT API に関する社内勉強会を先日開催しました。本記事ではこの勉強会の内容を再構成してお届けします。 とりあえず使うだけなら簡単な ChatGPT ですが、本記事では、長文を扱ったり、ChatGPT と外部のシステムを連携させたりするテクニックなど、知っている人はすでに知っているが、まだそれほど広く
Workshop OT 2023 http://webpark2072.sakura.ne.jp/otworkshop/ での講演スライドです。 最適輸送が重すぎて動かない問題に対する有効な解決策であるスライス法についてと "Fast Unbalanced Optimal Transport on a Tree" (NeurIPS 2020) を紹介します。 論文: https://arxiv.org/abs/2006.02703 コード: https://github.com/joisino/treegkr 『最適輸送の理論とアルゴリズム』好評発売中! https://www.amazon.co.jp/dp/4065305144
AIC, WAIC, WBICを実感する 俺様用自習ノート 石田淳(関西学院大学社会学部) 2018年12月17日 はじめに 本ノートは,ベルヌイ確率モデルとベータ事前分布を仮定した単純例をもとに,AIC,WAIC,周辺尤度とその近似としてのBIC,WBICの意味を実感することを目的とする. q<-0.7 n<-30 a<-1 b<-1 最初に例示データとして,確率\(q=0.7\)のベルヌイ分布からの\(n=30\)個のサンプルを想定する. # ex<-rbinom(n,1,q) ex<-c(1,1,1,1,1,1,0,1,1,1,1,1,0,1,0,1,0,0,0,0,1,1,0,1,0,0,0,1,1,1) \[X_i \sim Bern(q)\] ベイズモデルの事前分布としてはベータ分布を想定する. \[q\sim Beta(\alpha,\beta)\] とくに具体例においては\
ABEJA、大規模言語モデル「ABEJA LLM Series」を商用サービスとして提供開始 〜 ABEJA Platformに生成AI技術を搭載 〜 人とAIの協調により「ゆたかな世界を、実装する」株式会社ABEJA(本社:東京都港区、代表取締役CEO:岡田 陽介、以下「ABEJA」)は、かねてより研究開発を進めてきたGenerative AI(生成AI)の領域の1つである大規模言語モデル(Large Language Model、以下LLM)を、「ABEJA LLM Series(アベジャ エルエルエム シリーズ)」として商用化し、2023年3月16日より、ABEJA Platformに搭載し、提供を開始いたしましたので、お知らせいたします。 ABEJAは、2017年に発表された学術論文「Attention is All You Need」(Vaswani et al, 2017)の中
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く