はてなブックマーク

注意 この記事では最初、Juliaが劇的に速いという結論を出しましたが、検討の結果記事を修正しています。改変を加えて読みにくくなっていますが、この過程自体が速度の最適化とは何かを表していると思いますので修正部分を消さずにそのまま載せています。 やったこと MCMC法を用いたガウス過程のパラメータ推定をPython, Juliaを使って実装し、速度を比較した 追記（190828） 「pythonでもJITコンパイル（高速化）を使えるんだからそれと比較すべきでは？」というコメントをいただいたため、python+numbaの測定結果を追加しました。 追記（190927） コメントいただき、numbaの最適化をおこなったコードを提供いただきました。トータルでくらべると最適化NumbaのPythonの方が3倍程度早いとのこと。私の方でも検証したところ再現性が見られました。 結果 pureなpytho

はじめに 勾配ブーストを用いた決定木(GBDT)によるクラス分類や回帰はデータ分析コンペでも非常によく使われています。 その中でも2016年に出されたXGBoostはLightGBMと並びよく使われている手法です。 性能が良いことで有名なXGBoost, LightGBMですが、モデル内部でどのような処理が行われているかよくわかっていなかったので論文を読んでみました。 式変形の省略が多く、またイメージしづらい箇所もあり、読みづらかったのですが 一度イメージできれば割とあっさり理解できます。 その体験を踏まえて、イメージ図を多く取り入れながらXGBoostの論文を（途中まで）丁寧に解説します。 XGBoost: A Scalable Tree Boosting System 論文 この記事で述べること データの入出力 XGBoostの木構造 損失関数とboosting 木構造の学習（spli

DP法ではブートストラップを用いるため、推定しようとしている価値関数を次の状態（行動対）の価値関数を用いて計算することができます。しかし、エピソードを進めるために環境に対する知識、つまり行動$a$をとったときの状態$s'$への遷移確率がわかっている必要があります。 MC法ではサンプリングに基づいてエピソードを生成し、得られた収益を平均することで価値関数の期待値計算をおこないます。この方法では環境に対する知識を必要とせず、得られた報酬およびその総和としての収益をメモリに貯めていけば良いのでした。しかし、エピソードが終了するまで待たなければならないこと、また報酬のみを扱うためブートストラップを使わないことがネックでした。 今回はTD学習（時間的差分学習: Temporal Difference Learning）と呼ばれる手法により、上記のDP法とMC法の利点を掛け合わせた学習をおこないます。

はじめに 強化学習に対する参考書を読み進めて、深層強化学習のコードをgithubで落として一部改変して使ったりしています。しかし、肝心の理論に関するところが追いついていけません。 思うに、参考書を進めるうちになんとなくわかった気になったり、飛ばしたりするうちに不理解が蓄積していっているんだと思います。そのため、強化学習の基礎の基礎から、もう少し整理する必要があると思いました。シリーズものにして少しずつまとめていけたらと思います。 間違いや不明瞭なところなどありましたらどんどんご指摘いただけるとありがたいです。 参考書籍 Richard S. Sutton and Andrew G. Batro 著「強化学習」第1版 三上貞芳・皆川雅章訳、森北出版株式会社 現状 価値関数、方策、価値最適化、方策評価、Q関数など、なんとなくわかっているが、やはりなんとなくしかわかっていない。。 今回やったこと

導出のイメージは下図から この式と図の関係は、前々回の記事で説明しています。 行動価値関数 さて、上記ではある状態の価値を求めましたが、強化学習に期待する機能はなんでしょう。個人的には、ある状態$s$が与えられたときに最適な行動$a$を知りたいことだと思います。意思決定がしたいんです。 これを実現するには、どうすればよいでしょうか？ $V^\pi(s_{t})$は変数$a$をもっておらず、特定の行動についての情報が直接含まれていません。状態$s$を起点に、そこから取りうるすべての行動についての総和をとっているからです。 しかし、ない袖は振れません。状態価値関数$V^\pi$を用いて表すと 時刻tである行動をとったあとの状態価値関数$V^\pi(s_{t+1})$を求める 時刻tで別の行動をとったあとの状態価値関数$V^\pi(s_{t+1})$を求める 全ての行動について繰り返す 結果的に

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに GANの基本を理解して、自分の思うような動作をさせたいために改良をしてきました。これまでの経緯はこちら GANの基本構造 今さら聞けないGAN（1）　基本構造の理解 CNNを用いて生成画像の表現力を上げたい 今さら聞けないGAN （2）　DCGANによる画像生成 学習を安定化し、モード崩壊を避けたい [今さら聞けないGAN（4） WGAN] (https://qiita.com/triwave33/items/5c95db572b0e4d0df4f0) 潜在変数空間上のカテゴリの分布 GANの生成画像を見たときに思ったことは、

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? なんとなく知っている気になっているけど。。。 ディープラーニング関連技術の中でも、GANに関するニュースは良く取り上げられていますね。警察と貨幣偽造者といったコンセプトは理解しやすく、学習したモデルから新たに絵や文章などを作り出せることは「これぞ人工知能」感を醸し出しています。 知ったかぶって、「それ、GANでできたら面白いですね」とか言ってしまうくせに、ソースコードレベルでの動作については実は良くわかっていない。チュートリアルを実行してなんとなく、「この行は〜をしているのだなぁ」ということはわかるのですが、そもそも「GANの基本思想を

はじめに 前回までの記事で、DCGANへの拡張および、現状のGANの問題点について述べました。今回は、それを解決するための方法としてWGANおよびその改良版（WGAN-gp）について説明します。前回までの記事は以下 今さら聞けないGAN (1)　基本構造の理解 今さら聞けないGAN (2)　DCGANによる画像生成 今さら聞けないGAN (3)　潜在変数と生成画像 WGANについて参考になったリンク Wasserstein GAN [arXiv:1701.07875] ご注文は機械学習ですか？ Wasserstein GAN（WGAN）でいらすとや画像を生成してみる Wasserstein GAN と Kantorovich-Rubinstein 双対性 GANの問題点 学習が難しい 勾配消失問題が起こる 生成結果のクオリティを損失関数から判断しにくい モード崩壊が起こる 改良方法 Was