深層強化学習アルゴリズムまとめ
はじめに 深層強化学習の分野では日進月歩で新たなアルゴリズムが提案されています. それらを学ぶ上で基礎となるアルゴリズム(というより概念に近い？)はQ学習, SARSA, 方策勾配法, Actor-Criticの4つだと思われるので, これらを軸としてまとめてみたいと思います. 以下の4点はあらかじめご了承ください. コードは書いていません. 概念のみの説明です 他のアルゴリズムの基礎となりうる重要な概念については詳しく書きました. その他については簡潔に書きました 深層学習についてはある程度理解している読者を想定しています 書いているうちに規模がどんどん大きくなってしまったので, どこかに必ず間違いや不足があります. 「この式がおかしい！」「このアルゴリズムも追加するべき！」などコメントがあればぜひお願いします 全体像 扱うアルゴリズムを相関図にしてみました(私のイメージです). まず,
Raft(分散合意アルゴリズム)について
Raftについて Raftという分散合意アルゴリズムの紹介 論文: In Search of an Understandable Consensus ALgorithm (Extended Version) 注意 Raft三日目くらいの人が自分の理解をもとに(適当に)書いています いつも通り用語の使い方は怪しい Raftと分散合意のどちらも特別詳しい訳ではないので、ちゃんと知りたい人は上記論文や他の説明を参照することを推奨します Raftって何？ ざっくりと 分散合意アルゴリズム Paxos(おそらく有名な分散合意アルゴリズム)の改良版的な位置づけ(?) 機能追加や性能向上ではなく__理解可能性__の改善 etcdというCoreOS/Dockerをクラスタ化するためのツールで採用されているのが有名？ 詳しくは知らないですが... 分散合意アルゴリズム クラスタ内の全サーバに一貫性のあるステ
普通の人でもわかる Paxos
4. 登場人物 • クライアント – プロポーザに、書き込みをお願いする人 – 登場人物といっておきながら、話はプロポーザが値を 持ってから始めればいいので、以下登場しません。 • プロポーザ – アクセプタの過半数に同じ値を書き込むよう頑張る • アクセプタ – プロポーザから来た値をよきにはからう（後述） • リスナ – 最後に、過半数のアクセプタから値をゲット。 6. 基本的な動き（フェーズ２） • フェーズ２a（プロポーザ側） – 過半数のアクセプタから約束が返ってこなかったら、 どこかで諦めて、メッセージIDを増やして最初からや りなおし。 – 過半数のアクセプタから約束が返ってきたら、メッ セージIDと値を添えてアクセプタにプロポーズを送る。 – プロポーズを送る際に、もしも約束に(ID, 値）の組が ついて返ってきたら、自分の値を、返ってきた約束の
SSH keys - ArchWiki
2.2.1Changing the private key's passphrase without changing the key
勾配降下法の最適化アルゴリズムを概観する | POSTD
(編注：2020/10/01、2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次： さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最適化するアルゴリズム Momentum(慣性) Nesterovの加速勾配降下法 Adagrad Adadelta RMSprop Adam アルゴリズムの可視化 どのオプティマイザを選ぶべき？ SGDの並列化と分散化 Hogwild! Downpour SGD SGDのための遅延耐性アルゴリズム TensorFlow Elastic Averaging SGD 最適化されたSGDに対する更なる戦略 シャッフル学習とカリキュラム学習 バッチ正規化 早期終了 勾配ノイズ 結論 参考文献 勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネット
簡単な補間理論
*** (今回のサンプルはあくまで理論の追求を目的としました。ので、実際にこういう方法が 用いられることはあまりないと思います。(^^)) *** 補間とは、与えられた複数の点をすべて通る曲線において、ある x 値に対して その曲線上の y 値を求める計算のことです。 その計算を行うには、曲線の方程式が必要となります。 与えられた点をすべて通る曲線の方程式を求める方法を見ていきましょう。 もし、与えられた点が2つならば、それは直線になり、 y = a * x + b のように1次式で表せます。 同様にして点が3つならば、 y = a * x^2 + b * x + c のように2次式で表せます。 そこで、次のように定義することができます。 補間を行うには、その多項式の係数を求めればいいはずです。 例を挙げてすすめていきます。 点が3つあるとします。 これらの点を通る曲線は y = a *
JIS,ISO式四捨五入 - RjpWiki
規則(3)は，例えば 12.345 は直に12.3と丸めるべきであって、まず12.35とし、 それから12.4としてはならないことを主張している．この規則は，丸めによる 誤差が最小になる利点がある． > round(122.5) # 五捨！ [1] 122 > round(122.51) # 五入 [1] 123 > round(123.5) # 五入 [1] 124 > round(122.501) # 五入 [1] 123 計算機ソフトでは，伝統的に通常の四捨五入方式を採用してきた．市販の電卓や パソコンソフトの丸め処理法は，必ずしもJIS，ISO方式になっていないことも多く， チェックが必要であるといわれてる．(今入った情報では、Excel の丸め関数は、小学生方式、一方 VBA は IEEE 方式だそうです。) とはいえ、実際は気にするほどの差ではない (なにかおかしいかな？) >
端数処理 - Wikipedia
丸めは任意の丸め幅に対し可能だが、以下では特に断らない限り、丸め幅を1とする（後段の「#例」では、丸め幅は0.1である）。任意の丸め幅で丸めるには、丸める前に丸め幅で割り、丸めた後に丸め幅をかける。 主に正数について述べるが、負数についても適宜述べる。 整数部分をそのまま残し、小数点以下を0とする丸めを「切り捨て」という。それに対し、小数点以下が0でなかった場合整数部分を1増やし、小数点以下を0とする丸めを「切り上げ」という。 負の数を考えると、「切り捨て」「切り上げ」に準ずる丸めは、4種類ある。それぞれ「○○への丸め」と呼ばれる。 符号を無視して絶対値を丸める場合、「切り捨て」は常に0へ近づく（または変わらない。以下では省略）ので「0への丸め (rounding toward zero; RZ)」、「切り上げ」は常に数直線上の無限遠点へ近づくので「無限大への丸め (rounding to
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Bloom Filters: The Unsung Heroes of Computer Science | ByteDrum
Understanding Go Memory Allocation - Gophercon UK
GitHub - dgryski/awesome-consensus: Awesome list for Paxos and friends
GPU上でのvoxel構築手法
【第九回】経路探索(後編) R言語と地図データによる実行
String Hashing Shootout - DelphiTools
What is RCU? Part 2: Usage [LWN.net]
db4o XTEA プロジェクト日本語トップページ - SourceForge.JP