論文「Unsupervised Monocular Depth Estimation with Left-Right Consistency」を読んでみました (3)：学習方法編 - Fixstars Tech Blog /proc/cpuinfo
Fixstars Tech Blog /proc/cpuinfo » 未分類 » 論文「Unsupervised Monocular Depth Estimation with Left-Right Consistency」を読んでみました (3)：学習方法編 速度 学習速度 3万枚の画像を50 epoch学習するのにTitan X GPU 1基で約25時間 推論速度 512×256画像で35ms未満 (28 FPS以上) (GPU-CPU間のデータ転送時間込み) ハイパーパラメータなど パラメータ数 31 million (ResNetの場合、48 million) ハイパーパラメータ \(\alpha_{ap} = 1\), \(\alpha_{lr} = 1\) 前投稿の通り、マルチスケール(4スケール)の視差マップを出力します。 出力される視差は、 \(d_{max}=0.3 \t
The Book of Shaders
Patricio Gonzalez Vivo、Jen Lowe著 この本はフラグメントシェーダーについてのガイドブックです。難解で複雑なフラグメントシェーダーの世界を、一歩一歩わかりやすくご案内します。 翻訳について この文書はPatricio Gonzalez VivoのThe Book of Shaderの日本語訳です。 技術的な内容はできる限り正確に伝えるように心がけていますが、その他の部分では言葉を補ったり簡略化したり、表現を変えている部分もあります。英語が得意な方はぜひ原文もお読みください。 フィードバックにはgithubのレポジトリをご利用ください。 目次 イントロダクション 初めの一歩 シェーダーとは？ ハロー・ワールド！ ユニフォーム変数 シェーダーを使う アルゴリズムで絵を描く シェイピング関数 色について 形について 二次元行列 パターン Generative desi
ハミルトニアンモンテカルロ法の実装 - やったことの説明
はじめに 今までなんとなくStanなどを使ってMCMCをやっていた。 ギブスサンプリングぐらいなら昔勉強したけど、ハミルトニアンモンテカルロや、ましてやNUTSなどは何をやっているのかあまり理解していなかった。 基礎からのベイズ統計学という本を読んで、ハミルトニアンモンテカルロまではなんとなくわかったので、プログラムを書いて理解する。 NUTSはまだわかってないので、 独立MH ランダムウォークMH ハミルトニアンモンテカルロ を実装する。 理論は他の方のブログや本を参考にしてほしい。 自分の理解で適当に書いているので、間違ってたらごめんなさい。 データ なんでもいいけど、平均3標準偏差1の1次元の正規分布に従うデータから、その平均と分散を推定することにする。 import numpy as np from numpy import random from copy import deep
Segment Tree を少し速くする - Fixstars Tech Blog /proc/cpuinfo
このブログは、株式会社フィックスターズのエンジニアが、あらゆるテーマについて自由に書いているブログです。 Segment Treeと呼ばれるデータ構造があります。 プログラミングコンテストでも解法の一部として使われることが多いため、よくコンテストに参加するような人だとコピペで使えるように準備しているということも多いのではないかと思います。 このデータ構造を使うと、1次元の数列に対する以下の操作が $O(\log n)$ の時間計算量で可能となります。 query(l, r): $a_{l}\ \textrm{op}\ a_{l+1}\ \textrm{op}\ \cdots\ \textrm{op}\ a_{r-2}\ \textrm{op}\ a_{r-1}$ を求める update(i, x): $a_{i}$ に $x$ を代入する たとえば、最初に数列 $a = [ 0, 1, 2
CUDAによるバンディング低減フィルタの高速化（2） - Fixstars Tech Blog /proc/cpuinfo
このブログは、株式会社フィックスターズのエンジニアが、あらゆるテーマについて自由に書いているブログです。 前回の続きです。メモリアクセス周りをもう少し見てみましょう。 カーネル内でメモリアクセスしてるデータは、乱数表と入出力画像です。このうち、読み書きデータ量の多い入出力画像を見てみます。画像のデータ型はPIXEL_YCです。これはAviUtlのフィルタ処理におけるデータ型で、以下のように定義されています。 typedef struct { short y; short cb; short cr; } PIXEL_YC; 画像データはこれの配列なので、構造体の配列（Array of Structures, AoS）です。AoSはCUDAが苦手なデータ構造です。なぜならコアレスアクセスができないからです。本来、教科書通りのやり方なら、ここでAoSをSoA（Structure of Array
（ Microsoftほか発 ）DeepCoder : 探索ベースのソフトウェア・エンジニアリング手法 を 取り込んだ Neural Networkベース の プログラミングコード自動導出モデル - Qiita
（ Microsoftほか発 ）DeepCoder : 探索ベースのソフトウェア・エンジニアリング手法 を 取り込んだ Neural Networkベース の プログラミングコード自動導出モデルNLP深層学習自動プログラミング人工知能DeepLearning （ 原論文 ） Matej Balog, Alexander L. Gaunt, Marc Brockschmidt, Sebastian Nowozin and Daniel Tarlow (2017) DEEPCODER: LEARNING TO WRITE PROGRAMS Published as a conference paper at ICLR 2017 （ 何 を 提案しているのか ？） プログラミング・コード を 導出する プログラム または、 プログラム を 書くプログラム を 構築 する 方法 を 提案している。
Montgomery Multiplication - Qiita
Montgomery Multiplication とは 大きな数同士の積やべき乗の剰余を計算機上で高速に求めることができるアルゴリズム $ab \mod n, a^m \mod n$ ※ 条件： $n$ は3以上の奇数である必要がある 暗号分野では欠かせない Montgomery Multiplication 概略 演算する値を Montgomery Representation に変換し、 その上で計算した後に Montgomery Representation から元に戻す。 アルゴリズム $ab \mod n$ について $r > n$ かつ、 $\gcd (r, n)$ な自然数$r$を選ぶ $k = \frac{r(r^{-1} \mod n) - 1}{n}$ を求める $\overline{a} = ar \mod n, \overline{b} = br \mod n$
イプシロン-デルタ論法はなぜ難しいのか？ どうしたら分かるのか？ 分かる必要があるのか？ - 檜山正幸のキマイラ飼育記 (はてなBlog)
先週末に、N君が「イプシロン-デルタ論法って、なんすかアレ？ 全然分からないっす！」と言ってました。そのときはそれ以上話す時間もなかったし、次回会うときはこの話題を忘れてしまうかも知れないので、書き記しておきます。 僕は、伝統的なイプシロン-デルタ論法そのものには懐疑的です*1。ゴタゴタした不等式をいじり回すのは早々に切り上げて、開集合を導入したほうがいいと思います。そんな思いから、出来るだけ不等式を使わずに集合族に注目するスタイルでイプシロン-デルタ論法を紹介します。 内容： イプシロン-デルタ論法 時間や運動のイメージを捨て去る ユークリッド距離と開球体 扱う関数達と実例 平面から平面への写像 一点の周辺を記述する開球体の族 写像による開球体の像 デュエルゲームとしての連続性 論理式で書き下そう 再びイプシロン-デルタ論法 続編： 距離空間と位相空間と連続写像 イプシロン-デルタ論法
自動微分の基礎| GRC/ARCA Viewpoint | PwCあらた有限責任監査法人
自動微分（Automatic Differentiationあるいは Algorithmic Differentiationともいわれ、ADと略される場合が多い）とは、コンピュータープログラムで表現された関数を効率的かつ正確に計算する技術です。 もともとは流体力学、原子核工学、気象科学などで使用されていた手法ですが、近年機械学習や金融への応用が注目されています。そこでここでは、自動微分の基礎について紹介します。 1. 数値微分 関数の微分係数を求めたい場合、数式がわかっていれば、数学的にはその関数式を微分すれば求まります。しかし、コンピュータープログラムで使用される関数は、何段階にも入れ子になっていたり、ループや条件分岐を含むコードにより表現されているため、数学的に微分することは必ずしも簡単ではありません。 しかし、そもそも微分の定義を考えると、
Maglev Hashing with Python - yunazuno.log
今更ながら，GoogleのMaglev論文で提案されているMaglev Hashingを手元で実装してみた． Maglev: A Fast and Reliable Software Network Load Balancer Maglev Hashingとは 所謂Consitent Hashの一種．Maglevロードバランサにおけるリアルサーバ選択に使用されている． 上記論文のSection 3.4で詳細が説明されている．NSDI'16での発表スライドも併せて眺めると分かりやすい． Maglev: A Fast and Reliable Software Network Load Balancer | USENIX Slide: https://www.usenix.org/sites/default/files/conference/protected-files/nsdi16_sli
SIMD / GPU Friendly Branchless Binary Search
The other day I was thinking about how you might do a binary search branchlessly. I came up with a way, and I’m pretty sure I’m not the first to come up with it, but it was fun to think about and I wanted to share my solution. All code in this post is public domain. Here it is searching a list of 8 items in 3 steps: size_t BinarySearch8 (size_t needle, const size_t haystack[8]) { size_t ret = (hay
「これからの強化学習」1章の内容で三目並べ - Gunosyデータ分析ブログ
こんちくわ。データ分析部兼サウンドエンジニアの大曽根です。最近は吾妻光良&The Swingin Buppersのライブに行きました。 今回は4/12に開催した「これからの強化学習」の輪読会の1.3節で紹介した価値反復法のアルゴリズムを、教科書とは異なる例で実装してみました。 開催報告については下記のブログをご覧ください。 data.gunosy.io メジャーなゲームである三目並べを、1.3節にて紹介されているSarsaを用いて学習しました。 教科書とは別の例で実装することで少しでも理解が深まればと思います。 価値反復に基づくアルゴリズム マルコフ決定過程において価値関数を特定の更新式に従って更新する手法です。(今回はSarsaで試しました。) 発表の際には、tの状態の更新式に次の状態 t+1が含まれているところなどがわかりづらいとの質問を受けました。 価値反復に基づくアルゴリズムでは過
Pythonによるパーティクルフィルタの実装と状態空間モデルへの適用 - Qiita
パーティクルフィルタ/粒子フィルタ(Particle filter)、逐次モンテカルロ法(Sequential Monte Carlo: SMC)など様々な呼び方がありますが、この記事ではパーティクルフィルタという呼び方を使います。このパーティクルフィルタをPythonで実装して状態空間モデルの潜在変数を推定することを試したいと思います。 状態空間モデルにはさらに細かくいくつものモデルが分かれていますが、今回はシンプルなモデルであるローカルモデル(１階差分トレンドモデル)を対象として扱います。この状態空間モデルのトレンドの種類に他に何があるかを知りたい場合はココをご参考としてください。 $x_t$は時刻tにおける潜在状態を表し、$y_t$は観測値を表します。 利用するデータは「予測に生かす統計モデリングの基本」のサンプルデータ(http://daweb.ism.ac.jp/yosoku/)
Amazonの推薦システムの20年
IEEE Internet Computingの2017年5・6月号に "Two Decades of Recommender Systems at Amazon.com" という記事が掲載された。 2003年に同誌に掲載されたレポート "Amazon.com Recommendations: Item-to-Item Collaborative Filtering" が Test of Time、つまり『時代が証明したで賞』を受賞したことをうけての特別記事らしい 1。 「この商品を買った人はこんな商品も買っています」という推薦で有名なAmazonが1998年にその土台となるアルゴリズムの特許を出願してから20年、彼らが 推薦アルゴリズムをどのような視点で改良してきたのか 今、どのような未来を想像するのか その一端を知ることができる記事だった。 アイテムベース協調フィルタリング 20年前も
Kalman Filter, Extended Kalman Filter, Unscented Kalman Filter
The second term of Self-Driving Car Engineer Nanodegree devotes Robotics. Therefore, the first two projects we spend on learning Kalman filter (KF) and its variations. We implemented three different versions of KF suitable for SDC and I decided to write and overview which describe key differences. The first question is why we need KF at all. Why can’t we rely on measurement we receive from our sen
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DeepLearningによるアイドル顔識別を支える技術 / 2017-08-04 builderscon tokyo
木構造の整形表示コマンド forest を作った - Qiita
catboostのコンパイルと、基本的な使い方 - Qiita
quadpack
GitHub - bacak/TrAP: TrAP is a tree averaging program. It computes medians and means of phylogenetic trees.