Hyperparameter optimization for Neural Networks — NeuPy
Hyperparameter optimization for Neural Networks Contents Hyperparameter optimization for Neural Networks Introduction Hyperparameter optimization Grid Search Random Search Hand-tuning Bayesian Optimization Gaussian Process Acquisition Function Find number of hidden units Disadvantages of GP with EI Tree-structured Parzen Estimators (TPE) Overview Hyperparameter optimization for MNIST dataset Disad
Pythonでベイズ最適化を使ってハイパーパラメータを探索するライブラリ実装のメモ - Qiita
はじめに ベイズ最適化(参考：ベイズ最適化入門, 機械学習のためのベイズ最適化入門)を使うと、機械学習の時の各種Try&Errorで決めざるを得ないようなハイパーパラメータの探索を効率よく実施できる可能性があります。 考え方などは最近色々解説記事が増えてきたおかげで理解はできるのですが、GridSearchのライブラリみたいな形ではWeb上で見つけられなかったので、今回作りました。きっと車輪の再発明なのだと思うのですが、まあ再発明は勉強にはなるので良しとします。 今回使っている各種Version Python3.5 numpy==1.11.1 scikit-learn==0.17.1 コード from itertools import product from sklearn.gaussian_process import GaussianProcess # The MIT License
Disciplined Convex Programming - Home
Disciplined Convex Programming This website is designed to teach disciplined convex programming (DCP). DCP is a system for constructing mathematical expressions with known curvature from a given library of base functions. DCP is used by the convex optimization modeling languages CVX, CVXPY, Convex.jl, and CVXR to ensure that the specified optimization problems are convex. After reading about the D
Ceres Solver — A Large Scale Non-linear Optimization Library
Ceres Solver¶ Ceres Solver [1] is an open source C++ library for modeling and solving large, complicated optimization problems. It can be used to solve Non-linear Least Squares problems with bounds constraints and general unconstrained optimization problems. It is a mature, feature rich, and performant library that has been used in production at Google since 2010. For more, see Why?. ceres-solver@
いまどきのmatmul
概要 経緯 : http://d.hatena.ne.jp/w_o/20141021#1413893835 Host 1700msec、Epiphany 170msecとかになって、さすが、16coreだから10倍速いみたいな話になったが、 経験的に、こういうのってナイーブCと比較してるから、普通にマルチスレッド & NEON使えば、10倍差ぐらいすぐはやくなんじゃね？ と、思ってNEON + スレッド化matmulを探したのだけど、見当たらなくて、探すより書いたほうがはやそうだったので書いた。 というのがあって、今更matmulを実装したのでその話について書く。 1ノード Haswell 正方行列 単精度 サイズは128の倍数だとか制限付けてもよい という条件でどうやって効率上げていくかについて説明する。 今日の結果は N = 2000〜3000 で効率 80% ぐらい。 まあ多分もっと
最適化超入門
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。 近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。 "Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise. The slides are made by the lecturer from outside our company, and shared here with his/her permission. Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステム
C++でCプリプロセッサを作ったり速くしたりしたお話
1. C プリプロセッサを使ってみよう 2. C プリプロセッサを作った話 3. C プリプロセッサを高速化した話Read less
スペースリーク、その傾向と対策
スペースリークの傾向とその対策を見ていきます。 ここでは3つのパターンを取り上げます。他のパターンがまだ見つかりそうな気がしているので、気がついた方は是非記事を書いてください。 注意事項 「サンクを積む」という表現を多用していますが、「関数適用によってサンクを大きくする」と言った意味合いで使っています。多分に誤用なので外では使わない方がいいと思います（と思ったらそういう表現を使うこともあるそうです） 以前の記事もそうですが、「簡約」は「評価」に統一してます 基本方針 追記: 正格評価 無限ループをしない 必要ない式は評価しない 遅延評価 無限ループをしない 必要ある式はサンクを積まない サンクの必要とする空間と、潰した後の空間 サンクは必ずしも悪いものではありません。非常に大きなサンクの場合とそれを潰した場合に、どちらがメモリを消費するかは一概には言えないのです。 少し違いますが、わかりや
プログラムを高速化する話
9. 9 最適化について 「細かい効率のことは忘れて、時間の 97% について考え よう。時期尚早な最適化は諸悪の根源だ。それでも残り 3% についても機会を逃すべきではない」 - Donald E. Knuth 「プログラム最適化の第一法則 : 最適化するな。 プログラム最適化の第二法則 ( 上級者限定 ): まだするな。 」 - Michael A. Jackson 11. 11 最適化の対象 主に Intel の Haswell マイクロアーキテクチャ以降を対象 多くのテクニックは他のプロセッサにも応用できます ベース マイクロアーキテクチャ プロセスルール 登場年 Nehalem Nehalem 45nm 2008 〃 Westmere 32nm 2010 Sandy Bridge Sandy Bridge 32nm 2011 〃 Ivy Bridge 22nm 2012 Hasw
Color Map Optimization for 3D Reconstruction with Consumer Depth Cameras - 深度カメラによるカラーマップ3Dスキャン精度を大幅に向上させるSIGGRAPH2014技術論文！
イベント-Event 2024春 バンクーバーVFX/CG現地体験会 - 英語が苦手でも安心の6日間の... 2024-01-14 海外の映画・CG・Web業界への進出をサポートするチーム「Teamove」による「2024年春 VFX／CG現地体験会」の仮申し込み受付が開始されています！※CG専門の通訳が全日程アテンド！英語ができない方でも安心！ 続きを読む Blender アドオン プラグイン＆アドオン-Plugin&Addon Jiggle Maker v1.1 - クロスベースのボリューム揺れ物理挙動を簡... 2024-01-14 Lewdineer氏によるクロスベースのボリューム揺れ物理挙動を簡単にセットアップ出来るBlenderアドオン『Jiggle Maker v1.1』がGumroad上でリリースされています。 続きを読む Unreal Engine アセット アセット-A
max, min 関数の最適化と x86 の cmov 命令 - yuyarinの日記
max 関数や min 関数は C 言語だと自分で書かないといけないので int max(int a, int b) { return a>b?a:b; } などと書いたりするのだが，比較を行っているので分岐が発生するから遅くなると思い，これって本当に速いのかと思って調べてみた． 実験 以下の５つのコードを用意した．これらをそれぞれ max 関数の実装とした．検証用のコードは最後に載せる．PHP でランダムな２数値を作ったデータを 1,000,000 組用意し，入力データとして配列に読み込んだあと，ループで max 関数を実行した．このループの前後で gettimeofday で時間を測り，所要時間を算出した．それぞれの実装に対し所要時間の５回の平均をとって比較した．コードは gcc version 4.2.1 (Apple Inc. build 5664) でオプション無しでコンパイルし
advanced optimization FPU
FPUレジスタは通常の汎用レジスタと違って8個まで値を格納できるスタック形式です. スタックトップをstと書き, 以下st(1),st(2),...st(7)と表記します. スタック形式なので, 通常はメモリから直接st(i) (i>0) に読み込むことは出来ません. メモリの値を一端stにpush (読み込み) してからst(i)に移します. 9個以上pushすると例外が発生するので注意します. 不要になった値はstから順にpopして消去します. レジスタの値をメモリに書き込む時も同様で, 通常はstの値だけしか書き込めません. 尚, 汎用レジスタと違ってFPU命令には即値モードはありません. 全てアドレスを指定して値のやり取りをします.
advanced optimization SSE
float型浮動小数を4つ並列に演算する機構です. MMXや3D Now!の様にFPUレジスタを利用しているのではなく全く新規に作られたレジスタです. そのため, MMXや3D Now!と違ってFPUレジスタとの切替え[emms, femms]は不要ですが, 代わりにOSがSSEレジスタをサポートしている必要があります. 基本的に最下位データのみを操作する命令にはss, 4つの(パックされた)データを操作する命令にはpsがつきます. 大抵の命令はssよりはpsの方がレイテンシ, スループットともに1クロックずつ余計にかかります. 以下, 表の中の`F'はfloat型データ1つを表します. `a-bサイクル'はレイテンシa, スループットbを表します. xmm?と書くのは面倒なのでxm?と書きます. 4.1 読み込み / 書き込み
最適化問題に対する超高速＆安定計算
数理・情報系の研究者。最適化理論からアルゴリズムそれにスパコンを使った大規模計算まで。本業は最適化問題の研究でグラフ探索(Graph500 世界１位)や産学連携など。 東京工業大学 科学技術創成研究院 教授 デジタルツイン研究ユニット ユニット長 東京工業大学 情報理工学院 数理・計算科学系 教授 1: 藤澤研究室 HP 2: SDPA ホームページ(sourceforge) 3: Katsuki Fujisawa HP 4: SCOPE（「計算と最適化の新展開」研究部会）（すでに終了） 5: X(Twitter) : sdpaninf 一気に浮上した有望株、冷却原子方式量子コンピューターのすごさとは 量子ビットの誤り（エラー）を訂正できる「誤り耐性量子コンピューター（FTQC、Fault-Tolerant Quantum Computer）」の有望株として、「冷却原子方式」の量子コンピュ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Bitbucket
簡単そうで難しい組み合わせ最適化