Hyperparameter optimization for Neural Networks — NeuPy
Hyperparameter optimization for Neural Networks Contents Hyperparameter optimization for Neural Networks Introduction Hyperparameter optimization Grid Search Random Search Hand-tuning Bayesian Optimization Gaussian Process Acquisition Function Find number of hidden units Disadvantages of GP with EI Tree-structured Parzen Estimators (TPE) Overview Hyperparameter optimization for MNIST dataset Disad
見たら瞬時に理解すべき数式 - HELLO CYBERNETICS
機械学習で現れる数式に関して、これを見たら瞬時に理解すべきものを載せておきます。 機械学習で現れる数式には大量の添字があり、それらのせいで一体どのような計算が行われているのかを瞬時に把握するのが難しくなっています。しかしもはやこれは慣れの問題です。 教科書を根気強く理解できるようにするのもいいですが、予めどのような表現があるのかを知っていれば、もっと楽に読み進めることができるはずです。そのための言わば事前に知っておくと言い数式たちを載せておきます。 行列の行と列の数 計算の法則 特に頻出する形式 和の計算と行列表現 内積 行列計算 出現場面 固有値と固有ベクトル 固有ベクトルは、ほとんど変換を受けないベクトル 固有値とは、固有ベクトルがどれだけ定数倍されたかを表す 出現場面 勾配 勾配はスカラー関数の各成分の傾き 勾配はスカラー関数の等高線の法線ベクトル 出現場面 終わりに 行列の行と列の
Deep learningに必須なハード：GPU - HELLO CYBERNETICS
はじめに 計算性能は必須 CPUとGPU CPU GPU GPGPU ベンチマーク 様々な環境での実験 ニューラルネットの構造を変えた実験 GPUの情報 ディープラーニングのGPU TensorFlowが認識するGPUの性能 2017年GPUの早見表（デスクトップ向け） 紹介 はじめに 計算性能は必須 もし、まともにディープラーニングをやりたいと思うのであれば、コンピュータの性能を無視することはできません。もともとニューラルネットワークは計算量の問題があって今まで冷や飯を食ってきた技術です。 計算性能の向上がニューラルネットを大きく支えていると言っても過言ではないのです。 どのフレームワークを使っても、大抵はMnistを使った画像認識のタスクがチュートリアルにあるでしょう。これは次元のベクトルを入力データとして受け取ります。 これだけでも中々膨大な計算量になりそうなのが何となく分かるでしょ
機械学習／Deep Learningの仕事が増える2017年、ソフトウェアエンジニアがFPGAを学ぶべき理由
ソフトウェアエンジニアがFPGA（field-programmable gate array）を使うハードルがさらに下がってきている。クラウドサービスでFPGAを活用できたり、Pythonで記述したニューラルネットワークをFPGAに高位合成できる研究成果が出てきたりしているのだ。 ソフトウェア開発者の立場でFPGAに取り組むイベント「FPGAエクストリーム・コンピューティング」を主宰する佐藤一憲氏、FPGAの高位合成によるディープラーニングについて研究している東京工業大学の中原啓貴氏（中原研究室）、そしてFPGAベンダーであるザイリンクスの神保直弘氏が、急激に常識が変わりつつあるFPGAの動向を語り合った。 本稿では座談会の中から、ソフトウェアエンジニアにFPGAや高位合成が求められる現状、そして、今後どのようなツールを使うべきか、ソフトウェアエンジニアがFPGAに取り組む際の課題などにつ
HDF5フォーマットに関するメモ書き - 多分需要は無いだろうが忘れないための覚え書き。
HDF5というファイルフォーマットがあります。 このたび、しばらくC++でHDF5のファイルを出力するというのをやっていたのですが、それで苦労したりしていたので、とりあえず超初歩的なところからいくつかポイントをまとめていきたいと思います。 そもそもHDF5って？ HDF5はHierarchical Data Format 5の略です。科学技術計算などの分野で、たとえば時系列に変化する大量のデータを逐一記録するときなどに使われるそうです。5はメジャーなバージョンの番号からきているのかと思います。 名前のとおり、階層化されたデータの形式、といえばそうなのですが、それだけだとイメージがつかないかもしれないので、まずはこの階層化、の意味するところがどういうものなのかというのをざっくりと説明したいと思います。 階層化されたデータフォーマットの実現のために、HDF5のデータはデータセットとグループとい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - theskumar/python-dotenv: Reads key-value pairs from a .env file and can set them as environment variables. It helps in developing applications following the 12-factor principles.