Deep belief network - Wikipedia
In machine learning, a deep belief network (DBN) is a generative graphical model, or alternatively a class of deep neural network, composed of multiple layers of latent variables ("hidden units"), with connections between the layers but not between units within each layer.[1] When trained on a set of examples without supervision, a DBN can learn to probabilistically reconstruct its inputs. The lay
Restricted Boltzmann machine - Wikipedia
Diagram of a restricted Boltzmann machine with three visible units and four hidden units (no bias units). A restricted Boltzmann machine (RBM) (also called a restricted Sherrington–Kirkpatrick model with external field or restricted stochastic Ising–Lenz–Little model) is a generative stochastic artificial neural network that can learn a probability distribution over its set of inputs.[1] RBMs were
All physical laws are described as relationships between state variables that give a complete and non-redundant description of the relevant system dynamics. However, despite the prevalence of computing power and AI, the process of identifying the hidden s
Discovering State Variables Hidden in Experimental Data Boyuan Chen, Kuang Huang, Sunand Raghupathi Ishaan Chandratreya, Qiang Du, Hod Lipson All physical laws are described as relationships between state variables that give a complete and non-redundant description of the relevant system dynamics. However, despite the prevalence of computing power and AI, the process of identifying the hidden stat
Understanding deep learning requires rethinking generalization
Despite their massive size, successful deep artificial neural networks can exhibit a remarkably small difference between training and test performance. Conventional wisdom attributes small generalization error either to properties of the model family, or to the regularization techniques used during training. Through extensive systematic experiments, we show how these traditional approaches fail to
Taming Transformers for High-Resolution Image Synthesis
Taming Transformers for High-Resolution Image Synthesis (a.k.a #VQGAN) Patrick Esser*, Robin Rombach*, Björn Ommer IWR, Heidelberg University CVPR 2021 (ORAL) TL;DR: We introduce the convolutional VQGAN to combine both the efficiency of convolutional approaches with the expressive power of transformers, and to combine adversarial with likelihood training in a perceptually meaningful way. The VQGAN
Vapnik–Chervonenkis dimension - Wikipedia
In Vapnik–Chervonenkis theory, the Vapnik–Chervonenkis (VC) dimension is a measure of the size (capacity, complexity, expressive power, richness, or flexibility) of a class of sets. The notion can be extended to classes of binary functions. It is defined as the cardinality of the largest set of points that the algorithm can shatter, which means the algorithm can always learn a perfect classifier f
Rademacher complexity - Wikipedia
In computational learning theory (machine learning and theory of computation), Rademacher complexity, named after Hans Rademacher, measures richness of a class of sets with respect to a probability distribution. The concept can also be extended to real valued functions. Definitions[edit] Rademacher complexity of a set[edit] Given a set , the Rademacher complexity of A is defined as follows:[1][2]:
ランジュバン動力学 - Wikipedia
物理学において、ランジュバン動力学（ランジュバンどうりきがく、英: Langevin dynamics）は、分子系の動力学の数理モデリングのための手法である。フランスの物理学者ポール・ランジュバンによって開発された。本手法は確率微分方程式の使用によって省略された自由度を説明すると同時に単純化されたモデルを使うことが特徴である。 概要[編集] 現実の世界における分子系は真空中に存在する可能性は低い。溶媒あるいは空気分子のぶつかり合いは摩擦を引き起こし、時折起こる高速衝突は系をかき乱す。ランジュバン動力学はこれらの効果を考慮に入れるような分子動力学の拡張を試みる。また、ランジュバン動力学はサーモスタットを用いた時のように温度を制御できるため、正準集団（カノニカルアンサンブル）を近似できる。 ランジュバン動力学は溶媒の粘性を模倣する。陰溶媒を完全にモデル化はしない。具体的には、このモデルは静電遮
ランダム行列 - Wikipedia
この項目では、一般的な確率変数を要素とする行列について説明しています。マルコフ連鎖の遷移行列については「確率行列」をご覧ください。 ランダム行列 (ランダムぎょうれつ、英語: Random Matrix) とは、行列要素 hj,k がなんらかの確率法則あるいは確率分布に従う確率変数 (乱数) として与えられると仮定する行列モデル。また、ランダム行列に関する理論をランダム行列理論 (英語: RMT) という。ランダム行列は、ユージン・ウィグナーにより固有値や固有値の間隔の分布の統計的性質、それらの普遍性 (Universality) やその要因などを研究する目的で導入された。現在では核物理学のほかに、量子カオス、固体物理学、統計力学、数論、生態学、遺伝子工学、金融工学、無線工学、複雑ネットワークなどの研究で応用されている。 代表的なランダム行列[編集] この節では代表的なランダム行列について
活性化関数 - Wikipedia
活性化関数（かっせいかかんすう、英: activation function）もしくは伝達関数（でんたつかんすう、英: transfer function）とは、ニューラルネットワークのニューロンにおける、入力のなんらかの合計（しばしば、線形な重み付け総和）から、出力を決定するための関数で、非線形な関数とすることが多い。 概要[編集] よく使われているモデルでは、人工ニューロンは1つ以上の入力を受け取り（1つ以上の樹状突起に相当）、それらの重み付け総和から、活性化関数を通して、出力を生成する。 数式では、以下のが活性化関数。 古典的にはステップ関数が提案された。他にもいろいろと考えることはできる。1986年のバックプロパゲーションの発表以降はシグモイド関数が最も一般的だった。現在はReLU（ランプ関数）の方が良いと言われる[1]。活性化関数は単調増加関数が使われる事が多い。必ずしもそうしな
Universal approximation theorem - Wikipedia
This article may be too technical for most readers to understand. Please help improve it to make it understandable to non-experts, without removing the technical details. (July 2023) (Learn how and when to remove this message) In the mathematical theory of artificial neural networks, universal approximation theorems are theorems[1][2] of the following form: Given a family of neural networks, for e
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps
EleutherAI
Weights & Biases: The AI Developer Platform
Segment Anything