第11回全脳アーキテクチャ勉強会に参加した - kivantium活動日記
Twitterで回ってきて面白そうだった第11回全脳アーキテクチャ勉強会 〜Deep Learningの中身に迫る〜というイベントに参加してきました。この勉強会は、機械学習器を組み合わせることで人間並みかそれ以上の知能を持つ人工知能を作り出すことを目的としているそうで、自分の関心にも近いと思いました。 今後のために、講演の内容について調べたことを交えながらまとめておきます。よく分からないまま書いているところもあるのでツッコんでくれるとうれしいです。 内容は、ニコニコ生放送のタイムシフトで見ることができるようです。live.nicovideo.jp 「深層学習の学習過程における相転移」(京都大学大学院情報学研究科 大関真之 氏) 大関真之さんは機械学習によるカンニングの検出技術の開発 — 京都大学が報道されたことで知られていますが、専門は統計物理だそうです。たくさんの粒子の運動を確率に扱う統
《日経Robo》多様体仮説：現実世界のデータをどうモデル化するか
学習後のVAEにおいて、ノイズベクトルの中の特定の要素を滑らかに動かすと、VAEで生成される顔画像も、表情などが滑らかに変化する。（写真：D. Kingma et al,“Auto-Encoding Variational Bayes” Figure 4（a）より引用、https://arxiv.org/abs/1312.6114） 各点の周りがn次元的に拡がっているような空間を多様体と呼ぶ。別の言い方をすれば、局所的にはn次元の座標系を使って表すことができ、それがn次元ユークリッド空間と同相（滑らかに変形させていって同じ形にできる）であるような空間である。 現実世界のデータ分布は多くが低次元多様体 例えば、n次元ユークリッド空間自身はどの点でもn次元の拡がりを持った多様体である。また、球面というのは3次元空間中の2次元的な広がりを持つ多様体である。球面全体は2次元と同相ではないが（例えば
Thoth Children | 知識と質問が集まる技術学術情報集積所
隠れマルコフモデル(HMM, Hidden Markov Model)は、内部の観測できない状態を外部で観測できる状態から推定する技術. 内部の状態は確率でどれかの状態に遷移し、遷移した先で決まった確率で観測される状態を出力する.ビタビアルゴリズムで内部の最も考えられる状態遷移を予測し、Forward-Barckwardアルゴリズムで各時刻、各状態の確率を算出し、BaumWelchアルゴリズムでそもそもモデルのパラメータを推定する.
ニューラルネットワーク、多様体、トポロジー - Qiita
Christopher Olah氏のブログ記事 http://colah.github.io/posts/2014-03-NN-Manifolds-Topology/ の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 近年、深層ニューラルネットワークには多くの興奮と関心が寄せられています。コンピュータビジョンなどの分野でブレークスルーとなる成果を達成したためです。1 しかし、それにはいくつかの懸念が残ります。そのひとつは、ニューラルネットワークが実際に 何を やっているかを理解することが、かなり難問であり得る、ということです。よく訓練されたネットワークは高品質の結果を達成しますが、どのようにしてそうしているかを理解することは困難です。ネットワークが失敗した場合、何がうまくいかなかったかについて理解することは難しいです。 一般的に深層ニューラルネットワークの挙動を理解することは困
Deep Learningと画像認識� �～歴史・理論・実践～
Several recent papers have explored self-supervised learning methods for vision transformers (ViT). Key approaches include: 1. Masked prediction tasks that predict masked patches of the input image. 2. Contrastive learning using techniques like MoCo to learn representations by contrasting augmented views of the same image. 3. Self-distillation methods like DINO that distill a teacher ViT into a st
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
