オフライン強化学習① Conservative Q-Learning (CQL)の実装 - どこから見てもメンダコ
オフライン強化学習の有名手法CQLについて、簡単な解説とともにブロック崩し環境向けのtf2実装を紹介します [2006.04779] Conservative Q-Learning for Offline Reinforcement Learning sites.google.com はじめに：オフライン強化学習とは 問題設定：ゲーム実況を見るだけで上手にプレイできるか？ 実世界でのユースケース 模倣学習との違いなど オフライン強化学習の難しさ データセットサイズは問題を解決しない Out of Distribution： データセット分布外アクションの過大評価 もっと詳しく CQL：保守的なQ学習 前例が無いからダメです 方策の正則化 CQL(H)のTF2実装 DQN Replay Datasetの利用 ブロック崩しの学習結果 次：Decision Transformer 前提手法： h
絶対に分かる機械学習理論 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
私が機械学習を学び始めたとき、訓練データとテストデータは異なるのだから、訓練データ上で損失を下げたとしても、テストデータでの性能が必ずしも保証されるとは限らないのではないかと感じ、理解に苦労しました。 本稿では、かつての自分を含め、統計と機械学習の初心者に向けて、なぜテストデータでも性能が理論的に保証されるのかを丁寧に解説します。 本稿の最後では、この議論を深層学習の理論に応用し、最先端の研究にまで一気に繋げます。期待値や分散などの統計学の基礎知識だけからここまで発展的な内容にまでたどり着くというのが本稿の目的です。ぜひ最後までお付き合いください。 目次 目次 期待値への集中 マルコフの不等式 チェビシェフの不等式 ヘフディングの不等式 モデルの評価 訓練の場合には同じ議論は成り立たない ユニオンバウンド 候補の数が有限の場合 候補の数が無限の場合 深層学習の理論へ 著者情報 期待値への集
【強化学習】World Modelsを解説・実装 - Qiita
この記事は自作している強化学習フレームワークの解説記事です。 次：PlaNet World Models 参考 ・論文：https://arxiv.org/abs/1803.10122 ・作者のblog：https://worldmodels.github.io/ ・コードサンプル：https://paperswithcode.com/paper/world-models ・（論文）World Models（2018） | Qiita ・機械学習論文読み：World Models | Qiita ・World Models (the long version) | ADG Efficiency 1. 動機 私たちの脳は日常生活にある膨大な情報を扱うために、空間的・時間的な側面を抽象化して学習しています。 (画像は論文より引用、脳内では自転車が抽象化されている) この脳内で抽象化された予測モ
Extreme learning machine - Wikipedia
Extreme learning machines are feedforward neural networks for classification, regression, clustering, sparse approximation, compression and feature learning with a single layer or multiple layers of hidden nodes, where the parameters of hidden nodes (not just the weights connecting inputs to hidden nodes) need to be tuned. These hidden nodes can be randomly assigned and never updated (i.e. they ar
Why We Think
Date: May 1, 2025 | Estimated Reading Time: 40 min | Author: Lilian Weng Special thanks to John Schulman for a lot of super valuable feedback and direct edits on this post. Test time compute (Graves et al. 2016, Ling, et al. 2017, Cobbe et al. 2021) and Chain-of-thought (CoT) (Wei et al. 2022, Nye et al. 2021), have led to significant improvements in model performance, while raising many research
帰納バイアスと理論研究 - Insight Edge Tech Blog
はじめに データサイエンティストの五十嵐です。今回は「帰納バイアスと理論研究」というタイトルでお送りします。 機械学習のモデルは、与えられたデータからパターンを学習し、未知のデータに対する予測を行います。この機械学習モデルにおいて、帰納バイアスが存在する場合があり、多くのモデルではそれらの帰納バイアスを上手く利用することにより様々な成果を上げてきています。しかし、近年のLLM (Large Language Model)では、帰納バイアスの弱い手法により大きな成果を上げており、大量のデータセットを利用可能な場合、帰納バイアスが弱くても高い性能を発揮することができることが明らかになってきました。しかし、これらは実験的に得られた知見、すなわち経験則である場合が多く、その理論研究は十分には進展していないのが現状です。そこで、本記事では帰納バイアスについて簡単に紹介した後、今年の6月にarxivに
トランスフォーマーは RNN である - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
拙著『深層ニューラルネットワークの高速化』が重版して第 2 刷となりました。皆さまありがとうございます！ 深層ニューラルネットワークの高速化 (ML Systems) 作者:佐藤 竜馬技術評論社Amazon もはや恒例、重版に感謝して書き下ろし専門記事をお届けします。 本稿では、SNS などでもたびたび話題になるトランスフォーマーは RNN であるという話をします。本稿では単に形式的に包含性を指摘するだけでなく、トランスフォーマーと RNN はどの程度似ているのかや、そこから導かれる応用上の意味についても詳しくご紹介します。 本稿は『深層ニューラルネットワークの高速化』の第 6.3 節と第 7.2 節に基づいています。 過去回 拡散モデルと最適輸送（最適輸送第 5 刷） GNN の最新動向（グラフニューラルネットワーク第 3 刷） 深層学習で部分空間を扱うときは射影行列を考えるとよい（グラ
「Deep Learning is Singular, and That's Good」論文とpyro実装を読む
「Deep Learning is Singular, and That's Good」論文とpyro実装を読む 「Deep Learning is Singular, and That's Good」(論文)とpyro実装を読む 確率的プログラミング言語 Advent Calendar 2023の20日目の記事です。 「Deep Learning is Singular, and That's Good」という野心的なタイトルの論文があり、そこでは特異学習理論で重要になる量であるRLCT(real log canonical threshold,実対数しきい値)の3層ニューラルネットにおける値の計算をpyroで実装しているのでそれを紹介します。 書かれた人,Daniel Murfetさんのページを見ると代数幾何と機械学習の関係、特異学習理論のほかにも圏論や論理、チューリングマシンなどの計
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ニューラルネットの良性過適合
The Inductive Bias of ML Models, and Why You Should Care About It
https://ibis.t.u-tokyo.ac.jp/suzuki/lecture/2020/intensive/%E8%AC%9B%E7%BE%A92.pdf
2025年度人工知能学会全国大会チュートリアル講演「深層基盤モデルの数理」
Zero-Shot Novel View and Depth Synthesis with Multi-View Geometric Diffusion
Google Gemini
Hutchinson Trace Estimation for High-Dimensional and High-Order Physics-Informed Neural Networks
Rust でML に挑戦してみた | 豆蔵デベロッパーサイト
https://www.jmra-net.or.jp/Portals/0/committee/innovation/20240508_001.pdf
How to compute Hessian-vector products? | ICLR Blogposts 2024
b2-reinforcement-learning-mw
[Journal club] Transformers Learn In-Context by Gradient Descent