Online ISSN : 1883-6127 Print ISSN : 0039-470X ISSN-L : 0039-470X
基本群とラプラシアン
Online ISSN : 1883-6127 Print ISSN : 0039-470X ISSN-L : 0039-470X
Welcome to Spinning Up in Deep RL! — Spinning Up documentation
User Documentation Introduction Installation Algorithms Running Experiments Experiment Outputs Plotting Results Introduction to RL Part 1: Key Concepts in RL Part 2: Kinds of RL Algorithms Part 3: Intro to Policy Optimization Resources Spinning Up as a Deep RL Researcher Key Papers in Deep RL Exercises Benchmarks for Spinning Up Implementations Algorithms Docs Vanilla Policy Gradient Trust Region
SOCIAL MEDIA TITLE TAG
TL;DR: We introduce LLaDA, a diffusion model with an unprecedented 8B scale, trained entirely from scratch, rivaling LLaMA3 8B in performance. Motivation We contend that the intelligence of LLMs—manifested in scalability, instruction-following, in-context learning, conversational ability, and compression—stems not from the autoregressive mechanism per se, but rather from the core principle of gene
rinnaのDeepSeek R1蒸留モデルがすごい - きしだのHatena
DeepSeek R1が話題になってだいぶたちますが、日本語対応モデルも出てきてますね。 そして2/15にrinnaからDeepSeek R1の蒸留モデルが出ていて、これがかなりいい感じなのでびっくりしてます。驚き屋してます。 DeepSeek R1では、こっそりと回答方針を決めるフェーズがあるのだけど、そこがなかなか筋がいい。 というか、作り方もなんだかすごいので最後に解説してます。 Qwen2.5とDeepSeek R1を利用した日本語大規模言語モデル「Qwen2.5 Bakeneko 32B」シリーズを公開｜rinna株式会社 ※ 2/18追記 こういう記事を書くときに「これがローカルで動いてすごい」のように書くんですが、ここではローカルで動いてすごいということは書いてなく、普通にちゃんと答えがでてその内容がすごいという風になってきてますね。追記ここまで。 CyberAgentからも
[02052025, Minds & Machines] RL Renaissance
このブラウザ バージョンのサポートは終了しました。サポートされているブラウザにアップグレードしてください。
![[02052025, Minds & Machines] RL Renaissance](https://cdn-ak-scissors.b.st-hatena.com/image/square/8cbc3744e68f754a127c6546ed1ff167000e8ffd/height=288;version=1;width=512/https%3A%2F%2Flh7-us.googleusercontent.com%2Fdocs%2FAHkbwyL9bDa9ILGR-gAXvI19Dk0oxVgOZilCKda_RIoCz33M2-NyrZAf5ovnGH5hF8iRcW2HwBbt5Qxgv4LiZiw1mJl9Qk4rGoIeSTV8kjniXyZGT9xXfwo%3Dw1200-h630-p)
近接固有値に属する固有ベクトルの計算困難性について
非常に近い値をもつ固有値を近接固有値という．一般に，近接固有値に属する固有ベクトルを数値計算することは困難な課題である． まずは具体的な例でこれを確認してみよう． 行列の近接固有値実数$t \in\mathbb{R}$ に対して実対称行列 $A(t)$ を \begin{equation} A(t) = \begin{pmatrix} 1 & t \\ t & 1 \end{pmatrix} \end{equation} と定める．解析的に計算される$A$ の固有値は \begin{equation} \lambda_1(t) = 1-|t|,~~\lambda_2(t) =1+|t| \end{equation} となる．$t\approx 0$ のときに $ \lambda_1(t)\approx \lambda_2(t)$となるので，この２つの固有値は近接固有値と呼ばれる． ここで，
【強化学習】Potential based Reward Shaping を試してみる
今回はPotential based Reward Shapingをgrid world問題上で試してみます。 Potential based reward shaping Potential Based Reward Shaping(PBRS)はreward shapingの一手法になります。 reward shapingは名前の通り、環境から直接得られる報酬を成形することによって学習を高速化、安定化させることを目指したフレームワークです。 そのreward shapingの一手法がPBRSであり、 この手法では、報酬をshapingしない時とshapingした時の最適方策が変化しないことが、理論的に示されている手法で、近年数多く研究されています。 前にも概要だけ紹介しました https://www.tcom242242.net/entry/2018/03/07/202737 簡単にいう
オフライン強化学習④： 拡散モデルの台頭 - どこから見てもメンダコ
オフライン強化学習における拡散方策の近年の適用例を概観し、tensorflowで実装します。 背景 拡散方策（Diffusion Policy）の登場 模倣学習の大幅な性能向上 Diffusion-QLの衝撃 主要な手法・論文 Diffusion-QL：拡散方策のミニマリストアプローチ IDQL： Implicit Q-Learning＋拡散方策 深堀り模倣学習：Using generative AI to imitate human behavior Decision Diffuser ：分類器無しガイダンス（CFG）の活用 Tensorflowによる拡散方策の実装 拡散方策 ノイズスケジュール 拡散過程/逆拡散過程 テスト結果 参考文献 オフライン強化学習シリーズ： オフライン強化学習① Conservative Q-Learning (CQL)の実装 - どこから見てもメンダコ オフ
Soft Actor-Critic (SAC) ②tensorflow2による実装 - どこから見てもメンダコ
連続値制御で大人気の強化学習手法であるSoft-Aactor-Criticのtensorflow2実装を解説します。 対象タスクはPendulum-v0とBipedalWalker-v3。 前記事： horomary.hatenablog.com ここまでの概要 Soft-Q関数について soft-Q関数の更新 ソフトターゲット更新 方策関数について 方策関数の更新 方策関数の実装 Reparameterization trick Squashed Gaussian Policy 温度パラメータαの自動調整 結果 SAC論文 ①： [1801.01290] Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor SAC論文 ②： [1812.05905
AIや統計の数式を解説する美少女VTuber「AIcia Solid Project」生みの親が語る、継続できるアウトプット活動とは？
AIcia Solid Projectは「本気でデータサイエンスに取り組むあなたを応援する」と掲げ、毎週YouTubeにデータサイエンスに関係する論文要旨や数式解説を投稿している。解説者は、赤いフレームのメガネをかけた女の子「アイシア=ソリッド（AIcia Solid）」という名前のキャラクターだ。そのAIcia Solidの生みの親である杉山聡氏は、VTuberとして活動する傍ら、普段は企業でデータサイエンティストとして働いている。アウトプット活動を続けるようになった経緯や、得られるメリットについてお伺いした。 データサイエンスVTuber「AIcia Solid Project」とは？ 「AIcia Solid Project」は、データサイエンスVTuberの「アイシア=ソリッド（AIcia Solid）」（以下、アイシア）が、データサイエンティスト向けAIに関連する技術を解説する動
線形カルマンフィルタってなんでこんな式なの？ - Qiita
はじめに カルマンフィルタは様々な分野で活用されています。その使いどころや理論については文献が多数あり、Qiitaでも素晴らしい記事がいくつもあります。しかし、あらためて自分なりにまとめてみると、意外にも色々な発見があったので記事にしました。 本記事では、書籍1やそれを短くまとめた解説2に(ある程度)寄せて、線形カルマンフィルタの式の構造についてざっくり解説していきます。ただし、どちらかというと「線形カルマンフィルタの場合にはここまで簡略化できる」という内容を紹介していきます。また本記事では、制御工学徒の読者を想定し、ベイズの定理やベイズフィルタとの関係性は触れません。そうした内容は、多数ある他の良記事を参照してください。強いて言うなら、本記事で条件付期待値については触れるので、その雰囲気からベイズの定理との関係性を想像していただければと思います。 カルマンフィルタの適用対象として、下記の
Kaggle画像コンペでやっていること① - Qiita
データ分析コンペを始めたてな人の中には『どこから手を付けていいのかわからない』方もいらっしゃるのではないでしょうか。『テーブルコンペは特徴量つくればいいけど、画像コンペって何するの？』という声も聞いたことがあります。 ということで、kaggle advent calender 2024の8日目の記事は、画像コンペで何しようかというお話になります。数回にわけて書かせていただこうと思います。基本的に初級者(Expertぐらい)向けですのでご了承ください。 8日目：本記事 14日目：作成中。リンク貼付予定 21日目：作成中。リンク貼付予定 24日目：作成中。リンク貼付予定 自己紹介 アカウント名: K_mat Competition Grandmaster (動画像系や時系列センサデータ系が主) 元々、本業はメカニカルエンジニアで博士 Kaggleおよび機械学習は2019年から5年 Vision
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - AI-Robot-Book-Humble/chapter1
【Python】物理エンジンMuJoCoの紹介＆MJCFドキュメント【MuJoCoチュートリアル①】 - Qiita
https://www.andrew.cmu.edu/course/10-703/slides/Lecture_NaturalPolicyGradientsTRPOPPO.pdf
A vision researcher’s guide to some RL stuff: PPO & GRPO
Schottky problem - Wikipedia
Kling AI
ALIGN Webinar Series #12 Jesse Hoogland Singular Learning Theory for AI Safety
【2025/1/15 10:00 開催】ALIGN Webinar #12 Jesse Hoogland : Singular Learning Theory for AI Safety — ALIGN