強化学習未経験者がテトリスの AI を作ってみた話
はじめに この度、強化学習によるテトリスの AI を作成してみました。想像以上にうまくいき、最終的には半永久的にラインを消してくれる AI に成長してくれたので、今回はその記録として AI を作成した過程をここに記していきます！ 今回の AI の概要 今回作成したテトリス AI の概要は以下の通りです。 特定のゲームの状態から可能な行動パターンを全てシミュレーションする 行動後の状態を入力情報として Neural Network に今後の報酬の期待値を推測させる 今後の報酬の期待値が一番高くなる行動を実際の行動として選択して遷移する (貪欲方策) Game Over になるまで 1 ~ 3 を繰り返す Tetris AI を可視化した図 何も知らない頃は『AI ってどうやって動いてるんだ？』と自分は思っていたんですが、動作原理は非常にシンプルです。強化学習とは、この今後の報酬の期待値を推測
強化学習 カテゴリーの記事一覧 - からっぽのしょこ
はじめに 『ゼロから作るDeep Learning 4 ――強化学習編』の独学時のまとめノートです。初学者の補助となるようにゼロつくシリーズの4巻の内容に解説を加えていきます。本と一緒に読んでください。 この記事は、8.2節の内容です。DQNを実装して、カートポール…
ゼロから始めてオフライン強化学習とConservative Q-Learningを理解する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 過去に集めたデータのみを用いて強化学習を行うオフライン強化学習に注目が集まっています．ではオフライン強化学習は，オンラインで環境と作用し学習する一般的な強化学習と比べてどのようなメリットや，技術的な違いがあるのでしょうか？ 本記事では，オフライン強化学習の基礎から最新の話題を橋渡しすることを目指します．まずオフライン強化学習のモチベーションから導入し，次に技術的に見たオンラインとオフラインの場合の違いを説明します．そして，オフライン強化学習における代表的な手法のひとつであるConservative Q-Leaning(CQL) と，その
AIが達人技を体得する技術「敵対的逆強化学習」の紹介 - GMOインターネットグループ グループ研究開発本部
イントロダクション みなさま、こんにちは(or こんばんは)。 次世代システム研究室のY.Tです。 最近は、急に夏から秋にシフトチェンジして温度変化がダイナミックになっていますが、みなさまはお体に気をつけてお過ごしでしょうか？ 私の方は、温かいお風呂とビタミンCのこまめな摂取でなんとか季節の境目を乗り切ろうと奮闘中です。 さて今回は、「敵対的逆強化学習」をテーマとした内容をお届けします。 このブログをご覧になる皆様であれば、「強化学習」というキーワードをすでにご存知かもしれません。 今回取り上げるのは、逆強化学習のアルゴリズムの一つで、達人の手本を見様見真似で模倣するというものです。 どのあたりが「強化学習」の逆なのか、「敵対的」とはどういう忌みなのか、順を追ってご説明したいと思います。 世界チャンピオンを越えるAIを作り上げた強化学習。だが・・・ みなさんは「Alpha碁」というAIをご
逆強化学習を理解するための強化学習の基礎 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 1. はじめに 逆強化学習の手法についてはこちらを御覧ください。本記事では逆強化学習の手法については解説していません。 逆強化学習は、エキスパートの行動から報酬を推定する手法です。例として下図のようなことを実現することが可能になります。 (K.Kitani, et al., 2012, Activity Forecasting, ECCV) この例では、逆強化学習によって人の行動の報酬を推定し、経路予測をしています。 一般的に、強化学習ではエージェントが環境から報酬を得ることで最適な行動を学習します。エージェントは環境に行動という形で働
日本一詳しくMaximumEntropyIRLのソースコードを解説してみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 1. はじめに 最近、逆強化学習について勉強しているので備忘録がわりにソースコードの解説をしようと思います。こちらで解説するのは逆強化学習の中で基礎的かつメジャーな手法であるMaximum Entropy IRLになります。こちらの手法はQiitaの記事や書籍にも分かりやすい解説がすでにあるので二番煎じ感はありますが、それでもいくつか悩んだところがあったため、改めて解説していきます。 2. 解説するソースコード 「Pythonで学ぶ強化学習」の逆強化学習に関するサンプルコードを使用させて頂いて解説を行います。 解説リポジトリ 3. そも
『ゼロから作るDeep Learning 4』の学習ノート：記事一覧 - からっぽのしょこ
はじめに 『ゼロから作るDeep Learning 4 ――強化学習編』の独学時のまとめノートです。初学者の補助となるようにゼロつくシリーズの4巻の内容に解説を加えていきます。本と一緒に読んでください。 この記事は、各節の記事のリンクページです。 【前巻の内容】 www.anarchive-beta.com 【今巻の内容】 はじめに 記事一覧 1章 バンディット問題 2章 マルコフ決定過程 3章 ベルマン方程式 4章 動的計画法 5章 モンテカルロ法 6章 TD法 7章 ニューラルネットワークとQ学習 8章 DQN 9章 方策勾配法 参考文献 おわりに 記事一覧 1章 バンディット問題 真の期待値と推定期待値(標本平均)を計算してグラフで確認します。 www.anarchive-beta.com 簡単なスロットマシン(バンディット)とプレイヤー(エージェント)のクラスを実装して、バンディッ
ディープラーニングの先端技術、マルチモーダルの日本語モデルを作ってみた【日本語VL-T5】 - Qiita
要点 マルチモーダル深層学習って何？Vision-Language Modelって何？という方向けに、 Google Colabで実際に学習済みモデルを動かしながら技術概要を理解していただけるチュートリアル記事です。 マルチモーダルの時代が到来 この10年、ディープラーニングの登場により、画像の分類や、文章読解（日本語等の自然言語によるQA）などが高い精度で自動化できるようになりましたね。 しかし、画像は画像、自然言語は自然言語・・・と、それぞれに特化した手法の開発が中心で、それらが混在したマルチメディア（マルチモーダル）の問題へのチャレンジは少ない状況に長らくありました。マルチモーダルの重要性は人間の様々な知的判断の場面を思い返せば分かりますね。実課題解決において重要なAI技術分野といえます。 シングルモーダルが中心だった潮目はこの1年くらいで変わり、昨今、マルチモーダルな深層学習モデル
モデルベース解析 - 名古屋大学計算行動科学研究室
ここでは行動データのモデルベース解析に関する資料，ソースコードを公開します。資料の内容や，ソースコードは十分な検証ができていないものもあります。したがって内容やプログラムの動作については保証はできませんので，使用の際は各自の責任でお願いいたします。 このページの内容の一部をまとめ，加筆した本を出版しました→「行動データの計算論モデリング―強化学習モデルを例として―」(価格が高くてすみません)。この本が出せたのも，このページをご覧になって，エンカレッジしてくださった皆様のおかげです。ありがとうございます。このページもそのまま維持し，気づいた点は修正していきますが，最新の情報は上記の本のサポートサイトに掲載することが多くなりますので，そちらもご参照ください。 強化学習モデルを用いたモデルベース解析の基礎 強化学習モデルを用いたモデルベース解析についての解説です。基礎的な知識と，R, Pytho
【3目並べで学ぶ強化学習】Q-LearningとDQNを徹底解説
【3目並べで学ぶ強化学習】Q-LearningとDQNを徹底解説：Web解析にも使える！ 強化学習超入門（2）（1/2 ページ） 3目並べで強化学習を行うと、どうなるのだろうか。強化学習のアルゴリズムの一つである「Q-Learning」を説明しつつ、Q-LearningにDeep Learningを組み合わせた「Deep Q-Network」を使って、強化学習を実装する方法を紹介する。 【おわびと訂正：2020年5月13日19時 本稿のサンプルのソースコードは「ChainerRLで三目並べを深層強化学習（Double DQN）してみた - Qiita」を引用して一部改変させていただいたものでした。該当箇所で、その旨の記載を追加しております。引用元の著者様、ならびに関係者の皆さまにおわび申し上げます。】 昨今、多くのサービスで活用され注目を集めている「機械学習」。その中から、2016年3月に
ベイズ的最適化でパラメータチューニング - ニンゲンメモ
ブラックボックスな関数のパラメータを最適化するときに使えると噂のベイズ的最適化のアルゴリズムを実装してみたというはなし。 論文ザッと流し読んでサクッと実装しただけ。 こないだパラメータ６種類くらいあって適切な値の組を探したいみたいなことがあったのだけど、計算機パワーで６重forループ全探索して探すみたいな、ナイーヴのカタマリみたいなことをしていてツラかった。*1 ので、そういうときに使えるかも？なベイズ的最適化のアルゴリズムを実装してみた*2 ベイズ的最適化に関しては、こちらのご講演の動画が初心者にもわかりやすい印象。 www.youtube.com 実装してみたのは、動画で紹介されていた N. Srinivas, et al. Gaussian process optimization in the bandit setting: no regret and experimental d
これさえ読めばすぐに理解できる強化学習の導入と実践
強化学習の位置づけ 教師あり学習 教師なし学習 強化学習 強化学習の応用事例 Atariの攻略 AlphaGo ロボットの自動動作獲得 ファイナンスへの応用 広告配信の最適化 OpenAI Gymを使ってQ-learningを実装してみる 状態 行動 報酬 実装 参考文献 ディープラーニングなどの機械学習技術の進歩によって、過去のデータから学習する技術は大きく進化し、写真の中に写っている対象を認識することや病気の診断、多言語間の翻訳をする性能を著しく向上させることができました。 すでにその性能は専門的な教育を受けた人間の能力と同等 [1] か超えている分野もあるほどです。 一方で、人間にはデータを与えなくとも自ら経験から学び、スキルを上達させることができます。特に何も教えられなくとも、経験からゲームを攻略することやロボットの正しい動作の仕方を学んでいくことができます。 機械学習の中でも、こ
Sign in - Google Accounts
Not your computer? Use a private browsing window to sign in. Learn more
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Welcome! — SCOPE-RL
Haruka Kiyohara - 日本語
【強化学習入門】Pythonで実装しながら強化学習を学ぶ〜前編〜【機械学習】
強化学習100題
Multi-agent reinforcement learning for an uncertain world
Reinforcement Learning: Life is a Maze – Learning Machines