強化学習のマンカラ環境を作った話 - マルチエージェントRLライブラリ概観
初めに この記事は強化学習アドベントカレンダー 2021の記事として書かれたものです． 初めまして，qqhann です．筑波大で修士をしており，修了の瀬戸際です． 強化学習若手の会を知ったのは今年の初め頃だったと思います．Slack コミュニティに参加し，勉強会に参加してたまに質問させていただいたり，共有された記事を読んだりして，いつもためになっています．最近では，ゼロから作る Deep Learning 4 のオープンレビューをそこで知り，通読させていただきました．レビューするつもりで文章を読むと集中力が違うからか，理解も進むように感じますね．強化学習若手の会にせっかく参加しているので，そこでもいつまでも読み専門というのも良くないなと思い，記事を書くことにしました．初めての Zenn 記事でもあります． 今年の前半に，強化学習を動かせるマンカラ環境を作成し，公開しました． 当時は Ope
Apex Legendsによる文化的背景の違うユーザの交流に関する分析(#1)｜shimasan0x00
こんにちは，Shimasan(@shimasan0x00)です． 皆さんはApex Legends（エーペックスレジェンズ）遊んでますか？ 遊んでいなくてもどこかでその単語を目にすることがあることかと思います． この基本無料バトロワゲームを介して最近，顕著な変化が起きていると私は感じています． それは「APEX」を介した文化的背景の違うユーザの交流です． 最近，APEXをメインで配信している配信者やプロゲーマーがアイドル，漫画家やアーティスト，クリエイター，芸能人と共にプレイすることが各種配信サイトで確認することができます． 通常，これらの多様なユーザ(特に配信者)は特別なキッカケがなければ交流することが難しいと考えられます． 現在はそれらのユーザが「APEX」を介して交流する機会というのが増えています． さらにこの現象によってそれらのユーザに興味・関心を持つ一般的なユーザも違う分野のコミ
A3Cでテトリスを強化学習させてみた (失敗例その1) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 強化学習が流行っている昨今、自分も何か勉強せねばと思い、テトリスを強化学習で解かせてみることにしました。 強化学習というと、少し前に流行ったDQN、その後続いた研究成果の集大成であるA3Cの2種類が今まず学ぶべきものだろうということで、その2つを試しています。ただ、DQNではお話にならないくらい性能が出なかったのでわざわざ記事にはせず、思い出の中にしまいこみました。 一方、A3Cの方は多少「それっぽい」挙動を示し始めています。タイトルに「失敗例」としている通り、全然満足なレベルには到達していません。それでも、うちの妻曰く「何か考えている
ディープラーニングでファミコンの音楽を生成してみた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ひとり開発 Advent Calendar 2019 の16日目の記事です。 昨年に続いて参戦させていただいています。 （→ 昨年書いた記事1・記事2） 記事の概要 ディープラーニングを活用して、ファミコンの音楽の自動生成にチャレンジしました。 曲をタイミングセクションとメロディ・ハーモニーセクションの2つに分解して、生成するアプローチを考えました。 うまくいきません。助けてください。 できたもの ディープラーニングでファミコンの音楽を生成する実験です。https://t.co/3q8fZtIYtE — tanikawa (@diato
【論文】Bridging the Human–AI Knowledge Gap: Concept Discovery and Transfer in AlphaZeroを読む - TadaoYamaokaの開発日記
DeepMindがarXivで発表した、AlphaZeroからチェスの新しい概念を抽出して人間のパフォーマンス向上に使えるようにする方法について述べた「Bridging the Human-AI Knowledge Gap: Concept Discovery and Transfer in AlphaZero」を読んだ際のメモ。 概要 AlphaZeroから隠されたチェスの知識を概念として抽出する 概念は、AlphaZeroの中間層から概念ベクトルとして抽出する 人間が知らずAlphaZeroだけが知っていること発見する 学習可能かつ新規な概念を抽出する 人間のグランドマスターが概念を学習可能か検証した 結果 概念と局面を提示することで、チェスのグランドマスターのテスト局面の正解率が向上した AlphaZeroが学習した知識は、人間の理解を超えるものではなく学習可能な知識であることが示さ
HOG特徴量を用いたポケモンのアイコン画像判別 - Qiita
#目的 ポケモンの対戦ログツールは色々とあるんだけど、相手パーティの内容を自分で入力しないといけないのがかったるすぎるので自動で判別してくれるようなものを作りたかった。 HOG特徴量を使ってみたかった。 実装済みのものは記事の一番下に置いてあります。 ※今回のバージョンは偽トロキャプチャなどを使ってモニタなどに映された画面を対象としてます。 #HOG特徴量について HOG (Histgram Of Gradient) は画像中の輝度勾配の分布みたいな感じです。 輝度が大きく変化する場所を検出できるので、おおまかに言って画像のエッジ分布を取得できます。 ここの説明がわかりやすかった。 画像で表現すると、 こんな感じになります。 (画像の出典は琴葉姉妹 立ち絵素材(各30種)) 利用できるデータの背景色と判別対象となるゲーム画面での背景色が異なる ゲーム画面の方では位置によって背景色が異なる
Aligned Variational Autoencoder で麻雀の配牌を生成する - taijestのブログ
こんにちは。taijest です。 この記事は、Sansan Advent Calendar 2021 の 7日目の記事です。 はじめに 皆さんは、在宅期間なにをして過ごしていますか？ 私は、AbemaTV で放送されている麻雀リーグ「Mリーグ」にハマっています。 リーグ戦は、各チームの選手の獲得スコア合計で競い合い、一定の試合数を消化すると下位チームが脱落していくという仕組みです。 ある程度セオリーがありつつも、選手のスタイルや得点状況、チーム順位によって選択が変わってくるところがとても面白いです。 さて、麻雀の勝敗を決する大きな要素の一つとして、配牌があります。配牌とは、開局時に各選手に与えられる牌のことです。配牌は、早さ (どれだけ早くあがれそうか) や高さ (あがった時にどれだけ高い点数になりそうか) の観点から、その局の勝敗に大きく影響します。 本記事では、麻雀への理解を深めるた
カードゲームの強化学習 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに よく知られる碁の強化学習は「Alpha Go」があり、将棋やチェスにも対応した強化学習は「AlphaZero」とか「MuZero」がある。 オセロAIもDeepLearning的立ち位置からやられる事がある。（評価関数的AIの場合もある） ポーカー（テキサスホールデム）の強化学習は「Pluribus」、麻雀の強化学習は「Suphx」がある。 一方、コンピュータゲームではAtari(70,80年代のビデオゲーム機)のゲームをやるモデルに「Agent57」、「MuZero」、「R2D2」等がある。また、マリオの強化学習としてDQN
強化学習でスーパーマリオをクリアする - Qiita
https://vigne-cla.com/3-4/ の記事によると人口知能の学習に使えるスーパーマリオの環境は Kautenjaさんが作成したgym_super_mario_brosと ppaquetteさんが作成したppaquette_gym_super_mario がある。 ここではppaquette_gym_super_marioを使用している https://qiita.com/tsunaki/items/ec2556dc147c6d263b9d のコードを使用させていただき、スーパーマリオの強化学習を進めていきます。 （tsunaki様、こちらのページありがとうございます） ##基本情報 環境はgymをベースにしている。 gymの情報： https://github.com/openai/gym/blob/master/README.rst 画面データはもともと256x224で
感想「深層強化学習による東方AI」 – @knok blog
能登さんが発行された技術系同人誌、「深層強化学習による東方AI」のダウンロード版を入手したので読みました。BoothとGumroadで販売されているおり、特に理由はありませんがGumroadで購入しました。 第13回 博麗神社例大祭で頒布した『深層強化学習による東方AI』のダウンロード版をBooth https://t.co/ZysBlu7LY4 およびGumroad https://t.co/HtgRa44sr6 にて販売しています． pic.twitter.com/7rDT2qG9uq — 何もわからん (@ntddk) 2016年5月8日 東方紺珠伝というシューティングゲームを、深層機械学習によってクリアさせようというものです。 この種の話でまず思い浮かぶのが、八重樫さんによるvArashiです。Linux Conference 2002にて発表された資料(PDF)もあります。今にな
【Unity ML-Agents】 Self-Play Reinforcement Learningで対戦ゲームのAIを作ってみた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Atari 2600 Gamesの攻略を発端として有名となった強化学習ですが，ここ数年で プレイヤーが複数人いるゲームのための強化学習の研究も盛んに行われています．Self-Play Reinforcement Learning (Self-Play RL) はマルチプレイのゲームの学習にしばしば用いられる学習方法であり，囲碁やDota 2のAI開発に使われたことで注目を浴びました． 今回は，Unityによる自作の対戦ゲームのAIをSelf-Play RLによって作成してみようと思います． Self-Play Reinforc
コンピュータ将棋でDeep Learningごっこしてみたまとめ - Qiita
コンピュータ将棋を題材にdeepなニューラルネットを自作して遊んでみた結果得られたノウハウのメモ。 Deep Learningはfeature engineeringしてくれない まあ当たり前の話ですが、「画像や囲碁にDCNNというモデルがとても効果的だった」＋「DCNNへの入力は従来より雑なfeature (ほぼ生の情報やそれ＋α)で大丈夫だった」というだけの話で、feature engineeringやネットワークの設計は結局のところ問題に特化して考えないといけないよね、という話。 少なくとも将棋の駒の配置だけを入力にして全結合層をたくさん並べただけでは、現実的な中間層の大きさでは全然予測性能が出ませんでした。 将棋の場合線形性が強いのでdeepである必要はあんまり無さそうに思えます。 全結合よりはDCNNの方がちょっとマシっぽいですが、それにしても3駒に匹敵するようなことにはならなそ
ML-Agentsで模倣学習（GAIL）を取り入れた強化学習を行う - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 要約 コンセプト：報酬がスパースな環境だとエージェントが報酬に辿り着けず、学習が進まない・・ので模倣学習で人間が手本を見せる UnityのML-Agentsで強化学習＋模倣学習（GAIL）をする手順の紹介 はじめに Unityでは、ML-Agentsというライブラリを使うことで機械学習を行うことができます。ML-Agentsは特に強化学習（Reinforcement learning）を容易に行うことが可能であり、Unityエディタ上で容易に環境を構築、スクリプトで報酬の設定等を行うこともできます。 ですが、ゲームにおいて強化学習でうま
【強化学習】DreamerV3を解説・実装 - Qiita
この記事は自作している強化学習フレームワークの解説記事です。 前：Dreamer2 DreamerV3の概要 DreamerV3は、極めて難しいタスクとして知られる Minecraft のダイヤモンド収集タスクを初めてゼロから解いたアルゴリズムとして話題になりました。 論文での内容としては大きく以下となります。 出来るだけパラメータを固定し幅広い環境で好成績を収めた Minecraftのダイヤモンド収集タスクが実行可能な初めてのアルゴリズム モデルが大きいほど性能が良くなる事実を発見した 参考 ・Mastering Diverse Domains through World Models(論文) ・コード(github) ・Minecraftでダイヤモンド初収集！世界モデル最新手法 DreamerV3 を解説【無料記事】 さまざまな環境への適応とMinecraftのタスク 以下の図は様々な
対戦パズルゲーム「ゴドマチ」で理解する組み合わせゲーム理論とグランディ数 - アジマティクス
チェスも、将棋も、囲碁も、コンピューターが人間に勝利して久しいですが、「コンピューター」つまり「計算機」というからには、それぞれのゲームに対して何らかの「計算」をして、一つ一つの手を指しているわけです。 メディアではよくコンピューター将棋などについて華々しく紹介されるけれども、じゃあ実際にそれらがどういう計算をしているのか？ということについては何も知らないという人がほとんどじゃないかと思います。 今回はそんなゲームのコンピューター対戦につながる初歩の初歩、ゲームを「計算する」とはどういうことなのか、というお話です。 この記事は、「数学ゲーム Advent Calendar 2018」20日目の記事です。 ゴドマチ 「ゴドマチ」という対戦パズルゲームがあります。略さず言うと「合同を待ちながら」。はい。そういうことです。 考案者の方によるルール解説はこちら↓ j344.exblog.jp ゴド
KerasでQ学習 - Qiita
KerasでQ学習してみました。今回は畳み込みをしない全結合のニューラル・ネットワークを利用して学習しています。こんな感じ。 Ｑ学習を手軽に試すことの出来るレポジトリが公開されています。 farizrahman4u/qlearning4k - GitHub こちらを一部改変してみました。ゲームのグリッドサイズを8x8サイズに変更し、学習モデルを保存・再生出来るようにしています。ゲームの実行画面はmatplotlibのアニメーションメソッドを利用して可視化出来るようにしてみました。 サンプルは以下のレポジトリにあります。 PonDad/qgakusyuu4k - GitHub train_catch.pyで学習後play_catch.pyで実行することが出来ます。さて、中身をみていきます。 環境 Python 3.5.2 tensorflow(0.12.0) GPU keras(1.2.1)
強化学習で目指すF-ZERO王者（前編） - Qiita
できたもの（途中経過） F-ZEROのコースをsegmentationする深層学習モデルをJetson Nano上で動かしています．480x288，30FPSで処理できています． Realtime "F-ZERO" course segmentation model is running on Jetson Nano. It is part of "gaming AI making challenge" as my personal work.#jetson #nvidia pic.twitter.com/AYCqE75JbG — nobu_e753 (@nobu_e753) September 27, 2019 キャプチャしたものはこちら（キャプチャの過程で負荷がかかり，レートが落ちています） Realtime "F-ZERO" course segmentation model is
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Learning in games: ゲーム理論とオンライン学習
機械学習を用いたポケモン対戦選出予測
不正検知を可能とする弱教師あり学習手法「DevNet」の紹介 〜膨大なデータに潜む異常を最小限のラベリングで見つける技術〜