AlphaGo Zeroの論文を読む その4(自己対局) - TadaoYamaokaの開発日記
その3の続き 自己対局パイプライン 自己対局パイプラインは、3つの主要な部分から構成される。 最適化 評価 自己対局 これらは並行で実行される。 最適化 ミニバッチサイズ：2,048 (32バッチずつ別々のGPUで実行) ミニバッチデータは直近50万の自己対局のすべての局面からランダムでサンプリング モーメントありのSGDで最適化(モメンタムパラメータ=0.9) 学習率は以下の通り徐々に下げる 1000ステップ 学習率 0-400 400-600 >600 損失関数には、policyの交差エントロピーとvalueの平均二乗誤差の和を使用 policyの交差エントロピーとvalueの平均二乗誤差は等しく重み付けする L2正則化を行う(c=) 損失関数を式にすると以下の通り zは勝敗(-1,1)、vはvalue、はモンテカルロ木探索で求めた局面の遷移確率、はpolicyの遷移確率、はネットワー
グーグルもフェイスブックもAI碁に夢中
米Googleと米Facebookによる「AI（人工知能）囲碁」を巡る勝負で、まずはGoogleが先勝した。両社は2016年1月27日（米国時間）、AI囲碁プログラムに関する論文をそれぞれ発表。「ディープラーニング（深層学習）」を採用する点は共通するが、プロ棋士に勝利したGoogleがFacebookをリードしている。 GoogleのAI研究部門であるDeepMindは27日、英「Nature」誌に「Mastering the game of Go with deep neural networks and tree search」という論文を発表し、同社が「AlphaGo」というAI囲碁プログラムを開発したことや、AlphaGoが2015年10月に囲碁のヨーロッパチャンピオンであるFan Hui氏（プロ2段）と5回対戦し、全勝したことを発表した。Facebookも同日「Better Co
Googleが出した囲碁ソフト「AlphaGo」の論文を翻訳して解説してみる。 - 7rpn’s blog: うわああああな日常
就活も無事終わったので，一番やりたかったAlphaGoの論文を翻訳しました。 ご存知の通り，長らく世界最強だった囲碁棋士イ・セドル九段を破ったGoogleの囲碁プログラムです。 論文の内容に触れつつ何となく解説入れていきたいと思います。なるべく囲碁やDeepLearningを知らない初心者の人とかでも仕組みを理解できるように分かりやすく書いていければいいなと思います。 原題は"Mastering the game of Go with deep neural networks and tree search"。 とりあえず最初の要約の訳から。 謎の単語とかは後から説明入れるので，さらっと流し読みしていただければ。 囲碁はこれまでAIにとってとても難しいゲームだとみなされてきた。それは探索範囲がとても広いことと，盤面の評価が難しいため。 この論文では，コンピュータを用いた囲碁の新しいアプロー
《日経Robo》AlphaGo：CNNと強化学習を組み合わせたコンピュータ囲碁
AlphaGoはニューラルネットワークを使い、強化学習を使って学習することで盤面評価を正確に行う1）。入力を19×19（盤面全体）の画像とみなし、前号で紹介したCNN（畳み込みニューラルネット）を利用し、盤面を表現した上で、次の手予測や盤面評価を行う。 AlphaGoは次の4種類のネットワークを学習し、利用する。 強い人による次の手を予測する、正確だが遅いネットワーク pσ 強い人による次の手を予測する、不正確だが高速なネットワーク pπ 盤面が与えられた時、最も勝つ可能性の高い手を予測するネットワーク pρ 盤面が与えられた時、どちらが勝つかを予測するネットワーク vθ 教師あり学習や強化学習を活用 これらのネットワークをどのように学習するかを順に説明する。 はじめに、強い棋士の指し手をまねるように次の手を予測するニューラルネットワークpσを作る。この学習には、オンライン囲碁サイトKGS
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
