DeepMindから発表された画像から描き方を生成する強化学習システム「SPIRAL」[1]をChainerRLを用いて実装した. 実装はGitHubレポジトリで公開している. SPIRALとは SPIRALは絵の画像から描き方を生成するためのシステムである. 画像生成といえばDeep Convolutional Generative Adversarial Network(DCGAN [2])が主な手法だが,DCGANはラスター画像を生成するのに対して,SPIRALは時系列の描画行動,つまりベクター形式で画像を生成することができる. ベクター形式の画像はラスター形式とは異なり特定の線を取り除くといった編集を簡単に行うことができる. ベクター画像を生成するモデルとしてはSketch-rnn [3]があるが,このモデルは学習に描画過程,つまりベクター形式のデータが大量に必要になる. これらに