東京大学 松尾研究室が主催する深層強化学習サマースクールの講義で今井が使用した資料の公開版です． 強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムまで解説しています．巻末には強化学習を勉強するにあたって有用な他資料への案内も載せました． 主に以下のような強化学習の概念やアルゴリズムの紹介をしています． ・マルコフ決定過程 ・ベルマン方程式 ・モデルフリー強化学習 ・モデルベース強化学習 ・TD学習 ・Q学習 ・SARSA ・適格度トレース ・関数近似 ・方策勾配法 ・方策勾配定理 ・DPG ・DDPG ・TRPO ・PPO ・SAC ・Actor-Critic ・DQN（Deep Q-Network） ・経験再生 ・Double DQN ・Prioritized Experience Replay ・Dueling Network ・Categorical DQN ・Nois

はじめに twitter:@yukky_saito ROS C++のチュートリアルが終わって自分でノードが作成できる人（中級者）向けの記事になります。 ROSを触っている人でチュートリアルの内部がどうのように動いているかを理解している人は少ないように思います。また、内部動作を知らなければadvertise・subscribeメソッド時に指定するバッファサイズがどのような意味を持っているのかわかりません。 ros::Publisher chatter_pub = n.advertise<std_msgs::String>("chatter", 1000); ros::Subscriber sub = n.subscribe("chatter", 1000, chatterCallback); PublisherとSubscriberの内部動作を説明し、どのようなバッファサイズがどのように影響

ABEJAでリサーチャーをしています高橋です。 昨今 deep learning 界隈では Generative Adversarial Net(GAN) が流行っていて、世はまさにガンガン行こうぜ時代ですね。 GAN を用いると綺麗な絵が作成できたり二つの絵の中間のような絵を生成できたりします。例えばこの論文のような感じです。このように GAN は有用なモデルである一方、最近の GAN では急によくわからない式が出てきたりするので、勉強も兼ねて「一日一GAN」をやってみました。今回読んだ論文のリストは以下です。 EBGAN (https://arxiv.org/abs/1609.03126 ) WGAN (https://arxiv.org/abs/1701.07875) LSGAN (https://arxiv.org/abs/1611.04076) f-GAN (https://ar

去年書いたSoftwareDesignを題材にお話してください！って言われたので話してきました。 下の特集記事は１年経った今も現役で読める内容なので興味がある人はぜひ読んでみてください。 またRDBアンチパターンという連載をしていますのでこちらもあわせてご確認くださいっ！ gihyo.jp そして当日の資料はこちらです。 SoftwareDesignにしっかりとMySQLとPostgreSQLの違いについては触れているのでそこでは触れていない、ハマりどころや初めて両方のDBを知ったと言う人向けのカジュアルは部分を攻めました。 またDBだけの勉強会ですので普段説明するようなところは省略し、できるだけ経験談やコアの話に注力したつもりです。 このへんは資料に含まれて居ないので当日居た人たちだけの特典ですね！！ ということで実は今月は登壇3週連続だったのですが一段落しました。 来週はAWS Sum

ここは倉本圭造（経営コンサルタント・経済思想家）のブログです。詳細な自己紹介等はウェブサイトへどうぞ→コチラ https://www.youtube.com/watch?v=BmYv8XGl-YU （アイキャッチ画像はウィキペディアからお借りしました） 今朝ツイッターを眺めていたら、フェイスブック創業者マーク・ザッカーバーグが母校ハーバード大学の卒業式に呼ばれてスピーチしてる動画のリンクが流れてきて、軽い気持ちで再生しはじめたら凄い迫力で、３０分以上のスピーチ最後まで全部見てしまったってことがあった。 結構笑えるジョーク（窓ガラスに数式書いたりしないよ！・・・とかいう映画”ソーシャルネットワーク”を根に持ってるようなジョークとか）やハーバード内輪ネタ（と思われる・・・ちょっとググると出て来るのが今の時代の救いですが）も交えつつ、卒業生と１０歳も離れてない立場から”僕ら世代の責任”という切り

多脚で動き回るロボットと言えば、攻殻機動隊のフチコマやタチコマが真っ先に思い浮かんでしまうわけだが、いよいよそんな時代が到来するのかもしれない。 ノルウェーのエンジニア、ゼンタ 氏が、3Dプリンターで出力されたボディーに18個のモーターを取り付けた6脚ロボット “MX-Phoenix”の動作テストの様子が公開されていたのだが、その動きがかなりクモに近い動きをしており、わりとマジでセクシーだ。 蜘蛛が苦手な人はちょっと注意が必要なくらいの仕上がりとなっている。これにAI搭載したら結構すごいことになるぞ。 MX-Phoenix hexapod robot outdoor part II SF世界に出てくるようなクモ型ロボットみたい 脚が2本足りなくはあるが、ロボットの動きは実際のクモウォークに似ている。6本の脚はそれぞれ独立して動かすこともできるが、歩き回る際には見事に連携している。安定性は抜

Twitterに投稿された「うさぎ脱走の瞬間」が話題になっています。動画を投稿したのあ（@noa_liam）さんによると、これまでにも2～3回脱走したことがありましたが、脱走する瞬間を目撃したのは今回が初めてだったとのこと。その姿はまるで液体のよう。こんな小さな穴でも抜けられるなんて……！ 一見何の変哲もないケージの前にたたずむうさちゃんが…… ！？ 一瞬のうちに脱走成功 脱走時間はわずか2秒、まるで瞬間移動したかのような脱走劇です。動画を見た人からは「プリズンブレイク」「なん……だと……」といった驚きの声や、「うちのうさぎもよく脱走します」「うちのうさちゃんはケージの上に飛び乗れるようになりひやひやしています」と脱走するうさちゃんの様子を共有するつぶやきも多く見られました。なお、現在は既に脱走対策をとってあるそうです。 （あゆみん） 関連キーワード 動画 | Twitter advert

（ＣＮＮ） 地球上で最も強度が高い物質とみられている２次元の極薄炭素シート、「グラフェン」の発見から１５年。グラフェンは鉄よりもはるかに強度が高いが、建築資材として有用な３次元の物質に転換するのは至難の業とされてきた。 米マサチューセッツ工科大学（ＭＩＴ）の研究チームの発見により、こうした状況が変わるかもしれない。 ＭＩＴの研究者らはコンピューターモデルを活用し、新物質の構成に成功。鉄のわずか５％の密度でその１０倍ほどの強度を持ったスポンジ状の構造を作り出した。新物質はこれにより、非常に軽量でありながら大きな重量を積載できるようになった。 開発に携わったＭＩＴのチャオ・チン氏は「橋のようなインフラで使用される多くの物質や、鉄やコンクリートに代わるものとしてこの種の物質を使うことができる」と指摘する。 グラフェンは２００２年、英マンチェスター大学のアンドレ・ガイム教授により発見された。 同氏