強化学習 - 星の本棚
機械学習の一種である強化学習について勉強したことをまとめたノート（忘備録）です。 尚、ここで取り上げている各種強化学習手法の一部の手法の実装コードは、以下のレポジトリに保管してあります。 github.com 目次 [Contents] 強化学習のモデル化 エージェントと環境の相互作用 環境のマルコフ性 エピソード的タスクと連続タスク マルコフ決定過程（MDP） 価値関数 状態価値関数 行動価値関数 状態価値関数と行動価値関数の関係 ベルマン方程式 ベルマン最適方程式とグリーディーな選択 代表的な古典的強化学習手法の比較 強化学習における動的計画法（DP法） 反復法による近似解 方策評価 反復方策評価 方策改善 方策改善定理 方策改善定理とグリーディー方策 方策改善のアルゴリズム 方策反復法 [policy iteration] 価値反復法 [value iteration] 一般化方策反
GitHubで公開されてるipynbファイルをGoogle Colaboratoryで開くブックマークレット
B! 36 0 0 0 GitHubで公開されているJupyter Notebookのファイルは ファイルのURLをちょっと変えるだけで直接Google Colaboratoryで開くことができます。 そのちょっと変えることをやるブックマークレットを用意しました。 Bookmarklet for GitHub to Colaboratory Bookmarklet for GitHub to Colaboratory 以下のリンクをブラウザのブックマークツールバーなどに持っていって ブックマークレット化してください。 GitHub to Colaboratory それで例えば最近公開された 東京大学の松尾研究室のDL4USのノート https://github.com/matsuolab-edu/dl4us/blob/master/lesson0/lesson0_exercise.ipyn
Goを使いこなせる組織作りの取り組み / DeNA.go #1
https://dena.connpass.com/event/128034/
Ruby3で導入される静的型チェッカーのしくみ まつもとゆきひろ氏がRubyKaigi 2019で語ったこと - Part1
2019年4月18日から20日にかけて、福岡国際会議場にて「RubyKaigi 2019」が開催されました。2006年から毎年開催され、今回で13回目を迎えるRubyKaigi。世界中からRubyコミッターを始めとした第一人者が集い、最新の情報や知見を共有します。基調講演「The Year of Concurrency」に登場したのは、Rubyの生みの親であるまつもとゆきひろ氏。Rubyのこれまでとこれからについて語りました。動画はこちら The Year of Concurrency まつもとゆきひろ 氏（以下、まつもと）：おはようございます。私は九州の生まれではないんですが、福岡県がRubyのことをたくさん支援してくれているので、だいたい2ヵ月に1回くらいこっちに来ています。なので、だいぶ福岡は近いイメージがあるんですけど。 今日は、Ruby3の話をしようと思ってやってきました。Rub
マイクロソフト、ファーウェイからの新規受注を停止：朝日新聞デジタル
米ＩＴ大手マイクロソフトが華為技術（ファーウェイ）からの新規受注を停止したと香港紙サウスチャイナ・モーニングポスト（電子版）が２４日、消息筋の話として報じた。 マイクロソフトはノートパソコンの基本ソフト（ＯＳ）とコンテンツ関係のサービスを停止。同社のサービスチームは、華為の広東省深圳市の本社から退去したという。ただ、華為の既存のパソコンには影響がなく、セキュリティー保護と更新を受けられるという。 これに先立ち、中国メディアは華為の余承東・常務取締役が「引き続きグーグルやマイクロソフト（のＯＳ）を使いたいが、どうにもならない」と表明したと報じており、マイクロソフトの受注停止を示唆していた。（北京＝福田直之）
MLflow 〜これで機械学習のモデル管理から API 作成まで楽にできるかも〜 - Qiita
※下記に 1.0.0 版の記事書きました MLflow 1.0 リリース！機械学習ライフサイクルを始めよう！ - Qiita はじめに 機械学習をサービスとして運用するには以下のステップが必要となるのではないでしょうか。 （ちなみに仕事できかいがくしゅうしたことないので下記の 99 割は根拠無いです ） 要件定義 目的や目標値の確認 「機械学習のスコアが高い」と「要件を満たす」は等価じゃないことに注意 どう提供するのか 入力値がわかりきっているなら、夜間バッチで全通り予測するとか とはいえ大抵分からないから随時入力を受け取ったら予測するようにしたいのです API としてアプリケーションサーバーから呼ぶ ← 今回想定していること データの分析 EDA（探索的データ分析）ともいう 困ったら最低下記だけでもやれば良い気がしてます 【Pythonメモ】pandas-profilingが探索的データ
【開発を効率化しよう】Reactで実践！Schematics - Qiita
schematicsを使っていつもの作業を効率化しよう! Reactのコンポーネント、テスト、ストーリーブックの作成をスキャッフォルドしてみた! 自己紹介 名前: 福田京平 github: hand-dot twitter: hand_dot よろしくお願いします！ はじめに Angular CLIで利用されているSchematics を使って、いつもの作業をいい感じに効率化できたので紹介させていただきます。 Angular CLIはこんな感じのやつです!使ったことある人は多いのではないでしょうか？ $ ng g component my-hero installing component create src/app/my-hero/my-hero.component.css create src/app/my-hero/my-hero.component.html create src
中国政府、Google、Facebook、YouTube等だけでなく全言語のWikipediaをブロック : 痛いニュース(ﾉ∀`)
中国政府、Google、Facebook、YouTube等だけでなく全言語のWikipediaをブロック 1 名前：サーバル ★：2019/05/24(金) 20:53:23.14 ID:HH33FTZD9 中国がついに全言語のWikipediaへのアクセスを遮断へ 中国政府はGoogleやFacebookなどへのアクセス規制や、ネット掲示板の書き込みに対する実名登録の義務づけなど、インターネット上の厳しい検閲を行っています。中国から中国語版Wikipediaへのアクセスは過去にも何度か封鎖されていますが、今回行われた規制では中国語版に限らず、全言語のWikipediaへのアクセスが遮断されました。 インターネット検閲に関する調査団体であるOpen Observatory of Network Interference(OONI)は2019年4月25日、中国国内から全言語のWikipedi
アニメーションで学ぶtmux入門 ～精選10機能～ - Qiita
はじめに 本記事では tmux の使い方を学ぶために、コマンドとキーだけではなく GIF画像によるアニメーション を利用し、使い方をイメージしやすいようにしました。 tmux とは tmux は端末多重接続ソフトウェアで、下記のような特徴があります。 仮想端末がセッションで管理されているため、接続端末と通信が切れても作業を復旧することができる 仮想端末のデタッチ（切り離し）、アタッチ（再接続）ができる 1つの端末で複数の擬似端末を起動することができる 仮想端末の画面を分割して使用することができる キーだけでコピー＆ペーストができる 本記事の構成 本記事の構成は下記の通りです。 章 章名 内容
多摩エリアのローカルめしだった「すた丼」は、なぜ世界のSTADONになりえたのか【スピリット継承】 - メシ通 | ホットペッパーグルメ
街中で、威勢のいい筆文字のロゴに豚肉が山と盛られた丼飯の写真を掲げたこの看板を見かけたことがある人もいるかと思う。 厳選された豚肉を「秘伝のニンニク醤油ダレ」で炒めたボリューム満点の丼、それが“すた丼”だ。 名前から察せられるように、スタミナ丼の略。 全国にはニンニクやあんかけを丼やラーメンにしたスタミナメニューが多く存在するが、このすた丼は国立（くにたち）や国分寺など主に東京多摩地区の中央線沿線で長年親しまれた、ご当地グルメともいうべきソウルフード。しかもそれが今や日本はおろか海外にも展開する料理となっている。 牛丼やカツ丼などに代表されるどんぶりめしのチェーンが全国津々浦々に展開し、気軽に食べられる存在となっている中で、すた丼は一線を画す。 注文が入ってから鍋で炒めるため、どうしてもある程度の時間がかかってしまうものの、その分手作り感があることと、できたてを食べることができる。 湯気と
立ち食いそば屋だけど人気は “佐野ラーメン”『駅そば大宮』のメニューが普通じゃない理由 / 立ち食いそば放浪記：第165回
» 立ち食いそば屋だけど人気は “佐野ラーメン”『駅そば大宮』のメニューが普通じゃない理由 / 立ち食いそば放浪記：第165回 特集 時は金なりな現代社会。乗り換えの隙にツルッと食べられる駅そばは忙しい人にとっての強い味方だ。早い・安い・定番メニュー、駅そばと言えばこれだが、ちょっとおかしなことになっている店を発見した。 それは先日のこと。大宮駅にある立ち食いそば屋『駅そば大宮』に立ち寄ったところ、メニューに大きくこう書かれていたのである。「人気商品 佐野ラーメン（税込500円）」と！ え？ ここ、そば屋だよね？ ・漂うガチ感 佐野ラーメンと言えば栃木を代表するご当地ラーメンである。メニューにラーメンがある立ち食いそば屋は珍しくないが、佐野ラーメンとなるとどうだろうか？ しかも、ここは埼玉である。謎が謎を呼ぶ。 だが、醤油ラーメンとは別に佐野ラーメンが存在するところにかなりガチっぽい空気感
C# で、同じソースコードから常に同じバイナリを生成する
昔、gist にだけ置いてて、そういえばブログに書いてなかったものを思い出したので書いておくことに。 (一応、部分的には言及したことがあるんですけど、ちゃんとした話はしたことがなかったはず。) 決定論的ビルド 3年くらい前まで、C# コードをコンパイルすると、ソースコードを一切書き換えていなくても、生成結果の exe/dll や pdb のバイナリが変化していました(決定性(deteminism)がない)。 原因は以下の2つです。 バイナリ中に埋め込まれる GUID にタイムスタンプと乱数から生成される値を使っていた デバッグ用のファイル情報がフルパスで埋め込まれていた GUID の方はタイムスタンプと乱数なので本当に致命的で、ローカルで再コンパイルしても毎回バイナリが変化していました。 フルパスの方は基本的には pdb (デバッグ用シンボル情報)だけの問題なんですが、 exe/dll で
青いウィル・スミス!? 実写版ジーニーが叶えた『アラジン』ファンからの“3つの願い”とは？
実写映画『アラジン』の公開に先立ち、5月17日(金)にTOHOシネマズ六本木ヒルズにて日本最速試写会が行われました。 試写会後のイベントでは、ランプの魔人・ジーニー役を務めたウィル・スミスさんが登壇！ この記事では、試写会後のイベントの様子をご紹介していきます。 『アラジン』のジーニーそのまま!? ウィル・スミスのファンサービスがすごい （C）2019 Disney Enterprises, Inc. All Rights Reserved. 「イエーイ！ミナサン、コンバンワ」とご機嫌に登場し、客席を自由自在に駆け抜けながらハイタッチのファンサービス！ 大盛り上がりの中イベントがスタートしました。 「『アラジン』は自分のキャリアの中でも特別なものだったから、この作品で東京に来られて本当にハッピーだよ。歌って、踊って、コメディーして…30年間俳優をやってきてその経験を全部使うことができたんだ
東京都心にハクビシンか 東銀座駅で駅員が捕獲 | NHKニュース
東京都心に珍しい動物が現れました。24日夜、東京メトロ東銀座駅でハクビシンとみられる動物が走り回り、その後、駅員によって捕獲されました。 この動物はジャコウネコ科のハクビシンとみられ、駅員が捕獲したあと、通報を受けて駆けつけた警察官に引き渡されました。 警視庁によりますと、駅員が手をかまれて軽いけがをしたということです。 仕事帰りに目撃したという30代の女性は「シュッとした顔つきで、鼻が長く白い線が入っていたので、ハクビシンだと思います。エスカレーターを上ったり下りたりしていて、駅員がエスカレーターを止めて捕獲しようとすると、駅の構内に入って逃げてしまいました。こんな場所に動物が現れて驚きました」と話していました。 ハクビシンはもともと中国や東南アジアなどで生息していましたが、日本各地でも確認されていて、捕獲されたものは警察官が東京郊外まで運んで山の中で放すということです。 ハクビシンは、
ハリウッド実写版『AKIRA』2021年5月、ついに米国公開決定 ─ 『マイティ・ソー バトルロイヤル』タイカ・ワイティティ監督、正式に就任発表 | THE RIVER
ハリウッド実写版『AKIRA』2021年5月、ついに米国公開決定 ─ 『マイティ・ソー バトルロイヤル』タイカ・ワイティティ監督、正式に就任発表 Photo by Rodrigo Kore https://www.flickr.com/photos/opk/86104140/ 大友克洋の同名傑作漫画をハリウッドが実写化する、映画『AKIRA（原題）』が、2021年5月21日に米国公開されることがわかった。製作を担当する米ワーナー・ブラザースが発表した。 また、このたび『マイティ・ソー バトルロイヤル』（2017）のタイカ・ワイティティが監督に就任したことも告知されている。2017年9月、本作の契約交渉に入ったと伝えられてから、実に1年8か月が経過しての正式アナウンスとなった。 Photo by Gage Skidmore https://www.flickr.com/photos/gage
EU離脱劇で混迷のブリカス、メイ首相まで匙を投げてさらなる混沌へ : 市況かぶ全力２階建
ジー・スリー(旧コネクト)、西村浩社長が別会社(上海電力のステルス参入問題に登場した伸和工業）においてやらかした脱税の疑いで逮捕された件でお詫び
News Up “悪い世界に憧れていた” | NHKニュース
「女性を“モノ”としか見ていなかったですね」――京都 祇園の元スカウトは当時の心境を尋ねる私の質問に淡々と答えました。街で声をかけた女性たちを風俗店にあっせんしていたとして、学生スカウトグループが摘発された事件。スカウトたちは女性の恋愛感情を利用し、半ば“洗脳”して彼女たちを夜の世界に送り込んでいました。取材で見えてきたのは学生スカウトたちの上昇志向と、“悪い世界への憧れ”でした。 （京都放送局記者 吉田篤二） ことし１月、京都 祇園で暗躍していた学生スカウトグループが警察に摘発されました。女性たちを風俗店にあっせんしたとして職業安定法違反の罪に問われ、現在進められている裁判では全員が起訴された内容を認めています。 警察によるとスカウトたちは若い女性たちに声をかけて拠点にしていた祇園のバーに誘い込み、高額な酒をツケで注文させていました。そして高額な借金を抱えた女性たちを大阪や滋賀など、関西
インフラエンジニアとしてなんとなく役立っていそうな書籍をリストアップする - Qiita
2019/5/26 はてブで話題になっていたので慌ててアップデート、Docker実践ガイド 第2版が発売されていたので追記&修正しました。 はじめに 本投稿はRecruit Engineers その2 Advent Calendar 2018の5日目の投稿です。 そもそものきっかけ Rancher もくもく勉強＆相談会 #02にて、現代的なインフラエンジニアとして どのようなことを勉強したらよいかという相談を受けたので、書籍ベースで改めて考えてみました。 ”どんな本でしたか”くらいしかまとめてないです。そのまとめも私の完全な主観である点はご注意ください。 筆者は何者？ Web系の会社でインフラエンジニアをやっています。 パブリッククラウドやコンテナ系の技術をベースに先進アーキテクチャの装着みたいな役割で 新規サービスを中心にインフラアーキテクトみたいなお仕事をやっています。 具体的には、ア
『日本人は集団主義的』という通説は誤り | 東京大学
1．タイトル： 「日本人は集団主義的」という通説は誤り 2．発表概要： 日本人論では、長らく「日本人は集団主義的だ」と言われてきた。現在では、「集団主義」は、「日本人」の基本的なイメージになっている。 ところが、この通説が事実なのかどうかを確認するために、心理学、言語学、経済学、教育学などにおける実証的な研究を調べたところ、日本人は、欧米人より集団主義的だとは言えないことが明らかになった。また、「日本人は集団主義的だ」と広く信じられているという現状は、人間の思考を歪める心理的なバイアスによって作りだされたものであることも明らかになった。 3．発表内容： 日本人論（あるいは、日本文化論）では、「個人主義的な欧米人と比べると、日本人は集団主義的だ」と言われてきた。「集団主義的な日本人」は、日本人自身にとっての最もポピュラーな自画像であるだけでなく、現在では、外国人にとっても「日本人」の基本的な
「モアイ」は終了しました
モーニング・アフタヌーン・イブニング合同Webコミックサイト「モアイ」は終了しました。 「コミックDAYS」「モーニング公式サイト」「アフタヌーン公式サイト」をご利用ください。
首相官邸 on Twitter: "４）これらの報道にある漢字の読み間違いなどは、ありません。"
４）これらの報道にある漢字の読み間違いなどは、ありません。
「笑い男」事件は実現可能か 「攻殻機動隊 S.A.C.」好きの官僚が解説
連載：アニメに潜むサイバー攻撃 サイバー攻撃は、時代に合わせ、攻撃の対象や手口が変化してきました。しかし近未来の世界、最新技術へのセキュリティ対策はイメージしにくい部分もあります。そこで、そう遠くない未来、現実化しそうなアニメのワンシーンをヒントに、セキュリティにもアニメにも詳しい内閣サイバーセキュリティセンター（NISC）の文月涼さん（上席サイバーセキュリティ分析官）が対策を解説します。第6回のテーマは「攻殻機動隊 STAND ALONE COMPLEX」です。 文月（以下F）： 前回の連載から、ずいぶんと間が空いてしまいましたね。 ITmedia NEWS編集K： ぷんぷん。連載すっぽかして、何していたんですか？ F： 毎年2月1日～3月18日は「サイバーセキュリティ月間」で、その期間は忙しいですし、そうでなくても今年はもう一冊、中小企業向けの「情報セキュリティハンドブック」を作ってい
「生活保護で大学進学なんてゼイタク」本音を包み隠す厚労官僚の“良識”
1963年、福岡市長浜生まれ。1990年、東京理科大学大学院修士課程（物理学専攻）修了後、電機メーカで半導体デバイスの研究・開発に10年間従事。在職中より執筆活動を開始、2000年より著述業に専念。主な守備範囲はコンピュータ全般。2004年、運動障害が発生（2007年に障害認定）したことから、社会保障・社会福祉に問題意識を向けはじめた。現在は電動車椅子を使用。東京23区西端近く、農園や竹やぶに囲まれた地域で、1匹の高齢猫と暮らす。日常雑記ブログはこちら。 生活保護のリアル～私たちの明日は？ みわよしこ 生活保護当事者の増加、不正受給の社会問題化などをきっかけに生活保護制度自体の見直しが本格化している。本連載では、生活保護という制度・その周辺の人々の素顔を紹介しながら、制度そのものの解説。生活保護と貧困と常に隣り合わせにある人々の「ありのまま」の姿を紹介してゆく。 バックナンバー一覧 厚労官
安倍首相主催「桜を見る会」招待者 数千人超過/「資料は破棄」内閣府が答弁/宮本議員追及
第２次安倍政権下で招待者数・支出額が膨張している首相主催の「桜を見る会」をめぐり、内閣府は衆院財務金融委員会で２１日、招待者数は約１万人を「目安」としながら数千人規模で超過していると明らかにしました。日本共産党の宮本徹議員への答弁。 「桜を見る会」の２０１８年の支出額は予算額の約３倍にのぼり、招待の基準も不透明だとの批判が出ています。 内閣府の井野靖久大臣官房長は「開催要項で毎年約１万人を目安と書いている」としながら、今年の招待者数は約１万５４００人にのぼると答弁。１４年は１万２８００人、１５、１６両年は１万３６００人、１７年は１万３９００人、１８年は１万５９００人へ増えたと述べました。 井野官房長は「各府省庁からの意見等を踏まえ、内閣官房、内閣府で最終的に取りまとめている。結果的に増えた」と説明。招待者の推薦がどの府省庁で増えているのかとの質問にも「回答は控えたい」と拒み、「今年の資料も
レガシープロジェクトを引き継いだ時、最初にするべき７つのこと - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 営業一課で使っている PHPアプリを保守してくれないかな？ ○○さんが１人で作ってメンテしてたやつなんだけど 皆さんは上司からこんな仕事を振られたことはないでしょうか？私は過去に何度か経験した1のですが、こういった仕事はなぜか： 正確な仕様を知っている人はいない（知ってた人は辞めた） テスト計画書・デプロイ手順書・仕様書といったドキュメントは無い ソースコードはもちろんスパゲッティ でも、業務ではガッツリ使われているので廃止できない というレガシープロジェクトばかりでした。この記事では、レガシープロジェクトを引き継いでしまった時に、最初
「でっかいホームラン打たなきゃ、誰も見てくれない」――石橋貴明が語るバラエティーの未来 - Yahoo!ニュース
「時代はやっぱり進んでいく」。『とんねるずのみなさんのおかげでした』が終了して1年余り、今、石橋貴明（57）はそう言う。1980年のとんねるず結成以来、ヒット番組やヒット曲を生み出してきた。「不器用でも負けずに頑張れば何とかなった」と道のりを振り返る。相方・木梨憲武、「東京の笑い」や後輩、コンプライアンス……。バラエティーと自身について、自由に語った。（取材・文：てれびのスキマ／撮影：吉場正和／Yahoo!ニュース 特集編集部）
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ドイツに出向、残業100時間超で精神疾患に…現地版「裁量労働」の社員、労災認定 - 弁護士ドットコムニュース
「ないものは作ってしまえ！」自力で診療所をホームオートメーション化した“マニア”は何を目指すのか（前編） 1からハードウェアを製作、非クラウドな環境で照明、施錠、エアコンを自動化。販売も視野に
「公認取り消しなら参院選出ない」「炎上商法で知名度上げようと」“差別発言”長谷川豊氏に直撃インタビュー | 国内 | ABEMA TIMES | アベマタイムズ
NLPに学ぶ「目標達成脳」の作り方！目標達成の5つの極意とは
「好きで好きで仕方なかった」男性刺して逮捕の女｜テレ朝news-テレビ朝日のニュースサイト