Q学習（Qがくしゅう、英: Q-learning）は、機械学習分野における強化学習の一種である。 概要[編集] Q学習は強化学習の方策オフ型時間差分法の一つである。概念自体は古くから存在するが、Q学習（Q-learning）という名前で今日の手法がまとめられたのは、1989年のクリストファー・ワトキンズ（Christopher J.C.H. Watkins）の博士論文に端を発する。[1] TD学習は になるように学習させるが、Q学習はこれを に置き換えたものである。状態価値関数 の代わりに、行動価値関数 を使用する。 Q学習は有限マルコフ決定過程において全ての状態が十分にサンプリングできるようなエピソードを無限回試行した場合、最適な評価値に収束することが理論的に証明されている。実際の問題に対してこの条件を満たすことは困難ではあるが、この証明はQ学習の有効性を示す要素の一つとして挙げられる。

最近にわかにword2vecが流行っています。ので、乗っかってみました的記事です。 理論に関してはあまり詳しくしらないので、印象だけで語っているかもしれません。何かありましたらTwitterかコメント等でご指摘いただけますと幸いです。 ちなみに、失敗した話が多いです。 word2vecと単語のベクトル表現 word2vecは、機械学習の分野で使われる、ニューラルネットというモデルを使ったツール／ライブラリです*1。名前の通り、wordをvectorにします。vectorにする、というのは、ベクトル表現を獲得するということで、意味(みたいなもの)の獲得というか、素性の獲得というか。 単語のベクトル表現の獲得自体は、別にword2vecにしかないわけではありません。言い換えると、昔からあります。LDAを使って単語のトピック分布のようなものを学習したり(vingowでやりました)。余談ですが、こ

Treasure Dataではfluentd, 各種SDK, Data Connectorなどで収集されたデータに対して、Hive, Prestoによる分散SQLクエリが実行できます。特にPrestoはこの1年で大きく進化しましたので、ここでその内容について紹介していきたいと思います。 Prestoクエリの利用量は増え続けていて、2015年12月現在、Treasure Dataの利用統計では、 １日あたり5万クエリ (月換算で150万クエリ) １日あたり10兆 (10 trillion) レコード を処理しています。2015年の始まりの時点では、1日あたりおよそ5000クエリ、1兆レコードという数字でしたので、この１年でほぼ10倍になった計算になります。昨年末のPrestoサービスの開始にあたり、CTOの太田と相談して10倍スケールできるように準備をしていたのですが、想定していたより早くこ

We offer the best and cheapest group buy SEO tools which you can use easily rank your client website and increase your sales, leads, and revenue. https://www.groupbuyseotools.net/ 返信削除

PostgreSQL上の文字コードがEUC-JPのデータをMySQLに移行する手順。 0.作業用のディレクトリを作る 作業しやすいように作業用のディレクトリをつくって、そこでファイル操作する。

Fastly, Travis CI, 及び GitHub の提供でRuby会議前のパーティーを開催します。皆さん奮ってご参加下さい。主催者による短いトークと、飲み物、軽食を交えて楽しい時間をお過ごし下さい。 Fastly, Travis CI and GitHub present the pre-RubyKaigi party Fastly, Travis CI and GitHub are hosting a pre-RubyKaigi party on December 9th at Dots in Shibuya, Tokyo. If you are in Tokyo for Ruby Kaigi, we'd love for you to join us! We’ll have a few short lightning talks, lots of food and drinks

最近はハンドリングしくてもいいや的な、入力改ざんで発生するバリデーションエラーをそのまま500のHTTPステータスで返すと、攻撃者が「なんか攻撃成功しちゃいそう」って思っちゃうとかなんとかで、監査的なところから「500はやめろ」って言われることがあります。 一理ある ということで、安易に500を返さない方法を考えてみます。 HTTPステータスコードにあまり馴染みのない方は、こちら…ではなく、こちらをまず読んでください。 HTTPステータスコードの使い分け基礎 400 まず、ユーザの入力値、データの状態によってエラーになるケースは 400 Bad Request とします。エラーメッセージを表示して再入力を促すHTMLページを返す、一般的な入力エラー系の遷移は200 OKを返しても、実用上問題はないかと思います。 ユーザの操作が原因で、サーバ処理がエラーになった場合も400で扱うのはおかしい

この記事はフィードフォースエンジニア Advent Calendar 2015 - Adventar4日目です！ みなさんrubyのRPMビルドってどうしてますか！ CentOSをメインで使っていると最新のrubyはyumで入らないのでどこかのリポジトリからインストールするか自前でビルドする必要があるかと思います。 プロビジョニングのタイミングでrbenvやmakeで入れてもいいのですがciや新規ホストを立てた時など毎回rubyのビルドをするので時間がかかってしまうんですよね。 それが嫌でrubyはリリースされるたびにrpm化してインストールするようにしています。 ところがrpmのビルド環境って用意するのが面倒だったりビルドしたい環境ごとにvagrantを立ち上げて〜とか意外と手間がかかる。 自動化したいなーと思っていて、Dockerは特定の環境を再現するのに最適だし、CircleCIはG

Angular2、Githubをみているとすごい勢いでリリース作業が行われていますね。alpha.47までバージョンを重ね、昨日もすごい勢いでコミットが行われてました。まだIssueも600件以上ありつつ、そろそろAngular2来るなっ！と期待に胸をふくらませてるところです。 そこで、本稿では、すでにpublicになっているドキュメンテーションから、AngularJSからAngular2への進化の方向、jsフレームワーク自体が独自進化していく方向を考えたいと思います。 この記事は、Angular 2 Advent Calendar 2015の4日目の記事です。 [2016年7月4日　Angular2のコードサンプルを最新のものに変更] Angular2とは 本稿をご覧の皆さんはご存知な気はしますが、Angular2はGoogle謹製のjsフレームワーク AngularJS（以降、「Ang

はじめに 1 年前の Emacs Advent Calendar で org-mode の基本について紹介しました。 TODO リストとメモ書きにだけ Emacs を使ってみませんか？ 読んでくださった人はいるでしょうか？ この記事を読んで Emacs や org-mode を使い始めたという人がいればとても嬉しいです！ 今回は以前の内容を踏まえ、org-mode の TODO リストの機能をもっと便利にするいくつかの機能について紹介したいと思います。 この記事で紹介する機能 TODO, DONE 以外の状態の追加 優先度、カテゴリ、タグの設定 サブタスクの管理、進捗の表示 スケジュール (予定日、締め切り) の設定 複数の TODO リストの一括表示 (org-agenda) 対象読者 以下のような方々に読んでもらいたいです。 去年の org-mode 紹介記事を読んで Emacs, o

GCPで1番好きなサービスはGAEです。でも2番目はメタデータサーバーな大橋です。 書く書く詐欺をし続けてとうとう書くことになりました。 皆さんGCEのメタデータサーバー使ってますか？ 使ってない? 使ってないなら今日から使いましょう。もったいない事この上ないです。 今回は私の大好きなメタデータサーバーの概要や使い方について書いていきたいとも思います。 まとめ 3行でMetadata Serverをまとめると GCEの様々な情報が乗っているHTTP(curlなども可)アクセス可能なデータサーバ Key-Value形式で好きなデータを投入可能 更新検知が可能 です。 これだけシンプルですが非常に強力で、利用シーンがとても多いです。 概要 メタデータサーバーはGCEのインスタンスや、プロジェクトのメタデータを保存しているサーバです。 Web APIが用意されており、GCEのインスタンスからであ

この記事はPostgreSQL Advent Calendar 2015 の4日目です。3日目はkasa_zip様でした。 ここ数年、データ分析の分野が大変賑わっています。大規模となるとSpark/Hadoopのあたりが必要かもしれませんが、ある程度の規模であればRDBMSで十分対応できます。特にPostgreSQLはJSONサポートも豊富ですので、中規模までの分析基盤であれば十分ではないでしょうか。 ということで、各言語からPostgreSQLに接続するためのドライバ・モジュールを整理してみます。 ※JavaとPython以外が薄いのはあまり触ってないからです… Javaの場合 PostgerSQL JDBCドライバが提供されていますので、こちらを使いましょう。 download 使用するJDBCドライバを選ぶときは、実行環境のJDKのバージョンを元に選びます。例えばJDK 1.8の場合

これは「Ruby脳にはCrystalつらい Advent Calendar 2015」の4日目の記事です。 qiita.com 昨日の記事で、Crystal は深さが不定の配列が作れなくてつらいと書いたんですが、 実際にできないわけないだろうから方法を調べて4日目の記事にしようと思ってたところ、Twitterやコメントで方法を教えてもらいました。 このアドベントカレンダーは「Crystalつらいと言ってたら詳しい人がきっと教えてくれるだろう」という下心で始めたので思惑通りです :-) 深さが不定の配列を作る場合は、型(クラス)にエイリアスを設定します。 昨日の記事にコメントしていただいた例: alias Hoge = Int32 | String | Array(Hoge) array = [] of Hoge array.push 1 array.push "2" array.push

芸術作品は人間の感性だけでなく緻密な計算からも生まれることから、芸術と数学は切っても切り離せない関係にあると言えそうですが、「数学」を音楽に置き換えると、やはり芸術が生まれるようです。数学的に重要な数である円周率を、12進数化することで、美しいメロディを奏でるムービーが公開されています。 The Ancient Melodies http://theancientmelodies.com/ 西洋音楽は1オクターブを12等分した「十二平均律」で成り立っています。つまり音階は12個周期であることから、数学的には「12進数」と親和性があると言えそうです。 ところで円周率は、「3.141592……」と循環することなく永遠に続く無理数ですが…… この表記は当然のことながら10進数によって記述されたもの。 しかし進数表記は変換できます。例えば、円周率を2進数で書くと、「11.0010010001……」

「PHP 7」正式版が登場。PHPにとって10年ぶりのメジャーバージョンアップ。実行速度は旧バージョンの2倍以上 PHPの公式サイトでは、PHP 5.6.xからPHP 7.0へ移行するためのガイド「Migrating from PHP 5.6.x to PHP 7.0.x」も公開されています。 開発者であるRasmus Lerdorf氏は10月に来日し、「PHPカンファレンス2015」で講演。PHP 7ではPHP 5との互換性を維持しつつ、2倍以上の性能向上とメモリ使用量の低減など、大きな改善が実現されことを示していました。「実際に世界中で使われているPHPアプリケーションの性能が2倍になるのが主な特長です」（Rasmus Lerdorf氏。10月に開催された「PHPカンファレンス2015」にて）。 さらにLerdorf氏は次のようにPHPにはさらに高速化の余地があると説明しています。 「

こんにちは、freeeでフロントエンドエンジニアをしている @joe_re です。 freee Engineers Advent Calendar 2015の4日目を書きます。 僕からはfreeeで現在進行中の革命について、フロントエンドのビルドプロセスを中心に書こうと思います。 革命 ってなんのこと？ というのはフロントエンドヤンキーこと @ymrl が 2日目で書いたので詳しくはそちらをご参照頂ければ幸いです。 背景 弊社ではRuby on Railsを主軸にしてWebサービスを作っています。 Railsは素晴らしいフレームワークですが、めまぐるしく変化する昨今のフロントエンドについては、このままRailsの用意しているRailに乗ったままでは時代に取り残されてしまう危機感があります。 僕たちは時代に取り残されている場合じゃない。 最先端でかつ適切な技術を用いて未来を切り開いていかなく