深層学習はガウス過程 - 作って遊ぶ機械学習。
おつかれさまです． 僕はあまり深層学習に関して記事を書くことはないのですが，ちょっと気になった論文があったので紹介します． [1711.00165] Deep Neural Networks as Gaussian Processes 論文はGoogle Brainの研究者らによるもので，NIPS2017 Bayesian Deep Learning WorkshopICLR2018にacceptされています．実は深層学習をガウス過程（Gaussian process）で構築するのはこの論文が初出ではないのですが，論文ではベイズ学習，深層学習，カーネル法を簡略かつ包括的に説明している内容になっているので非常に参考になります． さて，「深層学習はガウス過程」というのはちょっぴり宣伝的なタイトルにし過ぎてしまったのですが，もう少しだけ正確に論文の要点をまとめると次のようになります． 背景 単一
数学系向けDeepLearning/Tensorflow入門 - Qiita
DeepLearningは最近ブームであり,その有名なライブラリとしてTensorflowがあります． この記事ではDeepLearningの基本的な部分を数式を使って書き下すこととTensorflowの使い方を紹介します. 今更っていう気もしますが…，そこは気にしないでおくことにします 主な対象はベクトル空間やテンソル積等をある程度知っているけれど，DeepLearningは知らない人です. なので表記も大学の数学でよく出てくるものしています. なおニューラルネットワークの積分表現には触れません. 三層パーセプトロン ニューラルネットワークの基本的な形の一つである三層パーセプトロンを定義します. 定義 (三層パーセプトロン) 行列$W_1 \in M_{n_0 n_1}(\mathbb{R}),W_2 \in M_{n_1 n_2}(\mathbb{R})$とベクトル$b_1 \in \
Seq2Seq まとめ - higepon blog
以前作った Seq2Seq を利用した chatbot はゆるやかに改良中なのだが、進捗はあまり良くない。学習の待ち時間は長く暇だし、コード自体も拡張性が低い。そういうわけで最新の Tensorflow のバージョンで書き直そうと思って作業を始めた。しかし深掘りしていくと Seq2Seq の詳細を分かっていなかったことが発覚したのでここにまとめる。間違いを見つけたらコメントか @higepon まで。 Seq2Seq のすべてを解説するのではなく、Tensoflow/nmt/README.md のチュートリアルをベースにする。読んだだけでは、理解できなかった部分を補っていく形で進める。 必要とされる前提知識 DNN の基礎。構造、training、 loss とかそういう話。back prop は別に理解できなくても可。 RNN の基礎。RNN が時系列の扱いに向いているとか。RNN の構
プロダクトにおけるAI活用(1) | GREE Engineering
みなさんこんにちは、鈴木です。 Web向けゲームを開発する仕事をしています。 会社ではtkcと呼ばれています、どうぞよろしくお願いします。 さて今回は、プロダクトにおけるAI活用ということで、Deep Learningを用いたプロダクトバナーのレコメンデーションシステムについてご紹介します。 といっても、僕は機械学習の専門家でもなく、趣味で触りながら業務に活かせる部分を使っていくスタンスなので、間違った認識のところはご指摘いただけると幸いです。 世の情勢的に、技術的な話題か、ビジネス活用の概要的な話題が多い印象なので、本記事では現場目線の技術/ビジネス両面のお話ができればと思っています。 では早速、このシステムを開発するに至った経緯からご説明していきます。 ざっくりと背景 僕が開発担当しているプロダクトでは、ガチャが並行で最大9つリリースされています。一般的なプロダクトと比較して多い印象で
ニューラルネットワークに対する勾配を実装してみた - present
C# でゼロから Deep Learning を実装する挑戦の続き。 4 章もようやく終盤で、いよいよ機械学習に入る。 今回はニューラルネットワークに対する勾配を実装してみた。 using System; using System.Linq; using MathNet.Numerics.LinearAlgebra; namespace GradientSimpleNet { class Program { static void Main(string[] args) { var net = new SimpleNet(); // 予測 var x = Vector<double>.Build.DenseOfArray(new[] { 0.6, 0.9 }); var p = net.Predict(x); Console.WriteLine("予測"); Console.WriteLi
勾配降下法を実装してみた - present
C# でゼロから Deep Learning を実装する挑戦はまだ 4 章。 機械学習で使う勾配降下法を実装してみた。 勾配を計算するメソッドは前回記事を流用している。 using MathNet.Numerics.LinearAlgebra; using System; using System.Linq; namespace GradientDescentSample { class Program { static void Main(string[] args) { // f(x0, x1) = x0^2 + x1^2 Func<Vector<double>, double> function2 = (x) => Math.Pow(x[0], 2) + Math.Pow(x[1], 2); var initX = Vector<double>.Build.DenseOfArray(
DeepLearning研究 2016年のまとめ - Qiita
DeepLearning Advent Calendar 2016の17日目の記事です。 はじめに はじめまして。 Liaroという会社でエンジニアをしている@eve_ykと申します。 今年もあと僅かとなりました。 ここらで、今年のDeepLearningの主要な成果を振り返ってみましょう。 この記事は、2016年に発表されたDeepLearning関係の研究を広く浅くまとめたものです。今年のDeepLearningの研究の進歩を俯瞰するのに役立てば幸いです。 それぞれの内容について、その要点や感想なんかを簡単にまとめられたらと思います。 特に重要だと思った研究には★マークをつけておきます。 非常に長くなってしまったため、興味のある分野だけ読んでいただければと思います。 言い訳とお願い 見つけたものはコードへのリンクも示すので、プログラミングに関係ある記事ということで… 分野的にかなり偏っ
MNIST データセットを読み込んでベクトルに変換 - present
C# でゼロから Deep Learning を実装する挑戦の続き。 この挑戦では、『ゼロから作る Deep Learning』同様に、 手書き数字認識のニューラルネットワークを実装するので、 MNIST データセットを利用する。 MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges MNIST データセットを読み込んで、 Math.NET Numerics の Vector に変換するコードを書いてみた。 using MathNet.Numerics.LinearAlgebra; using System; using System.IO; using System.Linq; namespace MnistSample { class Program { static void Mai
TensorFlowによるディープラーニングで、アイドルの顔を識別する - すぎゃーんメモ
以前は MNISTの例を使って画像識別を試してみた けど、次はカラー画像についての識別を試してみる。 「アイドルなんてみんな同じ顔に見える」って 最近も言われてるのかどうか知らないけど、自分もつい5年前くらいまではそう思っていたわけで。その識別を機械学習でやってみよう という試み。 最近はほとんどライブに行かなくなってしまったけど大好きなももいろクローバーZちゃんを題材にしてみることに。 5人のメンバーの顔は機械学習によってどれくらい分類できるようになるのか？？ CIFAR-10 CIFAR-10 という、32×32サイズのカラー画像を10種類のクラスに分類する識別課題があり、そのデータセットが公開されている。これを実際にTensorFlowで学習するための畳み込みニューラルネットワークのモデルや関数などがtensorflow.models.image.cifar10パッケージに同梱されて
ディープラーニングでおそ松さんの六つ子は見分けられるのか 〜実施編〜 - bohemia日記
前回、おそ松さんたちをディープラーニングで見分けるため、準備編としておそ松さんたちの顔画像を5644枚集めました。 今回はそれを用いて、ディープラーニングで学習させ、判別器を作って検証します。 集めた画像 人物 枚数 例 おそ松 1126 から松 769 チョロ松 1047 一松 736 十四松 855 とど松 729 その他 383 使用フレームワーク 最近GoogleからTensorFlowという新しいディープラーニングのフレームワークが発表されました。 会社のブログに使い方書いたのですが、まだ慣れていないので、今回はchainerを使います。こちらだとすぐに高い成果を上げているImageNetのNINモデル、４層畳み込みニューラルネットワークがサンプルで入っていますので、こちらを改良して使います。 imageNetの使い方は、こちらやこちらを参考にしています。 訓練データセット Im
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - oreilly-japan/deep-learning-from-scratch: 『ゼロから作る Deep Learning』(O'Reilly Japan, 2016)