はてなブックマーク

汎用人工知能! 降って湧いたようなここ数年のAIブームですが、このブームに当初から違和感を感じていた方も多いと思います。 確かにディープラーニングなど劇的なスピードで進化を遂げているのですが、現状ではある限定された状況での最適化問題に過ぎないものも多いです。ただのマシンラーニングと言うべきものまでが最近はAIと呼ばれていて、ぱっと見ではもはや区別がつかない状況です。 さて、そんな中でGood AIというスタートアップがMicrosoftとＮVidiaの協賛を得て “General AI Challenge” を開催しています。これはまさにたった一つのプログラムでいろいろなタスクを学習する、汎用的なAIを開発するコンテストです。__賞金総額500万ドル(約５億円）__です。 そう聞くと難しそうに感じますが、とりあえずウォームアップラウンドでのタスクの内容はそこまで難しくはないです。そして何だ

はじめに GoogleのDeepMindが社内的に使っている深層学習ライブラリSonnetを公開したので、試しに触ってみました。TensorFlowやKerasと比較をしながら解説していきたいと思います。まだ触ってみたばかりで細かい内容をお話することは出来ませんが、少しでもSonnetが気になっている方の力になれれば嬉しいです。 間違ってる部分や質問などありましたらコメントして頂けると幸いです。 Excited to release #Sonnet - a library for constructing complex Neural Network models in TensorFlow. Get started: https://t.co/bX8EBKZXgz pic.twitter.com/JulwIPNUMm — DeepMind (@DeepMindAI) 2017年4月7日

このポストは　Inside of Deep Learning あるいは深層学習は何を変えるのか から分割したものです。全体があまりに長くなってしまったので、改善手法についても別のページにしました。 DL（ディープラーニング）の性能を改善していくポイントを駆け足で見て行きましょう。 学習データの追加、改善 DLシステムの性能を上げるためにはためにはより沢山の学習データが必要と言われています。例えば下記の図は、顔のパーツやバスの認識について学習データを増やすほど性能が上がるとした論文のものです。 Do We Need More Training Data? 画像であれば左右、上下、および上下左右に反転させた画像を使ってどちらを向いていても正しく特徴を取れるようにしたり、あるいは少し拡大したりノイズを混ぜるなどしてデータを水増しする手法がよく使われます。ユニークなのは例えばCGを用いて画像を作成

def build_embedding_graph(self): self.x = tf.placeholder(tf.float32, shape=[None, None, None, self.channels], name="X") self.y = tf.placeholder(tf.float32, shape=[None, None, None, self.channels], name="Y") # H-1 conv self.Wm1_conv = util.weight([self.cnn_size, self.cnn_size, self.channels, self.feature_num], stddev=self.weight_dev, name="W-1_conv", initializer=self.initializer) self.Bm1_conv = ut

通常は出力値を予測するだけですが、トレーニング中はこの予測結果をフィードバックします。入力データに対しての正解データ（教師データ）を用意してやり、損失関数という式を使って予測値が正解ととれだけ離れているかを計算します。 これを元に、現在のモデルをどのように修正すれば正解に近づく可能性が高いを計算します。これがオプティマイザです。損失値の勾配とオプティマイザによってネットワークがより強化され、この一連の流れがバックプロパゲーションです。 ネットワークはもともとはランダムの初期値を持っています。これが一度のバックプロパゲーションにより強化され、少しづつフォワードプロパゲーション、バックプロパゲーションを繰り返していく事でシステム内の初期値（パラメータ）が学習していきます。 モデル、伝達関数 モデル内の実際の計算を見てみましょう。簡便のため一つのレイヤーの局所的な計算を図解します。 x1からx4

シリコンバレーのエンジニアが一年ほどをDL(Deep Learning)を追いかけてみて思ったこと、感じたことをまとめてみました。とにかく伝えたいことは、DLはもはやその一言では片付けられないほどに構造やアプローチが多様化しているということ。そしてその進化スピードがえげつないほど速いということです。 将来のプログラミングや問題解決の仕方を変え、人を取り巻く環境を変えていくかもしれないというじりじりとした圧迫感。これを少しでも伝えられればと思っています。 このポストの方針 技術部分の説明は初心者向け。各構成要素など基礎から解説します。今からDLをキャッチアップしていく人には多分丁度良いです。 最初と最後だけ読むのも良いですが、各部の技術的な部分や難しさはできるだけ短く分かりやすく書くつもりですしここが一番大事なところです。できれば時間のあるときにじっくり読んでもらえればと思います。 内容 _

Raspberry Pi4 追加 7/7/2019 TensorFlow1.5 最適化済みバイナリ効果検証, Mac Pro追加 2/6/2018 GeForce GTX1080 Ti の検証 10/3/2017 MacBook Pro Core i7 の検証 10/1/2017 Amazon EC2 / Microsoft Azure 環境の検証 9/17/2017 TensorFlow 1.0/XLA での導入効果 仮検証 2/24/2017 CPU / GPU 性能やOSによる違い検証 1/19/2017 Windows環境下 (正式版 / docker / bash on Ubuntu) での違い検証 1/19/2017 TensorFlowのmnistでの CPU / GPU 計算速度について自分の実測値を載せておきます。5000回のトレーニングにかかった時間です。3回の計測値の

Elm Advent Calendar の 19 日目です。 Effect Manager とは Effect Manager はElm 0.17から導入された新しい仕組みで、Cmd/Sub に関連する複雑な状態を管理することが出来ます。とはいえ、Effect Manager はかなり上級者向けの仕様になっており、導入から半年以上経った今でもドキュメントすらありません。また、Effect Manager を使ったパッケージは現時点では公開できないことになっています。 というわけで、あまり一般ピープルが使うことは想定していないようですが、せっかくなのでどういう仕組みで動いているのかを調べてみました。（以下、非公式の解説なので鵜呑みにしないでください。） Effect Manager モジュール一覧 Effect Manager は、Effectモジュールという特別なモジュールのみ使うことが出

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Elm Advent Calendar 2016 の10日目の記事です。 今回は、Html.Lazy モジュールについて。 Html.Lazy とは Virtual DOM のパフォーマンスがいくら良いとは言え、無駄な Virtual DOM を際限なく作り続けるとコストになります。そこで、Html.Lazy モジュールはこのコストを抑え、パフォーマンスを最適化する方法を提供します。 仕組み 一言で言うと「モデルが変わらなければビューも変わらない」という性質を利用します。Elm の関数はすべて純粋であることが保証されているため、引数が変わらなければ返す結果はいつも同じです。そこで、Elm ランタイムはHtmlを生成する関数の引数が前回と同じであるかを見て、同じであればロジックを丸ごとスキップして前回の値を使いまわします。 使い方 使い方は簡単です。ビューを生成する関数の頭にlazyとつける

機能要望の出し方 基本的に新しい機能に対しては慎重なので、いきなりPRを送ってもまずマージされません。特に議論が必要になりそうなものは、Issueではなくelm-discussでコンセンサスを取るところからはじめるのが良いでしょう。 要望の内容は、ユースケースを一緒に書くと喜ばれます。ただ「この機能がほしい」と言っても「なぜそれが必要になるのか？」と問い詰められるので、「こういうことをする時にこの機能がなくて困るから追加してほしい」と説明するのが良いです。そうすると、今のAPIがそのようになっている理由を説明されたり、別の解決方法じゃなぜ駄目なのかという話になり、最終的に「もっともらしい」と判断されると人知れずタスクに詰まれます。 例えば、「型クラス追加して欲しい」よりも、「辞書のキーにBoolを入れられるようにして欲しい」とか「回避策としてBoolをStringにシリアライズするとコード

以下のことについて知りたい人向けの記事。 ①TensorFlowのチュートリアル(Deep MNIST for Experts)を自分の書いた数字で試す方法 ②Windows7だけどLinux(Ubuntu)でTensorFlowの開発をする方法 ーTensorFlowはUbuntuで開発したほうがいろいろ良い点があるなーと思った ・GUI周りがしっかりと作りこまれている ーTensorBoard（グラフの可視化機能）が簡単に使える ーGUIアプリ開発が簡単 ・apt-getで便利なライブラリやツールを簡単にインストールできる ー元々Ubuntuの機能であるだけあってつまづくことが少ない ・Pythonで音を出せる ーこれで音声処理がはかどる ーPyAudioを使う ーWindowのDocker環境で音出すのはあきらめました ーこの機会にWindows7とUbuntuのデュアルブート環境を

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

以下のような人向けの記事 ・ニューラルネットワークの原理の基本中の基本を知りたい ・ニューラルネットワークを専門外の方にも簡潔に説明したい http://nnadl-ja.github.io/nnadl_site_ja/chap1.html ニューラルネットワークと深層学習 -ニューラルネットワークを用いた手書き文字認識 上の無料のオンライン書籍から抜粋し、自分なりによりわかりやすいよう必要最低限の変更を加えたものである。 まず、ニューラルネットワークは人間の脳を模倣したものである。人間の脳の中にはニューロンという神経細胞が千数百億個あり、各ニューロンがシナプスと呼ばれる接合部位によって繋がっている。ニューロンは入力される電気信号の閾値がある一定の量を超えると発火し、シナプスによって次のニューロンに電気信号を出力する。この動作の連続により、脳は信号の伝達を行っている。このニューロンを模倣し

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 以下のことについて知りたい人向けの記事。 ①機械学習の利点と欠点、TensorFlowの利点と欠点 ②ニューラルネットワークの原理についての簡潔な説明 (オンライン書籍：http://nnadl-ja.github.io/nnadl_site_ja/index.html をまとめたもの) ③TensorFlowのチュートリアルに沿ってプログラム作成、その実行結果 以下、参考にしたサイト 1次関数の近似： https://www.tensorflow.org/versions/master/get_started/index.html h

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この部分は需要が高いと思ったので、以下の自分の投稿から抜粋。 TensorFlowのチュートリアルを通して、人工知能の原理について学習する http://qiita.com/jintaka1989/items/3b70b5c5541620536fa2 以下のことについて知りたい人向けの記事。 ・各機械学習ライブラリの比較 ちなみに私はTensorFlowしか触っていないので、 この記事はブログなどを探索して、それをまとめたものである。 追記：実際にライブラリをいろいろ使ってみた人の感想はこちら https://speakerdeck.c

composite_primary_keysのgemを入れると、saveした時にidにnilが入るので、元の挙動(auto incrementの値が代入される)となるようにするパッチ。 Gem rails (ver. 4.2.0) composite_primary_keys (ver. 8.1.0) Code 以下のソースを/config/initializers以下に配置する。 module ActiveRecord module Persistence def _create_record(attribute_names = self.attribute_names) attributes_values = arel_attributes_with_values_for_create(attribute_names) new_id = self.class.unscoped.inse