はてなブックマーク

JTPA ML勉強会向けに、基本となるクラシックなDL論文をまとめておきます。 2014-2016はファンダメンタルなテクニック／アーキテクチャについての論文が多く、導入することで一気にパフォーマンスが上がったり収束しやすくなったりして大変エキサイティングな あげあげ〜 な時代でした。 今では何気なく普通に使われているものばかりですが、それぞれの論文がどんな問題にフォーカスをあて、どうやって解決してきたのかを見ておくことでML/DLの本質が理解しやすいと思っています。 みんなで読もう、DL! 基本テクニック系 論文 1. ReLU “Rectified Linear Units Improve Restricted Boltzmann Machines” (2010) Cited by 9,076 DLの立役者ヒントン先生の論文。それまでに使われていたシグモイドやtanhなどの伝達関数では

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2014年から2018年までのCVPR, ECCV, ICCV などのトップ画像処理学会に採択された、ディープラーニング(DL)を用いた超解像モデルのまとめです。 TensorFlow アドベントカレンダー 8日目の記事です。 本来はtensorflowのコードも合わせて紹介したかったのですが、論文の数が増えてしまったのでそれはまた別の記事で書きます。 単画像超解像は各学会でも毎年沢山の論文が採択される主要分野ですが、2014年に初めてDLを使ったモデルが発表されたのを皮切りにその性能や適用分野を大きく広げています。この記事では主要な1

前書き 今更GAE/pかよ！ って感じですが、これがやっぱり良くできてるのですよ。 自分用に作ったAI論文検索ツールをGoogle App Engine/pythonでウェブサービス用にしてみたら結構さくっと動いてしまったので、またやる時のためにメモ書きとして残しておきます。 TL DR; Facebook fasttext を使ったディープラーニング論文の検索／クラスタリングツールをwebサービスにする手順。使ったものは fasttext, scikit-klearn, GAE/p, jinja2です。無料でまずはパパッと公開しようぜ！ ＞＞ サービスサイトはこちら。コードはgithubに。 AI系論文のサイトがとても使いにくいポンコツ ってこと、ありますよね。CVPR2018という画像処理のトップ学会があります。ディープラーニングブームを盛り上げて来た学会で、東京では毎年論文読み会が開

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TL;DR: ホリデーシーズンなのでコードや技術の説明は無しです。ディープラーニングの基本知識を得たばかりの人間がスクラッチからモデルを作り、エンジニアとして別の仕事をしながら当時のstate of the artの性能を出すところまで作り込んで得た知見のまとめです。 目次: ・どうやって情報を得るか ・tensorflowでスクラッチから作る場合の注意点・陥りやすいポイント ・モデルの性能が伸び悩んだ時に試すべきこと ・モチベーションを維持するには 概要 単画像超解像と言われる技術があります。これは解像度の低い画像の解像度を引き上げる

最近DL(Deep Learning)の各手法についてtensorflowで実装する場合の実際のコードを聞かれることが多くなってきたので一度まとめておきます。 (10/17/2017 Batch Normalization, Gradient Clipping, ビジュアライズ関連 追加) 下のリストはInside of Deep Learning （ディープラーニングの性能改善手法 一覧）に載せたものです。しかし個人的な経験からも性能改善は一筋縄ではいきません。単に性能の高いモデルを使えば良いといういうわけではなくデータの規模や質によってはシンプルなモデルを使った方が良い時もあります。 ↑ Best より表現力があり問題の処理に適したモデルを利用する より多くのデータあるいはより精度の良いデータを使う パラメータを収束／学習させるための工夫 汎化性能をあげるための工夫 ↓ Better

汎用人工知能! 降って湧いたようなここ数年のAIブームですが、このブームに当初から違和感を感じていた方も多いと思います。 確かにディープラーニングなど劇的なスピードで進化を遂げているのですが、現状ではある限定された状況での最適化問題に過ぎないものも多いです。ただのマシンラーニングと言うべきものまでが最近はAIと呼ばれていて、ぱっと見ではもはや区別がつかない状況です。 さて、そんな中でGood AIというスタートアップがMicrosoftとＮVidiaの協賛を得て “General AI Challenge” を開催しています。これはまさにたった一つのプログラムでいろいろなタスクを学習する、汎用的なAIを開発するコンテストです。__賞金総額500万ドル(約５億円）__です。 そう聞くと難しそうに感じますが、とりあえずウォームアップラウンドでのタスクの内容はそこまで難しくはないです。そして何だ

このポストは　Inside of Deep Learning あるいは深層学習は何を変えるのか から分割したものです。全体があまりに長くなってしまったので、改善手法についても別のページにしました。 DL（ディープラーニング）の性能を改善していくポイントを駆け足で見て行きましょう。 学習データの追加、改善 DLシステムの性能を上げるためにはためにはより沢山の学習データが必要と言われています。例えば下記の図は、顔のパーツやバスの認識について学習データを増やすほど性能が上がるとした論文のものです。 Do We Need More Training Data? 画像であれば左右、上下、および上下左右に反転させた画像を使ってどちらを向いていても正しく特徴を取れるようにしたり、あるいは少し拡大したりノイズを混ぜるなどしてデータを水増しする手法がよく使われます。ユニークなのは例えばCGを用いて画像を作成

def build_embedding_graph(self): self.x = tf.placeholder(tf.float32, shape=[None, None, None, self.channels], name="X") self.y = tf.placeholder(tf.float32, shape=[None, None, None, self.channels], name="Y") # H-1 conv self.Wm1_conv = util.weight([self.cnn_size, self.cnn_size, self.channels, self.feature_num], stddev=self.weight_dev, name="W-1_conv", initializer=self.initializer) self.Bm1_conv = ut

通常は出力値を予測するだけですが、トレーニング中はこの予測結果をフィードバックします。入力データに対しての正解データ（教師データ）を用意してやり、損失関数という式を使って予測値が正解ととれだけ離れているかを計算します。 これを元に、現在のモデルをどのように修正すれば正解に近づく可能性が高いを計算します。これがオプティマイザです。損失値の勾配とオプティマイザによってネットワークがより強化され、この一連の流れがバックプロパゲーションです。 ネットワークはもともとはランダムの初期値を持っています。これが一度のバックプロパゲーションにより強化され、少しづつフォワードプロパゲーション、バックプロパゲーションを繰り返していく事でシステム内の初期値（パラメータ）が学習していきます。 モデル、伝達関数 モデル内の実際の計算を見てみましょう。簡便のため一つのレイヤーの局所的な計算を図解します。 x1からx4

シリコンバレーのエンジニアが一年ほどをDL(Deep Learning)を追いかけてみて思ったこと、感じたことをまとめてみました。とにかく伝えたいことは、DLはもはやその一言では片付けられないほどに構造やアプローチが多様化しているということ。そしてその進化スピードがえげつないほど速いということです。 将来のプログラミングや問題解決の仕方を変え、人を取り巻く環境を変えていくかもしれないというじりじりとした圧迫感。これを少しでも伝えられればと思っています。 このポストの方針 技術部分の説明は初心者向け。各構成要素など基礎から解説します。今からDLをキャッチアップしていく人には多分丁度良いです。 最初と最後だけ読むのも良いですが、各部の技術的な部分や難しさはできるだけ短く分かりやすく書くつもりですしここが一番大事なところです。できれば時間のあるときにじっくり読んでもらえればと思います。 内容 _

Raspberry Pi4 追加 7/7/2019 TensorFlow1.5 最適化済みバイナリ効果検証, Mac Pro追加 2/6/2018 GeForce GTX1080 Ti の検証 10/3/2017 MacBook Pro Core i7 の検証 10/1/2017 Amazon EC2 / Microsoft Azure 環境の検証 9/17/2017 TensorFlow 1.0/XLA での導入効果 仮検証 2/24/2017 CPU / GPU 性能やOSによる違い検証 1/19/2017 Windows環境下 (正式版 / docker / bash on Ubuntu) での違い検証 1/19/2017 TensorFlowのmnistでの CPU / GPU 計算速度について自分の実測値を載せておきます。5000回のトレーニングにかかった時間です。3回の計測値の