深層学習はガウス過程 - 作って遊ぶ機械学習。
おつかれさまです． 僕はあまり深層学習に関して記事を書くことはないのですが，ちょっと気になった論文があったので紹介します． [1711.00165] Deep Neural Networks as Gaussian Processes 論文はGoogle Brainの研究者らによるもので，NIPS2017 Bayesian Deep Learning WorkshopICLR2018にacceptされています．実は深層学習をガウス過程（Gaussian process）で構築するのはこの論文が初出ではないのですが，論文ではベイズ学習，深層学習，カーネル法を簡略かつ包括的に説明している内容になっているので非常に参考になります． さて，「深層学習はガウス過程」というのはちょっぴり宣伝的なタイトルにし過ぎてしまったのですが，もう少しだけ正確に論文の要点をまとめると次のようになります． 背景 単一
Wasserstein GAN [arXiv:1701.07875]
概要 Wasserstein GANを読んだ Chainerで実装した はじめに Wasserstein GAN（以下WGAN）はEarth Mover’s Distance（またはWasserstein Distance）を最小化する全く新しいGANの学習方法を提案しています。 実装にあたって事前知識は不要です。 私はEarth Mover’s Distance（EDM）などを事前に調べておきましたが実装に関係ありませんでした。 またRedditのWGANのスレッドにて、GANの考案者であるIan Goodfellow氏や本論文の著者Martin Arjovsky氏が活発に議論を交わしています。 Martin Arjovsky氏の実装がGithubで公開されていますので実装には困らないと思います。 私はChainer 1.20で実装しました。 https://github.com/mus
AlphaGo Zeroの論文の要約 : ブログ
AlphaGo Zeroが自己学習のみで過去最強になったというニュースが出たのでその元論文を読み、要約をしました。 まず感想を述べると、過去数千年にわたって蓄積してきた知識をAIが数時間で発見することに対する気持ち良さがありました。人間などクソ食らえと思っておりますので、こう言うニュースはとてもスッキリします。そして人間の発見していない打ち筋の発見にも感動しました。これこそがAIの真髄だと信じています。人間が見えていないものをAIが見つける、僕もいつかそんなことをしてみたいと思いながら生きています。 あともう一つ重要だと思ったのは、とてもネットワーク構造および学習過程が簡素化されたことです。マシンパワーも過去に比べて非常に少なく済み、個人でもすぐに再現実験ができそうなくらいです。AIが強くなることと、構造および学習のsimplerが同時に達成できていることが本質的だと思います。 一応、下記
機械学習のスタックしていた案件をFacebook Prophetで３日で返済した話 - にほんごのれんしゅう
機械学習のスタックしていた案件をFacebook Prophetで３日で返済した話 背景 広告代理店業を行なっており、クライアント企業から予算を預かって、インターネット広告やマーケティング業をしているのだが、クライアントの予算消化の異常値を監視したい 2016年半ばに外部のデータ分析専門の会社に、その日の予算消化が異常の場合、アラートを鳴らすシステムを外注開始、2016年10月に納品 2017年9月半ばに進捗率が芳しくないことが判明した。終わる見込みが立たなかったので、私が解決に当たる （ついでに"Machine Learning: The High-Interest Credit Card of Technical Debt[2]"と呼ばれる負債化してしまう機械学習のシステムとはという評価軸があったので、これらから今回使えそうなプラクティスを取り出して適応してみたいというモチベーションが
《日経Robo》学習の本命「半教師あり学習」、少ない教師データで高い精度
機械学習において教師あり学習は、一般画像認識や音声認識などで目覚ましい成果を上げている。一方で世の中のほとんどの問題では教師データはほとんど存在せず、教師なしデータが大量に存在する。このような、大量の教師なしデータと少量の教師ありデータが与えられた場合に学習する問題を「半教師あり学習」と呼ぶ。 生物のほとんどの学習が、このような半教師あり学習の問題だと考えられる。人間は生まれてから様々な物体を、正解を与えられずにただ観察する。そしてある日、その物体のラベル（例えば「これは象」「あれはキリン」など）が与えられると、その教師事例を数千例も与えられなくても途端に認識できるようになる。こうした生物の学習の過程では、教師なしのデータから何らかの学習を行っているはずである。 半教師あり学習は2種類に大別 半教師あり学習の手法は大きく2つに分かれる。1つ目は、「ブートストラップ法」と呼ばれる方法である。
ディープラーニングによるラーメン二郎全店舗識別と生成
角川アスキー総合研究所主催のイベント「創作とディープラーニングの出会い」 (http://lab-kadokawa30.peatix.com/) での発表資料ですRead less
ディープラーニングの応用のための具体的方針まとめ - HELLO CYBERNETICS
はじめに 目標の設定と指標の決定 目標の設定 指標の決定 評価指標に対する最低限の知識 機械学習における知識（補足） ニューラルネットワークの学習 最初に使うニューラルネットワーク 時間的にも空間的にも独立である複数の特徴量を持つデータ 空間の局所的な構造に意味のある多次元配列データ（例えば画像） 時間的な変動に意味のあるデータ（例えば音声、自然言語） ニューラルネットワークの細かい設定 ユニットの数と層の数 正則化 活性化関数 ドロップアウト バッチ正規化 学習の早期終了 性能が出ない場合 データの追加収集 ニューラルネットの設定をいじる 用いるニューラルネット自体を変更する 新たなニューラルネットワークの考案 コードを書くにあたって データ成形 結果を記録するコード フレームワークの利用 フレームワークの選択 ChainerとPyTorch TensorFlow Keras 最後に は
Chainerで顔イラストの自動生成 - Qiita
PFNのmattyaです。chainerを使ったイラスト自動生成をやってみました(上の画像もその一例です)。 20日目の@rezoolabさんの記事(Chainerを使ってコンピュータにイラストを描かせる)とネタが被っちゃったので、本記事ではさらに発展的なところを書いていきたいと思います。一緒に読んでいただくとよいかと。 概要 Chainerで画像を生成するニューラルネットであるDCGANを実装した→github safebooruから顔イラストを集めてきて学習させた 学習済みモデルをconvnetjsで読み込ませて、ブラウザ上で動くデモを作成した→こちら(ローディングに20秒程度かかります) アルゴリズム 今回実装したDCGAN(元論文)はGenerative Adversarial Networkというアルゴリズムの発展形です。GANの目標は、学習データセットと見分けがつかないようなデ
人とAIの共存を主とする「Google PAIR」、機械学習（NN含む）をブラウザ上で全て実行できるWebMLライブラリ「deeplearn.js 0.1.0」をリリース
人とAIの共存を主とする「Google PAIR」、機械学習（NN含む）をブラウザ上で全て実行できるWebMLライブラリ「deeplearn.js 0.1.0」をリリース 2017-08-12 人を中心としたAIシステムの研究と設計をするGoogleのプロジェクト「The People + AI Research Initiative（PAIR）」は、ブラウザ上で機械学習（Machine learning）を全て実行できるオープンソースライブラリ「deeplearn.js 0.1.0」をリリースしました。 deeplearn.js 本ライブラリは、可能な限り多くの人に機械学習を開かせたいという思いのもと開発されました。その為、インストールやバックエンドなし、ブラウザ上で全て実行できる仕様になっています。 今までもWeb Machine learning（WebML）ライブラリは存在していま
Microsoft、次期「HoloLens」に独自のAIコプロセッサ搭載へ
HPUにDNN（深層神経ネットワーク）を実装するAIコプロセッサを組み込むことで、データ処理をより高速化し、バッテリー消費を削減できるとしている。 次期HoloLensのリリース時期についてはまだ何も発表されていない。公式ブログには「これはHoloLensのために開発している新機能のほんの一例であり、Microsoftが長期的投資が可能であることを示しいている」とある。 関連記事 「日本の盛り上がりにびっくり」──HoloLensの父、アレックス・キップマン来日 開発現場の光景に「鳥肌が立つ」 日本マイクロソフトの開発者向けイベント「de:code 2017」に、HoloLens開発の中心人物であるアレックス・キップマンさんが登壇。彼が説明する「VRか、ARか」の答えとは。 建設業界にも「複合現実」の波 HoloLensを前に、現場は「とんでもない時代になった」 建設業界にも「HoloLe
AIの推論では汎用プロセッサーが主役
Intel社 Data Center Group，Executive Vice President & General ManagerのNavin Shenoy氏と、新しいXeonの300mmウエハー 米Intel社は米国時間の2017年7月11日、同社のサーバー機向けマイクロプロセッサー「Xeon」の新シリーズ「Intel Xeon Scalable Processor」を発表した（関連記事）。従来のXeonに対して約2倍の処理性能などをうたっている。 ただ、グラフィック処理プロセッサー（GPU）や、DNN（Deep Neural Network）の処理に特化した「Tensor Processing Unit（TPU）」といったアクセラレーターの登場によって、汎用マイクロプロセッサーの性能向上に果たす重要性は、相対的に低下しているようにみえる。今回のXeonの性能が従来の約2倍になったの
NTR Wetenschap
De druk op de zorg groeit. Een rapport van de WRR stelt zelfs dat in 2040 een op de vier mensen in de zorg moet werken om de oplopende werklast aan te kunnen. Kan Kunstmatige Intelligentie (AI) een uitkomst bieden? Petra Grijzen onderzoekt het potentieel van AI in het ziekenhuis. Wat gebeurt er nu al? En wat kunnen we verwachten?
BNN-PYNQを理解する(1) FAQ - tkato’s blog
3月以降、仕事が激しくなり、余暇もほとんど仕事に関わる分野の勉強に当てていました。 以下の5/20のイベント出席に向けて、DeepLearning x FPGAの勉強を再開しました。 「PYNQ祭り」延長戦 : FPGAディープラーニング実践懇親会 - connpass まずは、手近な勉強材料としてBNN-PYNQのソースを解析してみました。 勉強した内容は、ブログに何回かに分けて書きたいと思います。 尚、BNN-PYNQのソースコードは5/2時点で最新のものを使いました。 GitHub - Xilinx/BNN-PYNQ at a86e0863418ce4161ed61b69ba89ec1481014362 初回は、自分も含めて多くの人が気になりそうな話題について、ざっくりFAQ形式で書きたいと思います。 BNN-PYNQってなに？ ホビーFPGAボード"PYNQ(ピンク)“で動作するN
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Loading...
10 reasons why data scientists need to learn Java
Apache Kafka Streams + Machine Learning (Spark, TensorFlow, H2O.ai) - Java Code Geeks
【後藤弘茂のWeekly海外ニュース】iPhone Xの深層学習コア「Neural Engine」の方向性 - PC Watch
夢で見た景色を写真クオリティで書き出せる？ AIを用いた街並みの自動生成技術が話題に【やじうまWatch】
Overview of Changes in Tensorflow Version 1.3
GoogleがFacetsをリリース
