AWS、MicrosoftやFacebookなどが推すAIフォーマット「ONNX」をサポート
AWS、MicrosoftやFacebookなどが推すAIフォーマット「ONNX」をサポート：ディープラーニングモデルのオープンフォーマットのエコシステムが拡大 ディープラーニングモデルのオープンフォーマット「ONNX」をサポートする、MicrosoftやFacebookなどの企業グループにAmazon Web Services（AWS）が加わった。 MicrosoftとFacebookは2017年11月16日（米国時間）、ディープラーニングモデルのオープンフォーマット「ONNX（Open Neural Network Exchange）」を、Amazon Web Services（AWS）がサポートしたことを明らかにした。 ONNXは、MicrosoftとFacebookによって共同で開発され、2017年9月に発表されたもの（参考）。異なるディープラーニングフレームワーク間で人工知能（A
Private Presentation
Private content!This content has been marked as private by the uploader.
97%の精度：教師なし学習でMNISTデータを分類する手法 - Qiita
はじめに クラスタリングとハッシュラーニングの部分を完全に理解することはできませんでした。有識者の方がいれば教えて欲しい・・・ 対象読者 教師なし学習で分類を行いたい方。一般的な機械学習の知識、コンピューターサイエンスの知識がある方が対象になります。 背景 教師データが用意できないタスクがある。 教師データが少量しか用意できないタスクがある。 教師なしデータはある。 上記の状況で有効な手法を探すために下記の論文を読みました。 Hu, Weihua, et al. "Learning Discrete Representations via Information Maximizing Self Augmented Training." arXiv preprint arXiv:1702.08720 (2017). 選んだ理由 精度が高い コードが公開されていて再現できそう ベースとなる手法
Essential Cheat Sheets for Machine Learning and Deep Learning Engineers
Machine learning is complex. For newbies, starting to learn machine learning can be painful if they don’t have the right resources to learn from. Most of the machine learning libraries are difficult to understand and the learning curve can be a bit frustrating. I am creating a repository on GitHub (cheatsheets-ai) containing cheatsheets for different machine learning frameworks, gathered from diff
RNNで「てにをは」を校正する - にほんごのれんしゅう
RNNで「てにをは」を校正する 余談 2017/3/19に、どの深層学習フレームワークがこれから深層学習を始める人におすすめなのかというアンケートをtwitterで取らせていただきました。 五位 Theano(個別カウント) はじめに RNNによる文章校正がリクルートによって提案されて以来、調査タスクとして私のものとに来たりして、「できるんでしょう？」とか軽く言われるけど、実際には簡単にはできません。 RNNによる文章生成ができるから、校正もできるというのが人間の自然な発想なのかもしれませんが、英語と日本語の違いに着目した場合、英語がアルファベットのみで構築されるのに比べて日本語は、漢字・ひらがな・カタカナと非常に多く、同じように問題を適応すると、すごい高次元の問題を解くこととなり、理想的なパフォーマンスになかなかなりません。 まぁ、あんまり完成してるわけでない技術を完成したようにプレスリ
ニューラルネットワークが持つ欠陥「破滅的忘却」を回避するアルゴリズムをDeepMindが開発
ゲームプレイを学習しながらスキルを向上させる「DQN」やプロの囲碁棋士を打ち破る「AlphaGo」などの開発で知られるGoogleのAI開発部門のDeepMindが、従来のニューラルネットワークが抱える欠点を解消するために、データを記憶することで連続的に学習できるアルゴリズム「Elastic Weight Consolidation」を開発しました。 Overcoming catastrophic forgetting in neural networks http://www.pnas.org/content/early/2017/03/13/1611835114.abstract Enabling Continual Learning in Neural Networks | DeepMind https://deepmind.com/blog/enabling-continual-l
教師なしRNNによる連続した不完全情報（主にテキスト）の補完 - にほんごのれんしゅう
教師なしRNNによる連続した不完全情報（主にテキスト）の補完 背景 Google（や、過去の私のブログの投稿）などで低解像度の映像を高解像度化する方法は、GANを使うことでわりとうまくいきました。 テキストにも同じような問題が適応できるのかって思うことがあります。RNNはすでに記述されている文字をヒントとして次の文字を予想することができます。 その特性を利用して、情報が失われたテキストから復元を試みる例を示します。 (また、戦時中の戦艦に乗っていた搭乗員の劣化した手記から情報を復元したいという思いがあります。手記の海水に沈み腐敗が進んでいたり、筆記が乱れていて解析が困難であったりという点を補完できれば良いと思います。彼らの思い、可能な限り現代に蘇らせたいと思います。) 先行研究 今回は見当たらない（ほんとに存在しないんだったら、論文出したい） 手法 RNNで欠落した連続する情報を周辺の単語
ニューラルネットワークの動物園 : ニューラルネットワーク・アーキテクチャのチートシート(前編) | POSTD
新しいニューラルネットワークのアーキテクチャがその時々で誕生するため、それら全部を把握することは困難です。全ての略語を覚えようとすると、最初はその数の多さに圧倒されてしまうでしょう（DCIGNやBiLSTM、DCGANを知っている人はいますか？）。 そんなわけで、これらのアーキテクチャの多くを盛り込んだチートシートを作ることにしました。そのほとんどはニューラルネットワークです。しかし、中には全く異なるアーキテクチャも潜んでいます。どれも独特で目新しいアーキテクチャばかりですが、ノードの構造を描くことで基本的な関係が分かりやすくなってきます。 これらをノードマップとして描くことの問題点は、これらがどのように使われるかを明確に示していないという点です。例えば、変分オートエンコーダ（VAE）はオートエンコーダ（AE）と同じように見えますが、実際は訓練過程が全く異なりますし、訓練したネットワークの
グーグル超え狙うディープラーニング企業「ガマロン」の野望 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
現在、世界中のテクノロジー企業がこぞって「ディープラーニング」を導入している。ディープラーニングとは、ディープ・ニューラル・ネットワークを用いた機械学習で、例えば猫をあらゆる角度から撮影した画像1万点をニューラルネットワークに学習させると、猫を認識できるようになる。しかし、犬の画像を混ぜてしまうと、システムに混乱が生じる。 AI開発を手掛けるスタートアップ「ガマロン（Gamalon）」は2月14日、数点のデータを学習させるだけで、ディープラーニングと同等の成果を挙げることが可能な機械学習技術の開発に成功したと発表した。 ガマロンは、統計モデルを用いた「ベイジアンプログラム合成」により、少ないデータ量で学習させることを可能にした。例えば、システムに猫のひげ、しっぽ、目の画像を学習させると、AIは自ら予測モデルを組み立ててそれが猫であると認識できるようになる。新たな情報が加わるとモデルが更新さ
SSD: Single Shot MultiBox Detector 高速リアルタイム物体検出デモをKerasで試す - Qiita
リアルタイムに物体検出するのってどうやるんだろう？と思い調べてみたら、想像以上に高機能なモデルが公開されていたので試してみました。こんな感じです。 自動運転で良く見るようなリアルタイムの物体認識をしています。このモデルは「Single Shot MultiBox Detector（SSD）」という深層学習モデルで、Kerasで動いています。 環境さえ整えればレポジトリをクローンして簡単に実行できます。今回はデモの実行方法をまとめてみます。 環境 ちょっと古いiMacにUbuntu16.04を入れたものを使いました。詳しくはこのへんとかこのへんをご参照ください。 SSD: Single Shot MultiBox Detector 深層学習を利用したリアルタイムの物体検出は次々と新しい技術が公開されているようです。ざっと調べたところ、R-CNN、Fast R-CNN、Faster R-CNN
CNN による画像分類で使われる前処理・テスト時処理まとめ - iwiwi 備忘録
とりあえず ImageNet 系の論文で、目に入ったものから順々にまとめていきます。情報・ツッコミ歓迎。 前処理・Data Augmentation Mean Subtraction 入力画像から平均を引く。[103.939, 116.779, 123.68] を各ピクセルから引く。VGG はこれ。 Per-pixel Mean Subtraction 入力画像から平均を引く。ピクセル・チャンネルごとに計算された平均を引く。即ち、224x224x3 個の値について個別に平均を計算し用いる。AlexNet 論文から使われており、ResNet もこれ。 Random Crop 256x256 ピクセルに画像をリサイズし、そこから 224x224 のパッチをランダムに取り出す。AlexNet 論文で使われていた。ちなみに Chainer の ImageNet サンプルはこれと Horizonta
府大生が趣味で世界一の認識精度を持つニューラルネットワークを開発してしまった論文を読んだ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Deep Learning Advent Calendar 2016の20日目の記事です。 ConvNetの歴史とResNet亜種、ベストプラクティスに関連スライドがあります（追記） 背景 府大生が趣味で世界一の認識精度を持つニューラルネットワークを開発してしまったようです。 M2の学生が趣味でやっていたCIFAR10とCIFAR100の認識タスクで，現時点での世界最高性能の結果を出したそうだ…趣味でっていうのが…https://t.co/HKFLXTMbzx — ニーシェス (@lachesis1120) 2016年12月7日 府
2008-07-01 - きしだのはてな - バックプロパゲーションでニューラルネットの学習
ニューラルネットというのは、入力があって、複数の階層を経て出力を得るようなグラフ構造のことです。通常は、入力層・中間層・出力層のように層構造になっているようなものを差します。中でも、中間層が1層の、３層構造になっているものが多くとりあげられます。バックプロパゲーションは、誤差逆伝播法とも言って、ニューラルネットワークのパラメータを学習するための手法です。 ニューラルネットについてのサイトや本では、中間層を多層に対応した一般的な表現で説明されることが多いのですが、なかなか式を読み解くのが難しかったりするので、今回は3層で入力が2パラメータ、出力は1つ、中間層のニューロンは2つという、単純なものを取り上げます。 では、3層ニューラルネットワークでの判定時のデータの流れを見てみます。 3層ということになっていますが、実際の処理は2層になっています。実装するときには2層だと考えたほうがわかりやすい
バックプロパゲーション
2.2.3 バックプロパゲーション～後向き演算１～ つぎに学習についてみていきましょう。結合荷重を修正していく過程、 つまり学習の過程を後向き演算といいます。 出力層のｉ番目のニューロンの教師信号はｔiとします。 バックプロパゲーションでは、誤差を小さくするように結合荷重を修正していきます。 そこで、まず誤差というものを定義しておきましょう。 まず、出力層の結合荷重の更新についてみていきましょう。 結合荷重Ｗkjに対する誤差Ｅの変化を見ればよいのですから、 ＥをＷkjで偏微分すればよいことになりますね。 したがってＷkjの修正量ΔWkjはこのようにあらわすことができます。 ηは学習係数といって、 １回あたりにどのくらい結合荷重を変化させるかをあらわしています。 あまり小さくすると学習回数が膨大になってしまうので、決めかたが難しく、 経験で決められている数です。 上の式をもう少し詳しく見てみ
機械学習を用いた異常検知入門
oscセミナー発表資料です。誤字は気にしないでください。 口頭で説明を足したところがあるため、曖昧な説明となっている箇所があったりします、ごめんなさい。
Keras.js – 機械学習をブラウザ上で実行できるJSライブラリ、GPUパワーを使用 【@maskin】 | TechWave（テックウェーブ）
1990年代初頭から記者としてまた起業家としてITスタートアップ業界のハードウェアからソフトウェアの事業創出に関わる。シリコンバレーやEU等でのスタートアップを経験。日本ではネットエイジ等に所属、大手企業の新規事業創出に協力。ブログやSNS、LINEなどの誕生から普及成長までを最前線で見てきた生き字引として注目される。通信キャリアのニュースポータルの創業デスクとして数億PV事業に。世界最大IT系メディア（スペイン）の元日本編集長、World Innovation Lab(WiL)などを経て、現在、スタートアップ支援側の取り組みに注力中。 Pythonで書かれたディープラーニング用ニューラルネットワークライブラリ「Keras」を、ウェブブラウザ上で実行するJavaScriptライブラリ「Keras.js」が登場した。 そもそも「Keras」は、Googleが提供するオープンソースの機械学習・
機械学習/深層学習について調べてみた。 | ARAYA Inc.
しかし依然として『深層学習』に再挑戦するのは難しいと感じていました。そこでグーグルでひたすらディープラーニング関係の情報を収集し続けました。ということで今回は学習の過程で参考にさせていただいた資料をQ&A形式で紹介していこうと思います。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
TFUG#3 RettyにおけるDeep Learningの自然言語処理への応用事例 - Speaker Deck
DeNAにおける機械学習・深層学習活用
