ニューラルネットワークにおける「宝くじ仮説(Lottery Ticket Hypothesis)」 | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
こんにちは。データサイエンスチームのtmtkです。 この記事では、ニューラルネットワークの機械学習における「宝くじ仮説（Lottery Ticket Hypothesis）」について、解説・実験します。 はじめに 「The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks（宝くじ仮説：訓練できる疎なニューラルネットワークを見つけること）」というJonathan Frankle氏とMichael Carbin氏による論文があります。この論文は2018年3月にarXivで公開され、2019年5月にはディープラーニングのカンファレンスであるICLR 2019でBest Paper Awardに選ばれました。 この論文では、「宝くじ仮説（The Lottery Ticket Hypothesis）」というニュー
Standardizing on Keras: Guidance on High-level APIs in TensorFlow 2.0
Posted by Sandeep Gupta, Josh Gordon, and Karmel Allison on behalf of the TensorFlow team TensorFlow is preparing for the release of version 2.0. In this article, we want to preview the direction TensorFlow’s high-level APIs are heading, and answer some frequently asked questions. Keras is an extremely popular high-level API for building and training deep learning models. It’s used for fast protot
Posit AI Blog: You sure? A Bayesian approach to obtaining uncertainty estimates from neural networks
You sure? A Bayesian approach to obtaining uncertainty estimates from neural networks In deep learning, there is no obvious way of obtaining uncertainty estimates. In 2016, Gal and Ghahramani proposed a method that is both theoretically grounded and practical: use dropout at test time. In this post, we introduce a refined version of this method (Gal et al. 2017) that has the network itself learn h
Kerasでメモリに乗り切らないぐらいの大量データを学習するたった1つの方法 - WonderPlanet Developers’ Blog
こんにちは。アドバンストテクノロジー部のR&Dチーム所属岩原です。 今回はKerasを使ってメモリに乗り切らないぐらいの大量データを学習させる方法について紹介したいと思います。 個人的にハマったポイントなので、同じように困ってる方々の力になれれば…と思ってます。 Kerasとは何ぞや、とか使い方云々はまた別途記事を書きたいと思います。 対象読者 Kerasを使ってある程度の学習は出来る人 Pythonがある程度読める人 Unix系OSでKerasを動かしている人 今回はモデルの構築などは省略しています。 確認環境 Python：3.6.1 Keras：2.0.8 tensorflow-gpu：1.3.0 (今回は特に関係ありません) 想定場面 それでは、具体的な場面を想定してみましょう。 クエストのログを使って学習したい。クリア or notのデータがcsvデータとして手元にある。 クレン
gensimを使ってKerasのEmbedding層を取得する - Ahogrammer
2017/06/21にリリースされた gensim 2.2.0 から Keras との統合機能が導入されました。 具体的には、Word2vec の Keras 用ラッパが導入されました。 これにより、gensim で分散表現を学習した後に、その重みを初期値として設定した Keras の Embedding層を取得できるようになりました。 本記事では、実際に gensim の Keras 統合機能を試してどのようなものなのか確認してみたいと思います。 実装 今回は、Word2vec の Keras 用ラッパーを使って、モデルを実装していきたいと思います。 具体的には 20NewsGroupsデータセットを用いて文書分類タスクに使用する例を示します。 以下の手順で実装していきます。 必要なライブラリのインストール Word2vec の学習と Embedding層の取得 モデルの構築 インストー
FAQ - Keras Documentation
Keras FAQ: Kerasに関するよくある質問 Kerasを引用するには？ KerasをGPUで動かすには？ KerasをマルチGPUで動かすには？ "sample","batch"，"epoch" の意味は？ Keras modelを保存するには？ training lossがtesting lossよりもはるかに大きいのはなぜ？ 中間レイヤーの出力を得るには？ メモリに載らない大きさのデータを扱うには？ validation lossが減らなくなったときに学習を中断するには？ validation splitはどのように実行されますか？ 訓練時にデータはシャッフルされますか？ 各epochのtraining/validationのlossやaccuracyを記録するには？ レイヤーを "freeze" するには？ stateful RNNを利用するには？ Sequentialモデ
【Python】 KerasでU-Net構造ネットワークによるセグメンテーションをする - 旅行好きなソフトエンジニアの備忘録
ここ（Daimler Pedestrian Segmentation Benchmark）から取得できるデータセットを使って、写真から人を抽出するセグメンテーション問題を解いてみます。U-Netはここ（ U-Net: Convolutional Networks for Biomedical Image Segmentation ）で初めて発表された構造と思いますが、セグメンテーション問題にMax Poolingを使うのは良くないといった話があったり、Batch Normalization等も使いたいということで、pix2pixのGeneratorとして利用されているU-Net構造のネットワークを利用します。 github.com 実行環境は以下になります。 Windows10 64bit Python3.5.2 Keras2.0.4 BackendはTensorflow CPU版 まずは
Kerasの学習過程をスマホで見る - Qiita
2017/12/18追記 下のアイディアを、もっと扱いやすい形でHyperdash公式に取り込んでもらえました！（PullRequest） まだドキュメントは無いようですが、以下の仕組みが理解できれば使えるものだと思います。また今度記事書こうと思います。 「ネットワークのトレーニング時間かかるし一日置いとくか」と放置していたら、最初の方でつまづいていたりすることがよくあります。次の日に気づくと悲惨です！ そこで、スマホアプリでリアルタイムに学習経過を見ることのできる便利なサービスhyperdashを使いましょう。 インストールや基本的な動かし方は公式ページにあります。 この記事では少し応用してKerasのコールバックから、hyperdashのapiにつなげる方法を紹介します。 とは言っても、次の二つのファイルを用意するだけで終わりです。 実行は普段通りpython train.pyでOK!
PyCallを使えばRubyでもKerasでDeep Learningができる - 洋食の日記
mrknさんが開発しているPyCallを使うと、RubyからPythonオブジェクトを操作できる。 Rubyから、Pythonの機械学習・統計分析のツールを利用することを目的としており、 ネット上にもnumpyやscikit-learnを実行する例があがっている。 Rubyist Magazine - PyCall があれば Ruby で機械学習ができる このPyCallで、Kerasを叩くことができれば、RubyでもDeep Learningできると思い試してみた。 まずはインストールから。 $ gem install --pre pycall ちなみに、実行環境をまとめると、Ruby 2.4.0、PyCall 0.1.0.alpha.20170317、Python 3.6.0、Theano 0.9.0、Keras 2.0.2である。 試したのは、MNISTの手書き数字画像を、畳み込みニ
Building powerful image classification models using very little data
Note: this post was originally written in June 2016. It is now very outdated. Please see this guide to fine-tuning for an up-to-date alternative, or check out chapter 8 of my book "Deep Learning with Python (2nd edition)". In this tutorial, we will present a few simple yet effective methods that you can use to build a powerful image classifier, using only very few training examples --just a few hu
モデル圧縮 - nico-opendata
nico-opendata niconicoでは、学術分野における技術発展への寄与を目的として、 研究者の方を対象に各種サービスのデータを公開しています。 ニコニコ動画コメント等データセット (株)ドワンゴ及び(有)未来検索ブラジルと国立情報学研究所が協力して研究者に提供しているデータセットです。 ニコニコ動画コメント等のデータが利用可能です。 利用申請フォーム※国立情報学研究所へリンクします ニコニコ大百科データ (株)ドワンゴ及び(有)未来検索ブラジルと国立情報学研究所が協力して研究者に提供しているデータセットです。 ニコニコ大百科のデータが利用可能です。 利用申請フォーム※国立情報学研究所へリンクします Nico-Illustデータセット Comicolorization: Semi-Automatic Manga Colorization Chie Furusawa*、Kazuyu
fast.ai - fast.ai—Making neural nets uncool again
Courses: Practical Deep Learning for Coders; From Deep Learning Foundations to Stable Diffusion Software: fastai for PyTorch; nbdev Book: Practical Deep Learning for Coders with fastai and PyTorch In the news: The Economist; The New York Times; MIT Tech Review Corporate partner program: Get help with fast.ai technologies & courses from the partner program Blog
Kerasでちょっと難しいModelやTrainingを実装するときのTips - Qiita
はじめに ※ Keras2 を対象にしています。 Kerasのコードはシンプルでモジュール性が高いのでシンプルに記述可能で、理解しやすく使いやすいです。 ただし、標準で用意されている以外のLayerや学習をさせようとすると、あまりサンプルがなくてどう書いていいかわからなくなることが多いです。 最近いくつか変わったModelを書いた時に学んだTipsを備忘録も兼ねて共有します。 目次 Functional APIを使おう Weightを共有したい場合は Container を使うと便利 「LayerのOutput」と「生のTensor」は似て非なるもの Lambdaを使った簡易変換は便利 カスタムなLoss FunctionはSample別にLossを返す LayerじゃないところからLoss関数に式を追加したい場合 学習時にパラメータを更新しつつLossに反映した場合
KerasでVGG16を使う - 人工知能に関する断創録
今回は、Deep Learningの画像応用において代表的なモデルであるVGG16をKerasから使ってみた。この学習済みのVGG16モデルは画像に関するいろいろな面白い実験をする際の基礎になるためKerasで取り扱う方法をちゃんと理解しておきたい。 ソースコード: test_vgg16 VGG16の概要 VGG16*1は2014年のILSVRC（ImageNet Large Scale Visual Recognition Challenge）で提案された畳み込み13層とフル結合3層の計16層から成る畳み込みニューラルネットワーク。層の数が多いだけで一般的な畳み込みニューラルネットと大きな違いはなく、同時期に提案されたGoogLeNetに比べるとシンプルでわかりやすい。ImageNetと呼ばれる大規模な画像データセットを使って訓練したモデルが公開されている。 VGG16の出力層は1000
Information Dropoutの数理とKeras実装
※ This is a Japanese version. The English version is here. Information Dropoutという手法がある。 元々は深層学習の過学習を避けるために提案されていたテクニックであるDropoutを、与えられたタスクに対する最適なデータの表現を学習するInformation Bottleneckの観点から一般化する、という内容である。 この論文は2016年11月4日にarXivに初稿がアップされ(arXiv:1611.01353)、ICLR2017に投稿されていた。 残念ながら採択はされなかったが、レビュー結果には The authors all agree that the theory presented in the paper is of high quality and is promising but the expe
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Keras U-Net starter - LB 0.277
Fine-tuning Convolutional Neural Network on own data using Keras Tensorflow
https://rstudio.github.io/keras/
Display Deep Learning Model Training History in Keras - MachineLearningMastery.com
Transfer Learning: Keras Xception CNN