Object Detection APIで勾配降下法を変更したり、データ拡張を行う - Qiita
Object Detection APIで勾配降下法を変更したり、データ拡張を行う Object Detection APIのデータ拡張や勾配降下法の変更方法が、あまり投稿されていなかったので、メモしておきます。 対象者 Object Detection APIを使ったことがある方 勾配降下法を変更する デフォルトの状態 下記デフォルトの状態で、70行目あたりに下記のコードがあると思います。 この中のoptimizerの箇所を変更していきます。 train_config: { batch_size: 24 optimizer { rms_prop_optimizer: { learning_rate: { exponential_decay_learning_rate { initial_learning_rate: 0.004 decay_steps: 800720 decay_fact
【TensorFlow.js】ブラウザで手話数字認識【前編：Python編】 - Qiita
ブラウザのGPUを利用してディープラーニングを実行できるライブラリTensorflow.jsを利用して手話数字を認識させてみました。こんな感じ。 デモ: Webcam Sign Language Digit Classification with TensorFlow.js 学習済みモデルをブラウザにアップロードすることで、ウェブカメラから手話画像を識別することができます。デモはHerokuの無料枠で公開してみました。 手話数字のデータセットはSign Language Digits Dataset - Kaggleより、0~9までの手話画像2,000枚（各200枚）を使いVGG16モデルを使い学習させています。 学習モデル作成はPython3+Kerasで行い、JavaScriptで読み込み可能な形式にコンバート（変換）します。その学習モデルを使いTensorFlow.jsとブラウザで推
Kerasで実装するSeq2Seq −その２ 単層LSTM - Qiita
本稿では、KerasベースのSeq2Seq（Sequence to Sequence）モデルによるチャットボットを、LSTM(Long short-term memory)単層のアーキテクチャで作成し、Google Colaboratory上で動作させてみます。 １． はじめに 本稿はSeq2SeqをKerasで構築し、チャットボットの作成を目指す投稿の2回目です。前回の投稿で、訓練データを準備しましたので、今回は単層LSTMのSeq2Seqニューラルネットワークを構築して、訓練と応答文生成を行います。 ２． 本稿のゴール 以下のとおりです。 ニューラルネットワーク（単層LSTM）の構築と、訓練 応答文生成 なお、本稿の前提となる動作環境は、冒頭でも触れたとおり、Google Colaboratoryです。 ただし、Google Colaboratoryでは、TensorflowやKera
horovodの動向メモ - Qiita
最近のサポート状況 自分のメモ用も兼ねて，horovodに最近どのような機能が追加されたか簡単に書きます． (2018/10/2 記載) GPUでのFP16サポート#529 allreduceするgradientをfloat32からFP16にキャストするというもの． こういう事しても，学習精度に影響ないのですかね？chinerMNも似たようなことやってそう． tf.keras#513 もともと，kerasはTensorflow専用ではありませんが， kerasがTensorflowに統合され高レベルのAPIの一つとして利用可能になりました． horovodでも対応したようです． hierachical allreduce algorithmの改善#411 NCCL ReduceScatter - Parallelized MPI Allreduce - NCCL Allgather を利用
tensorflow 2.0 の紹介（日本語訳）
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Define-by-run である Eager Execution がデフォルトとなり、 API も大きく変わりそうな tensorflow 2.0。 紹介の動画が詳しくそれらを説明してくれているので 英語のリスニング練習のために 大まかな内容を日本語に書き起こしました。 スクリーンショットはすべて上記動画のもので文章は基本的にはそれらの要点を引用し訳したものとなります。 訳は意訳で、細かい部分は書いていません。 動画の意図と異なる部分などありましたらご連絡ください。 最初に （このセクションは動画の翻訳ではありません） この動画では
BatchNormalizationはどこに入れればいいのか?(CNN編①） - Qiita
BatchNormalization（以下BN）を入れると 過学習が起きにくくなるという事は経験的にわかっていましたが どこに入れればいいのか不明なので、簡単なCNNのモデルを作成し確認してみました BNの細かい説明はお魚の本P.186～を参照 データセットによって動きが変わることは十分考えられますので、参考程度にお願いします ただ、思ったよりも動きが変わって面白かったです ※△１ 2018.10.7追記 上記の予想通り、データセットをcifer10に変更したところ BNを入れた方がlossが大きくなる結果となりました 検証はこちらに掲載します 簡単にまとめると データ数が十分に多く、モデルのパラメータが少ない 過学習が起きづらいモデルに対してBNを導入すると lossが大きくなるようです 確認環境 python3.6.6 Tensorflow:1.10.0 Keras：2.2.2 学習デ
Streaming RNNs in TensorFlow – Mozilla Hacks - the Web developer blog
The Machine Learning team at Mozilla Research continues to work on an automatic speech recognition engine as part of Project DeepSpeech, which aims to make speech technologies and trained models openly available to developers. We’re hard at work improving performance and ease-of-use for our open source speech-to-text engine. The upcoming 0.2 release will include a much-requested feature: the abili
Kerasで実装するSeq2Seq －その１ 日本語訓練データの準備 - Qiita
本稿では、Seq2Seq（Sequence to Sequence）モデルによるチャットボットをKerasベースで作成するにあたり、学習用の日本語会話データ収集、整形、品詞分解手順を記述します。実行環境は、Google Colaboratoryを想定します。 １． はじめに Kerasは少ないコードでニューラルネットワークを構築することができ、大変重宝しています。あまりに便利なので、KerasベースでSeq2Seqを実装しようと思ったときにも、「Seq2Seqレイヤー」のようなものがすでにあって、1行で実装完了！などと言ったことを期待していましたが、残念ながらそうではありませんでした。 そこで、Keras : Ex-Tutorials : Seq2Seq 学習へのイントロを参考に、Kerasベースの日本語チャットボット作成に挑戦してみます。 ２． 本稿のゴール 以下の段取りを踏んで、Seq
GPU/TPU で Mandelbrot (Google Colaboratory 編) - Qiita
TensorFlow？ Google Colaboratory で TPU が使えるということで盛り上がっているようなので、訳の分からぬまま使ってみることにしてみました。Qiita 等各種記事を見る限り、TensorFlow というライブラリから呼び出すようになっているようです。 TensorFlow というものを調べてみると、どうも配列演算のサブルーチン集のようで、Fortran でいえば、’70年代や’80年代のアレイプロセッサ時代に逆戻りしたような趣きです。ただリダクション演算が拡張されていて、指定の任意の Rank 間でリダクション演算ができるようになっています。これは、Fortran で不満に思う所なので中々気が利くなと思いました。Tensor の名前の由来と思われます。 けしからんことに、各種言語用の API が用意されているのに、最もふさわしいと思われる Fortran 用が
Python×Keras×GANチュートリアル 人工知能でファッション生成（１） - Qiita
GANでファッションショー この記事の目的 人工知能界隈を賑わせるGANについて、実装しながら学ぼうという企画です。 PythonとKerasを使えば、なんと１８０行くらいでGANによる画像生成ができちゃいます。しかも、学習にかかる時間は数分。使用するデータセットは https://github.com/zalandoresearch/fashion-mnist mnist_fashionです。mnist_fashionは、mnistと同じ２８×２８の画像データセットです。mnistと同じ形式で、様々なファッション画像を保存したデータベースです。数字より、服のほうが圧倒的面白いので、こっちを使うことにしました。なお、ダウンロードはプログラムでカンタンにできるので、事前にする必要はありません。 この記事を書くにあたっては https://github.com/eriklindernoren/
初心者向けにTensorFlowのseq2seqでどのパラメータを使えば良いか適当に解説する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 電車が運転見合わせになって時間ができた（？）ので、暇つぶしがてら初心者向けにTensorFlowのNMT (ニューラル機械翻訳）サンプルで指定できるパラメータについてざっくり解説しようと思う。使う人が増えて「俺が考えた最強のネットワーク」が増えるといいなと思う。TensorFlow公式のNMTのサンプルは良く出来てて、seq2seqをとりあえず使ってみるなら適当な入力データを用意すれば使えてしまう。ちなみに、、、筆者は機械学習バリバリだが深層学習バリバリって訳ではないので、情報が間違っていたら深層学習強者の皆様からあたたかいコ
Pointer-Generator Networksで要約をしてみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 抽象型要約の手法であるPointer-Generator NetworksをChainerで動くようにしてみました。 Pointer-Generator Networksについて Pointer-Generator Networksは抽象型要約としてsequence to sequenceを使うアイディアを発展させたものです。 先行研究として、CopyNetがあります。CopyNetに関してはqiitaに解説記事があります。 今更ながらchainerでSeq2Seq（3）〜CopyNet編〜 - Qiita 既存のseq2seqは未知語
Google ColaboratoryのTPUを試してみる
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TL;DR ColabのTPUを使って今すぐCNNを試してみよう。ものすごい速いぞ。 はじめに 9/26夜、Google Colaboratoryユーザーに激震が走った。 **ハードウェアアクセラレータにTPUが使えるようになってる！？**TPU(Tensor Processing Unit)凄さはこのニュースを見れば恐ろしいほど伝わってくる。 COOL Chips 21 - GoogleのWebサービスを支える「TPU」 https://news.mynavi.jp/article/20180424-621091/ TPU v1はIn
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
方策勾配法を使ってFlappyBirdを学習させる - Qiita
Deploying Keras Deep Learning Models with Flask
GoogleのTPUを使って、佐藤健と亀梨和也を人よりも賢く見分けたい - Qiita
Deploying Keras Deep Learning Models with Flask
Webコンテンツ抽出のvision-based CNN (自作) - Qiita
Keras - Qiita
Deploying Keras Deep Learning Models with Flask