Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
(base) root@5d7f67ae9b0a:# ls bin boot dev etc handson-ml home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var (base) root@5d7f67ae9b0a:/# cd handson-ml/ (base) root@5d7f67ae9b0a:/handson-ml# ls 01_the_machine_learning_landscape.ipynb book_equations.ipynb 02_end_to_end_machine_learning_project.ipynb datasets 03_classification.ipynb docker 04_training_linear_models.ipynb extra_autodi
(base) root@5d7f67ae9b0a:# ls bin boot dev etc handson-ml home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var (base) root@5d7f67ae9b0a:/# cd handson-ml/ (base) root@5d7f67ae9b0a:/handson-ml# ls 01_the_machine_learning_landscape.ipynb book_equations.ipynb 02_end_to_end_machine_learning_project.ipynb datasets 03_classification.ipynb docker 04_training_linear_models.ipynb extra_autodi
論文を読んでたら**PSNR(Peak signal-to-noise ratio:ピーク信号対雑音比)**を訓練の評価に使っていたのがあったので、実装してみました。画像の拡大、縮小といった超解像ではよく出てくる概念です。 ざっくり言ってPSNRって? (拡大や縮小、圧縮などで)画像がどれだけ劣化をしたかを示す値。値が小さいほど劣化していて、大きいほど元の画像に近い。 Wikipediaによると以下の式で定義されます。 $$PSNR=10\cdot\log_{10}\frac{MAX_I^2}{MSE} $$ 本来の定義はこの式です。MSEは2つの画像の画素ごとの平均2乗誤差、$MAX_I$は画素値の取りうる最大の値で、0~255なら255、0~1.0なら1です。機械学習では大抵0~1のスケールに変換するため、後者の$MAX_I=1$が多いと思います。 なぜこれが劣化の尺度になるのかという
Object Detection APIで勾配降下法を変更したり、データ拡張を行う Object Detection APIのデータ拡張や勾配降下法の変更方法が、あまり投稿されていなかったので、メモしておきます。 対象者 Object Detection APIを使ったことがある方 勾配降下法を変更する デフォルトの状態 下記デフォルトの状態で、70行目あたりに下記のコードがあると思います。 この中のoptimizerの箇所を変更していきます。 train_config: { batch_size: 24 optimizer { rms_prop_optimizer: { learning_rate: { exponential_decay_learning_rate { initial_learning_rate: 0.004 decay_steps: 800720 decay_fact
ブラウザのGPUを利用してディープラーニングを実行できるライブラリTensorflow.jsを利用して手話数字を認識させてみました。こんな感じ。 デモ: Webcam Sign Language Digit Classification with TensorFlow.js 学習済みモデルをブラウザにアップロードすることで、ウェブカメラから手話画像を識別することができます。デモはHerokuの無料枠で公開してみました。 手話数字のデータセットはSign Language Digits Dataset - Kaggleより、0~9までの手話画像2,000枚(各200枚)を使いVGG16モデルを使い学習させています。 学習モデル作成はPython3+Kerasで行い、JavaScriptで読み込み可能な形式にコンバート(変換)します。その学習モデルを使いTensorFlow.jsとブラウザで推
本稿では、KerasベースのSeq2Seq(Sequence to Sequence)モデルによるチャットボットを、LSTM(Long short-term memory)単層のアーキテクチャで作成し、Google Colaboratory上で動作させてみます。 1. はじめに 本稿はSeq2SeqをKerasで構築し、チャットボットの作成を目指す投稿の2回目です。前回の投稿で、訓練データを準備しましたので、今回は単層LSTMのSeq2Seqニューラルネットワークを構築して、訓練と応答文生成を行います。 2. 本稿のゴール 以下のとおりです。 ニューラルネットワーク(単層LSTM)の構築と、訓練 応答文生成 なお、本稿の前提となる動作環境は、冒頭でも触れたとおり、Google Colaboratoryです。 ただし、Google Colaboratoryでは、TensorflowやKera
最近のサポート状況 自分のメモ用も兼ねて,horovodに最近どのような機能が追加されたか簡単に書きます. (2018/10/2 記載) GPUでのFP16サポート#529 allreduceするgradientをfloat32からFP16にキャストするというもの. こういう事しても,学習精度に影響ないのですかね?chinerMNも似たようなことやってそう. tf.keras#513 もともと,kerasはTensorflow専用ではありませんが, kerasがTensorflowに統合され高レベルのAPIの一つとして利用可能になりました. horovodでも対応したようです. hierachical allreduce algorithmの改善#411 NCCL ReduceScatter - Parallelized MPI Allreduce - NCCL Allgather を利用
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Define-by-run である Eager Execution がデフォルトとなり、 API も大きく変わりそうな tensorflow 2.0。 紹介の動画が詳しくそれらを説明してくれているので 英語のリスニング練習のために 大まかな内容を日本語に書き起こしました。 スクリーンショットはすべて上記動画のもので文章は基本的にはそれらの要点を引用し訳したものとなります。 訳は意訳で、細かい部分は書いていません。 動画の意図と異なる部分などありましたらご連絡ください。 最初に (このセクションは動画の翻訳ではありません) この動画では
BatchNormalization(以下BN)を入れると 過学習が起きにくくなるという事は経験的にわかっていましたが どこに入れればいいのか不明なので、簡単なCNNのモデルを作成し確認してみました BNの細かい説明はお魚の本P.186~を参照 データセットによって動きが変わることは十分考えられますので、参考程度にお願いします ただ、思ったよりも動きが変わって面白かったです ※△1 2018.10.7追記 上記の予想通り、データセットをcifer10に変更したところ BNを入れた方がlossが大きくなる結果となりました 検証はこちらに掲載します 簡単にまとめると データ数が十分に多く、モデルのパラメータが少ない 過学習が起きづらいモデルに対してBNを導入すると lossが大きくなるようです 確認環境 python3.6.6 Tensorflow:1.10.0 Keras:2.2.2 学習デ
本稿では、Seq2Seq(Sequence to Sequence)モデルによるチャットボットをKerasベースで作成するにあたり、学習用の日本語会話データ収集、整形、品詞分解手順を記述します。実行環境は、Google Colaboratoryを想定します。 1. はじめに Kerasは少ないコードでニューラルネットワークを構築することができ、大変重宝しています。あまりに便利なので、KerasベースでSeq2Seqを実装しようと思ったときにも、「Seq2Seqレイヤー」のようなものがすでにあって、1行で実装完了!などと言ったことを期待していましたが、残念ながらそうではありませんでした。 そこで、Keras : Ex-Tutorials : Seq2Seq 学習へのイントロを参考に、Kerasベースの日本語チャットボット作成に挑戦してみます。 2. 本稿のゴール 以下の段取りを踏んで、Seq
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く