MatplotlibでRuntimeError,ImportErrorになった時の対処法 経緯 Pythonの学習を進めている途中で以下のようなエラーにぶち当たり、色々試行錯誤して理解しました。せっかくなのでそれを解決するに至ったストーリーをQiitaの練習がてら残します。。。 該当のコード /Users/MYNAME/.pyenv/versions/anaconda3-5.1.0/envs/Pycharm_test/bin/python /Users/MYNAMEo/math_training/liner_function Traceback (most recent call last): File "/Users/MYNAME/math_training/liner_function", line 3, in <module> import matplotlib.pyplot as
Object Detection APIで勾配降下法を変更したり、データ拡張を行う Object Detection APIのデータ拡張や勾配降下法の変更方法が、あまり投稿されていなかったので、メモしておきます。 対象者 Object Detection APIを使ったことがある方 勾配降下法を変更する デフォルトの状態 下記デフォルトの状態で、70行目あたりに下記のコードがあると思います。 この中のoptimizerの箇所を変更していきます。 train_config: { batch_size: 24 optimizer { rms_prop_optimizer: { learning_rate: { exponential_decay_learning_rate { initial_learning_rate: 0.004 decay_steps: 800720 decay_fact
ブラウザのGPUを利用してディープラーニングを実行できるライブラリTensorflow.jsを利用して手話数字を認識させてみました。こんな感じ。 デモ: Webcam Sign Language Digit Classification with TensorFlow.js 学習済みモデルをブラウザにアップロードすることで、ウェブカメラから手話画像を識別することができます。デモはHerokuの無料枠で公開してみました。 手話数字のデータセットはSign Language Digits Dataset - Kaggleより、0~9までの手話画像2,000枚(各200枚)を使いVGG16モデルを使い学習させています。 学習モデル作成はPython3+Kerasで行い、JavaScriptで読み込み可能な形式にコンバート(変換)します。その学習モデルを使いTensorFlow.jsとブラウザで推
1.概要 そういえば某ビジネス系オンラインメディアのPV推移を個人的な趣味で定点観測しているのですが、そのオンラインメディアのADページで、PVやUB(UniqueBrowser)の数値をHTMLページのTableタグで表記して公開している事に気付いたので、最近覚えたGoogle colaboratoryを使ってPandasのread_HTML()でPV数値を読み込んで、Matplotlibでグラフ描画しようというのが、本イシューの趣旨。 (注:今まで1個1個PVやUBの数値をExcel等にてコピペしてグラフ描画する的な作業をやっていたけれど、その作業が超絶面倒くさいので、数値取得からグラフ描画までをpython用いて全自動で描画して楽をしよう今流行りのRPA業務自動化?というものを目指そうというのが本イシューの趣旨) ※東洋経済広告HP [デジタル広告]-[東洋経済オンラインとは] ht
本稿では、KerasベースのSeq2Seq(Sequence to Sequence)モデルによるチャットボットを、LSTM(Long short-term memory)単層のアーキテクチャで作成し、Google Colaboratory上で動作させてみます。 1. はじめに 本稿はSeq2SeqをKerasで構築し、チャットボットの作成を目指す投稿の2回目です。前回の投稿で、訓練データを準備しましたので、今回は単層LSTMのSeq2Seqニューラルネットワークを構築して、訓練と応答文生成を行います。 2. 本稿のゴール 以下のとおりです。 ニューラルネットワーク(単層LSTM)の構築と、訓練 応答文生成 なお、本稿の前提となる動作環境は、冒頭でも触れたとおり、Google Colaboratoryです。 ただし、Google Colaboratoryでは、TensorflowやKera
最近のサポート状況 自分のメモ用も兼ねて,horovodに最近どのような機能が追加されたか簡単に書きます. (2018/10/2 記載) GPUでのFP16サポート#529 allreduceするgradientをfloat32からFP16にキャストするというもの. こういう事しても,学習精度に影響ないのですかね?chinerMNも似たようなことやってそう. tf.keras#513 もともと,kerasはTensorflow専用ではありませんが, kerasがTensorflowに統合され高レベルのAPIの一つとして利用可能になりました. horovodでも対応したようです. hierachical allreduce algorithmの改善#411 NCCL ReduceScatter - Parallelized MPI Allreduce - NCCL Allgather を利用
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Define-by-run である Eager Execution がデフォルトとなり、 API も大きく変わりそうな tensorflow 2.0。 紹介の動画が詳しくそれらを説明してくれているので 英語のリスニング練習のために 大まかな内容を日本語に書き起こしました。 スクリーンショットはすべて上記動画のもので文章は基本的にはそれらの要点を引用し訳したものとなります。 訳は意訳で、細かい部分は書いていません。 動画の意図と異なる部分などありましたらご連絡ください。 最初に (このセクションは動画の翻訳ではありません) この動画では
BatchNormalization(以下BN)を入れると 過学習が起きにくくなるという事は経験的にわかっていましたが どこに入れればいいのか不明なので、簡単なCNNのモデルを作成し確認してみました BNの細かい説明はお魚の本P.186~を参照 データセットによって動きが変わることは十分考えられますので、参考程度にお願いします ただ、思ったよりも動きが変わって面白かったです ※△1 2018.10.7追記 上記の予想通り、データセットをcifer10に変更したところ BNを入れた方がlossが大きくなる結果となりました 検証はこちらに掲載します 簡単にまとめると データ数が十分に多く、モデルのパラメータが少ない 過学習が起きづらいモデルに対してBNを導入すると lossが大きくなるようです 確認環境 python3.6.6 Tensorflow:1.10.0 Keras:2.2.2 学習デ
#! /usr/bin/python # # csv_create.py # # Oct/01/2018 # ------------------------------------------------------------------ import sys import pandas as pd # # ------------------------------------------------------------------ sys.stderr.write("*** 開始 ***\n") # df = pd.DataFrame([ ["t1271","千葉",59476,"2003-9-21"], ["t1272","勝浦",49573,"2003-3-14"], ["t1273","市原",29471,"2003-6-25"], ["t1274","流山",39872
#! /usr/bin/python # # json_create.py # # Oct/01/2018 # ------------------------------------------------------------------ import sys import pandas as pd # # ------------------------------------------------------------------ sys.stderr.write("*** 開始 ***\n") # df = pd.DataFrame({'t0921': ["宇都宮",41295,"2003-8-12"], 't0922': ["小山",41298,"2003-8-12"], 't0923': ["佐野",31925,"2003-5-20"], 't0924': ["足利",
#! /usr/bin/python # -*- coding: utf-8 -*- # # xlsx_create.py # # Oct/01/2018 # ------------------------------------------------------------------ import sys import pandas as pd # # ------------------------------------------------------------------ sys.stderr.write("*** 開始 ***\n") # df = pd.DataFrame([ ["t1271","千葉",59476,"2003-9-21"], ["t1272","勝浦",49573,"2003-3-14"], ["t1273","市原",29471,"2003-6-
#! /usr/bin/python # -*- coding: utf-8 -*- # # sqlite3_create.py # # Oct/01/2018 # ------------------------------------------------------------------ import sys import pandas as pd # import sqlite3 # ------------------------------------------------------------------ sys.stderr.write("*** 開始 ***\n") # df = pd.DataFrame([ ["t1271","千葉",51476,"2003-9-25"], ["t1272","勝浦",42573,"2003-3-16"], ["t1273","
#! /usr/bin/python # -*- coding: utf-8 -*- # # mariadb_create.py # # Oct/01/2018 # ------------------------------------------------------------------ import sys import pandas as pd # import mysql.connector from sqlalchemy import create_engine # ------------------------------------------------------------------ sys.stderr.write("*** 開始 ***\n") # df = pd.DataFrame([ ["t1271","千葉",51476,"2003-9-25"],
#! /usr/bin/python # # postgre_create.py # # Mar/05/2023 # ------------------------------------------------------------------ import sys import pandas as pd # from sqlalchemy import create_engine # ------------------------------------------------------------------ sys.stderr.write("*** 開始 ***\n") # df = pd.DataFrame([ ["t1271","千葉",58471,"2003-9-25"], ["t1272","勝浦",49523,"2003-3-16"], ["t1273","市原
# ! /usr/bin/python # -*- coding: utf-8 -*- # # html_create.py # # Oct/01/2018 # ------------------------------------------------------------------ import sys import pandas as pd # # ------------------------------------------------------------------ sys.stderr.write("*** 開始 ***\n") # df = pd.DataFrame([ ["t1271","千葉",93416,"2003-11-5"], ["t1272","勝浦",47573,"2003-6-14"], ["t1273","市原",28451,"2003-9
前回までは属性に対しての解析だったので今度は画像を分類わけしてみることにした。 といっても、右も左もわからない状態がどうやって進んだのか?という参考になればという程度のメモである。 犬猫 試してみたのはこっちのコンペのデータ https://www.kaggle.com/c/dogs-vs-cats 犬か猫かを分類しようぜというやつだ。 データ確認 DLしながらデータセットの中身を確認 The training archive contains 25,000 images of dogs and cats. Train your algorithm on these files and predict the labels for test1.zip (1 = dog, 0 = cat). といっても、データを確認するも何もない。 画像を犬(1)か猫(0)に分類しろってだけな模様。 どこか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く