TensorFlow内部構造解析 (4.4) 計算グラフ最適化処理1 Grappler - Qiita
1. Layout Optimizer ソースコード：tensorflow/core/grappler/optimizers/layout_optimizer.cc TensorFlowがデフォルトで採用するデータフォーマットはNHWC形式ですが、GPUに最適なデータフォーマットはNCHW形式です。 このため、GPUで実行するノードについてはNCHW形式のデータフォーマットで実行するように計算グラフを変形することで、GPUで最適な演算が行えるようにします。 なお、計算グラフを変形するときに、必要に応じてNCHW→NHWCまたはNHWC→NCHWのデータフォーマット変換を行うためのTransposeノードを挿入し、計算グラフ内でデータフォーマットの一貫性が取れていることを保証します。 2. Model Pruner ソースコード：tensorflow/core/grappler/optimi
jupyter notebook上でkeras+tensorflow-gpuで学習するとGPUメモリが開放されなくて困ってる - Qiita
環境 windows10 64bit cpu: Ryzen7 1700X gpu: GTX1080Ti CUDA9.0 cuDNN7.3.1 for cuda9.0 python3.6 tensorflow-gpu 1.11.0 keras 2.2.4 やったこと jupyter notebookで実行後にgc.collect() jupyter notebookで実行後にdel model 1つのclassにまとめてjupyter notebookで実行後インスタンスをdelする pyファイルにまとめてjupyter notebookから%runで呼ぶ terminalでpyファイルを実行 pycharmでpyファイルを実行 何故やったか GPU使った画像認識をjupyter notebookでやろうとしたんですが、2回目以降学習が止まってしまって困りました。nvidia-smiでメモリ
Ubuntu 18.04(Corei7-7700,GTX1050)へのCUDA、TensorFlowインストール方法 - Qiita
自作のPCにUbuntu18.04とTensorFlowをインストールした内容を紹介します。 ■PCの構成とセットアップ 構成は以下の通りです。 MB：Asrock Fatal1ty Z270 Gaming-ITX/ac グラフィック出力：HDMI,DisplayPort(２台の4Kのモニターに対応） Tunderbolt 3 ( (USB Type-C)、Ultra M.2(PCIe Gen3 x 4) CPU：Intel Corei7-7700、メモリ：DDR4 8GBx2 SSD：M.2 2280 512GB HDD：STA3 2TB VGA: GTX1050Ti 4GB(CUDA用GPU） BIOS更新・設定 モニターはMB（マザーボード）のグラフィック出力に接続します。 PC起動後、表示がなければGPUのVGAカードの端子にディスプレイを接続しBios設定画面で、Priority
Python：統計量の母数推定（非線形回帰の応用） - Qiita
2018.10.25 プログラムを母数推定部（計算のみ）と作図部の２部に書き換え はじめに 2018年10月10日に海外での業務完了につき帰国した．現在は休暇中であり，のんびりしているが，全く何もやらないのもちょっと気が引けたので，仕事の練習として，Pythonを使った非線形回帰のプログラムを作ってみた．昔は同じことをFortranプログラムでやっていたが，scipyの統計関数や，非線形回帰機能を使うことにより，非常にシンプルにやりたいことを実現できることを確認した． やっていることは，観測値を，仮定した確率分布関数に回帰し，母数（確率分布関数における係数）を推定するというものである．母数推定の方法は，これまでに積率法（モーメント法）などが研究されてきたが，ここでは Python：scipy の optimize.leastsq を用いる方法をとっている． 例として用いる観測値は，筆者の自
dockerで機械学習(35) with anaconda(35)「scikit-learn Cookbook」 2nd Edition By Trent Hauck, Julian Avila - Qiita
(base) root@a221771835f7:/scikit-learn/sklearn# python setup.py non-existing path in '__check_build': '_check_build.c' Appending sklearn.__check_build configuration to sklearn Ignoring attempt to set 'name' (from 'sklearn' to 'sklearn.__check_build') Appending sklearn._build_utils configuration to sklearn Ignoring attempt to set 'name' (from 'sklearn' to 'sklearn._build_utils') Appending sklearn.s
np.choiceとchainer.utils.WalkerAliasの速度対決 - Qiita
import numpy as np import chainer from time import time import matplotlib.pyplot as plt %matplotlib inline loops = 10 # for taking average verc_size = 10 ** np.arange(1, 7) # i n_samples = 10 ** np.arange(1, 7) # j t_choice = np.zeros((len(verc_size), len(n_samples))) t_alias = np.zeros((len(verc_size), len(n_samples))) t_aliasv = np.zeros((len(verc_size), len(n_samples))) for i in range(len(verc_
dockerで機械学習(31) with anaconda(31)「Fundamentals of Deep Learning」 By Nikhil Buduma - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 複写の場合は、dockerを
dockerで機械学習(32) with anaconda(32)「Hands-On Deep Learning with TensorFlow 」By Dan Van Boxel - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 複写の場合は、dockerを
社会人が片手間で取る統計検定2級 - Qiita
概要 通勤時間の本読みと公式過去問3周とWebでなんとか合格までは到達できる。 主に使用した教材は下記 まずはこの一冊から 意味がわかる統計学 (BERET SCIENCE) 日本統計学会公式認定 統計検定 2級 公式問題集[2015〜2017年] 改訂版 日本統計学会公式認定 統計検定2級対応 統計学基礎 統計検定2級 模擬問題集1 統計学の時間 使用電卓 電卓はルート計算できるものは必須。僕はこれを使いました。 前提条件 理系私立大学卒・数学が嫌い・統計は勉強したことがない社会人です。 統計の知識がないままstatsmodelsを使ってシステムを組んでいましたが、根拠をもった説明を行いたくなったため統計検定をうけることを決意 頑張れば割となんとかなる。 勉強方法 通勤時間(往復1時間弱)は、統計学の時間をひたすら閲覧。 「なぜこの式を使うのか。なぜこうなるのか。」を意識することが大切
pandas-profiling に matplotlib の設定を上書きされる問題とその回避方法 - Qiita
pandas-profiling はデータの特徴をざっくり眺めるときに使うとても便利なライブラリ1なのだが、プロファイルを実行すると matplotlib の設定を上書きされるという厄介な問題がある。 設定を上書きされる問題 まずは普通に matplotlib を使ってグラフを表示してみる。 import matplotlib import matplotlib.pyplot as plt %matplotlib inline matplotlib.rcParams['font.family'] = 'TakaoPGothic' matplotlib.rcParams['figure.figsize'] = (8, 4) plt.style.use('ggplot')
DataFrame(pandas)とかseabornの覚書 - Qiita
# インポート from pandas import DataFrame # tsvの読み込み dframe = pd.read_csv('data.tsv', delimiter='\t', header=None) # カラム名変更 dframe.columns = ['hoge', 'fuga'] # カラムを落として別のDataFrame作成 dframe2 = dframe[[0, 1]] # カラム名が文字列で付いてたら、dframe[['hoge', 'fuga']]で。 # 重複行削除 dframe3 = dframe2.drop_duplicates() # 行数調査 len(dframe3) # DataFrameの数値の先頭X文字を切り取って新しいカラムとして使う # sliceカラムを追加し、そこに、hoge(float型)の先頭4文字を挿入 dframe4['sl
KerasでF1スコアをmetircsに入れる際は要注意 - Qiita
KerasでF1スコアをモデルのmetrics（評価関数）に入れて訓練させてたら、えらい低い値が出てきました。「なんかおかしいな」と思ってよく検証してみたら、とんでもない穴があったので書いておきます。 環境：Keras v2.2.4 要点 KerasのmetricsにF1スコアを入れることはできるが、調和平均で出てくる値をバッチ間の算術平均で計算しているので正確な値ではない 正確な値を計算したかったらmetricsではなく、コールバックでエポックの最後に一括で求めるべき F1スコアとは Precision-recallのトレードオフの最適解を求めるための尺度。特に精度が意味をなさなくなる歪んだデータに対して有効。F1スコアについて知っている方は飛ばしていいです。 歪んだデータとは 2クラス分類を考えるとしましょう。設定は猫と犬の分類、メールがスパムかスパムではないか、なんでもいいです。2ク
dockerで機械学習(30) with anaconda(30)「Advanced Deep Learning with Keras」 By Philippe Remy - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ##ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 複写の場合は、docke
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AnacondaによるKeras-TensorFlowインストール(Win10, CPU版) - Qiita
ggplotとMatplotlibのコード比較 - Qiita
bit.ly/2R4kfvs
chainer - Qiita
tesorflowでGPU id指定 - Qiita
Windowsで強化学習フレームワークGoogle_Dopamineを使う - Qiita
Apache Sparkの初心者が環境構築とPySparkでのデータ集計までやってみる - Qiita
