ROCm TensorFlow 1.10 を pip でインストールし動かす(CIFAR10 10500 example/sec with VEGA56 @ 70W) - Qiita
漢なら ROCm TensorFlow で AMD GPU でお手軽機械学習したいですよね! やりましょう! ROCm 版 TensorFlow が 1.9 から pip で入るようになり, ソースコードからビルドせずに済むようになりセットアップがお手軽になりました. (2018 年 9 月 26 日時点では 1.10 が最新です. ちなみにソースコードビルドは HIPCC でのカーネルコンパイルが激重なので 8 コアマシンでもコンパイルに 1 時間くらいかかります) 環境 Python 3.5(conda) Ubuntu 16.04 ROCm 1.9 インストール を参考に pip でインストールします. 他に rocm 関連のパッケージを入れておかないとエラーになりますので, 適宜インストールしておきます. 問題 すでに古い ROCm 環境があり, それを apt update でアッ
CNNのボトルネック層（1x1畳み込み）による計算効率向上を理解する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 「1x1畳み込みを使うと計算効率がよくなるよ」という話は聞いたことあっても、具体的にどれだけ良くなるのかを理論的に議論されることはあまり多くないように思います。自分の理解も含めて、一度これをちゃんと整理したいと思います。少し数式多めですがご勘弁ください。 実験のコードはこちらにあります。 https://github.com/koshian2/Inception-bottleneck Summary 入力チャンネルがc, 出力がf, $c=\beta f$で、ボトルネックでのチャンネル圧縮が$\frac{f}{\alpha}$のとき、ボ
kerasでtrainとvalidationのTensorboardの出力を分ける - Qiita
これなーに keras便利ですよね〜 モデル作って、精度のカーブをtensorboardで確認っと・・・ trainとvalが別れてグラフにプロットされてて、ちょっと見づらい。。 特にoverfitなどを確認する時は、trainとvalのグラフの精度のカーブを一緒に見たくなるので、できたら一緒にみたい！ ということで、下みたいに一緒に見れるようにするtipsです。 やり方 以下のclassを作って、model.fitをする時の引数にcallbacks=[TrainValTensorBoard(write_graph=False)]を指定してあげる。 class TrainValTensorBoard(keras.callbacks.TensorBoard): def __init__(self, log_dir='../saved/', **kwargs): # Make the orig
乃木坂メンバーの顔をCNNで分類 - Qiita
乃木坂46のメンバー5人を分類する機械学習 夏休みに作っていたもののまとめです。 Aidemyさんのブログの記事 機械学習で乃木坂46を顔分類してみた のほとんど丸パクりです。他の題材考えてようかと思ったけど乃木坂にハマり始めていたのでそのままやることにしました。 自分のローカル環境でも同じことができるようにコードを直したり、ちょっとだけやり方変えてみた部分があります。 違う部分は次の3つです。 画像の枚数 参考記事ではメンバー１人につき50～70枚ほどなんですが、別のスクレイピングで170～230枚ほどの画像枚数に増やしました。 画像の水増し方法 参考記事では反転処理、閾値処理、ぼかしを採用していましたが、人間の顔を左右反転するのはどうなんだろうかと思ったので(実際まいやんのほくろとか左右非対称だし)、反転処理はやめました。 代わりに、顔の画像って左右にちょっと傾いてるものとかがあるので
【将棋AI】「将棋AIで学ぶディープラーニング」を読む♪～Chainerの基本II～Cifar10から学ぶ - Qiita
第廿夜は、本書から逸脱するが、新たなNetworkモデルに拡張するために、基本に戻ってCifar１０のフィッティングについて学びなおす。 ### やったこと （１）そもそもCifar10のフィッティングについて （２）そもそも今回のモデルでCifar１０はフィッティングできるのか （３）VGGモデルを変えて、Cifar１０のフィッティング精度を見る ### （１）そもそもCifar10のフィッティングについて いきなりですが、以下を参考にしました。 【参考】 ①[ChainerによるCIFAR-10の一般物体認識 (2) ](http://aidiary.hatenablog.com/entry/20151114/1447469049) ②[mitmul/chainer-cifar10 ](https://github.com/mitmul/chainer-cifar10) コードはほとん
【将棋AI】「将棋AIで学ぶディープラーニング」を読む♪～強い方策ネットワークを目指す - Qiita
第廿一夜も、本書から逸脱するが、昨夜の延長としてVGGモデルを利用して、強い方策ネットワークを目指す。 ### やったこと （１）VGGモデルを利用する （２）LesserKai vs Policy vs VGG_Policyの総当たり戦 （３）さらなる追求 ### （１）VGGモデルを利用する ほぼ前回のCifar10のモデルから想像できると思いますが、モデルは以下のようなものです。 from chainer import Chain import chainer.functions as F import chainer.links as L from pydlshogi.common import * ch=192 class PolicyNetwork(Chain): def __init__(self): super(PolicyNetwork, self).__init__(
OpenCV 以外の場所にある深層学習ベースの顔検出を調査中(3) - Qiita
顔検出 PyPI mtcnn 0.1.1 Multi-task Cascaded Convolutional Neural Networks for Face Detection, based on TensorFlow github MTCNN face detection implementation for TensorFlow, as a PIP package. Youtube Face detection with MTCNN Python3.4 +でのTensorFlow用のMTCNN顔検出器の実装 これは、FacenetのDavid Sandberg（FaceNetのMTCNN）からMTCNNの実装を参考にして書かれています。 これは、Zhang、Kらの論文に基づいている。 （2016）[ZHANG2016]。 そのBENCHMARKを示しており、どの程度実用的な速度がでる
RTX2080の学習速度をざっくり検証（追加） - Qiita
と言うわけで、RTX2080を買ってみました 計算速度を比較するためにVGG16のファインチューニングを 下記の設定でやってみました。 GTX1080Tiは違うパソコンでやったため参考でお願いします GTX1080TiとRTX2080との速度比較ですが RTX2080のほうが11%ほど早い結果となりました。 GTX1080Tiの端末に新しく仮想環境を作成しRTX2080と各種ライブラリを 同じバージョンにしたところGTX1080Tiのほうが3%ほど早くなりました（泣 機械学習をするだけであればメモリが3GB多く、値段が4万円安い GTX1080Tiのほうが良さそうですね・・・ ※△１ CUDAを9.0->9.2の計算結果も掲載 ※△２ GTX1080Tiの結果を追加 ※△３ GTX1080Tiのライブラリのバージョン等を同じに ※△４ GTX1070のノートとGV100追加 計算内容 ・ト
機械学習実装時のコード（gpu、chainer、ubuntu） - Qiita
事前にインスールするもの（python3系） numpy, pandas, scipy, matplotlib, numba, chainer, sklearn をpip3で。 他に tkiinterを、sudo apt-get -y install python3-tkで gpu関連 1秒ごとにgpuの使用状況を表示 nvidia-smi -l 1 gpuを稼働するには、コードもgpu対応のものに書き換えないといけない。 https://qiita.com/ikeyasu/items/246515375b34e9fb4846 GPUで実行するには Chainクラスはto_gpuメソッドを持ち、この引数にGPU IDを指定すると、指定したGPU IDのメモリ上にネットワークの全パラメータを転送します。こうしておくと、前進計算も学習の際のパラメータ更新なども全部GPU上で行われるようになりま
Watson Studio で YOLO V3 カスタム物体検出 - Qiita
前回の記事ではYOLO V3のKeras版をWatson Studioで動かして、学習済みモデルを使用した物体検出をやってみました。今回はこのモデルを自前の画像で学習させて任意のモノを検出するカスタム物体検出に挑戦します。大きな流れとしては以下のようになります。 教師データの作成 検出したい物体をアノテーションツールで学習させて教師データを作成します YOLOモデルの学習 Watson StudioのDLaaS(Deep Learning as a Service)機能を使ってYOLOモデルを学習します 物体検出 作成したモデルを使ってカスタム物体検出を実行します 今回も学習のためのコードは以下のものを参考にしています。 https://github.com/experiencor/keras-yolo3 1. 教師データの作成 今回は以下のような「IBM Watson」のアバターを新旧の
初心者でもJKでも大丈夫！TensorFlow公式チュートリアルを解説 - Qiita
動機/対象 現在美女たちを機械学習させてみようと思い奮闘中なのですが、scikit-learnのニューラルネットワークライブラリではいまいち満足する結果が得られなかったので、TensorFlowに乗り換えちゃえyo!って感じです。美女を見分けられい機械はだだの機械だ：OpenCV, Python3による画像からの顔抽出 そこでTensorFlowの勉強としてまず、公式チュートリアルをやってみよう！と思いましたが、英語、、、メンドくさい。。。 -> Qiitaに載っているチュートリアルの翻訳を見ながらやればいいんだ！ -> （おそらく）前のバージョンのチュートリアルの解説しか出て来ぬ。。。 -> 仕方ないから英語読むか。 よって対象は私と同じTensorFlowって美味しいの？系初心者です。解説も完全な翻訳ではなく、端折ったり、付け加えている部分があります。 なおTensorFlowのチュー
ChainerのTRAIN_MNISTベンチマーク(GTX1070有/無) - Qiita
C:\chainer-master\examples\mnist>python train_mnist.py GPU: -1 # unit: 1000 # Minibatch-size: 100 # epoch: 20 epoch main/loss validation/main/loss main/accuracy validation/main/accuracy elapsed_time 1 0.190619 0.0927074 0.94225 0.9699 46.2703 2 0.0732134 0.0946572 0.976817 0.9698 94.4335 3 0.0495815 0.0804488 0.98425 0.9754 143.703 4 0.0345411 0.0673166 0.988683 0.9802 193.947 5 0.0294899 0.073428
ブラウザで手描き数字認識 (前処理付き版) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TL;DL 機械学習において前処理って大事ですね。 はじめに 「そうだ、機械学習をしよう」と思って、とりあえず始めるのはMNISTを使った手書き数字認識だと思う。例えばChainerのサンプルとか動かして、ロスが減って「なんか学習できてるっぽいなぁ」と思うところまで行ったとする。次に「ちゃんと学習できてるか、学習させたモデルに自分の手書き文字を認識させてみよう」と思ってやってみると全然認識できなかったりして驚くわけですね。 この話を機械学習に詳しい人にしたら「ちゃんと前処理した？」と言われて、「いやしてないけど、こんな簡単な認識、前処理
Keras、NVIDIA等の環境構築をAnsibleで自動構築 - Qiita
はじめに AWS EC2、オンプレ環境でKerasの環境構築を繰り返しています。 マシンが10〜100台となる計画があり、Ansibleで自動構築をしました。 Install TensorFlow on UbuntuのTensorFlow GPU supportを参考にしています。 自動構築の概要 hostsのIPアドレスを修正して、ansible-playbookで自動構築できます!!! 一応、流れを把握して頂いた後、自動実行して頂ければと思います 前提 Ansibleの基本的な解説はしません Ubuntu Server 16.04 LTS Python3 Tesla K80 解説 NVIDIAドライバ 384.x or higherが要求条件です Ubuntu Server 16.04 LTSのnvidia-384を利用します CUDA CUDA 9.0が要求条件です cuda-cub
形態素解析：韓国語：その2：mecab-ko ユーザ辞書作成 - Qiita
$ sudo ./tools/add-userdic.sh path/tools generating userdic... nnp.csv path/tools/../model.def is not a binary model. reopen it as text mode... reading path/tools/../user-dic/nnp.csv ... done! person.csv path/tools/../model.def is not a binary model. reopen it as text mode... reading path/tools/../user-dic/person.csv ... done! place.csv path/tools/../model.def is not a binary model. reopen it as t
VirtualBox仮想マシン(Ubuntu16.04 LTS)でTensorflowを動かす@Windows10 - Qiita
自宅(Windows10)でどうしてもUbuntu開発環境がほしかったので構築しました。 今後Tensorflowを用いたディープラーニング系の記事を投稿していく予定です。 GPUも使えるようにしたい。 環境 Windows 10 Pro Oracle VirtualBox 5.2.18(投稿時最新版) 構築手順 VirtualBoxのダウンロード・インストール こちらのサイト[1]が非常に参考になります Ubuntu 16.04 LTS のダウンロード IOSイメージをダウンロードしてください。次のステップで使います 仮想マシンの作成・初期設定 こちらのサイト[2]で丁寧に説明しています おすすめ初期設定 VirtualBox クリップボードの共有、ドラッグ＆ドロップの設定 仮想マシンの設定 -> 一般 -> 高度 -> クリップボードの共有 -> 双方向 仮想マシンの設定 -> 一般
【Python3】MeCabでテキストファイルから名詞を頻出順に抽出 - Qiita
import MeCab import sys import re from collections import Counter # ファイル読み込み cmd, infile = sys.argv with open(infile) as f: data = f.read() # パース mecab = MeCab.Tagger() parse = mecab.parse(data) lines = parse.split('\n') items = (re.split('[\t,]', line) for line in lines) # 名詞をリストに格納 words = [item[0] for item in items if (item[0] not in ('EOS', '', 't', 'ー') and item[1] == '名詞' and item[2] == '一般'
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Raspberry Pi 用 TensorFlowLite ビルド - Qiita
Pipenv をdockerで使うときに特定のパッケージが入らないようにしたかった。 - Qiita
TensorFlow をソースからコンパイル 20180917版 - Qiita
