楽して技術書典 5 のサークルさんを探したい - Qiita
技術書典 5、楽しみですね。 どんなサークルさんに出会えるのか、もう楽しみで夜も 8 時間くらいしか眠れないです。 とっても楽しみなのですが当日会場で迷わないためにも事前チェックは欠かせません。 技術書典 5 のサイトにはサークルチェックリストという便利機能があるのでこれを利用するわけですね。 チェックするサークルさんの数を雑に数えてみたら って言われました。すごい。 (2018/10/02 現在) もちろん時間があれば全部 1 つずつ見ていくわけですが、もう少し何とかならないかと devtools で眺めているとサークルさんのデータは API で一覧を取得することができるようになっていました。 なので一覧データに入っているもので単語検索してみた、というのがこの記事の趣旨です。 できたもの Node.js でこんな感じの CLI を作ってみました。 あいまい検索で関連していそうなサークルさ
Chainerで画像分類するためのデータセットを自作して読み込む方法 - Qiita
概要 Chainer入門者向けの記事です。チュートリアルから一歩進んで、世に公開されている画像データや自分で集めた画像などから画像分類の学習用データセットを作る方法をまとめました。 いざ自分でChainerで画像分類に取り掛かろうとした際に、最初に躓いたところであり、調べるのにも時間が掛かったので、備忘録のようなものになります。 環境 macOS High Sierra 10.13.6 python 3.6.5 Chainer 4.3.1 実行例 DeepLearningLabさんがGitHubに以前ハッカソンにて使用していた画像データを公開してくれていますので、そのデータをサンプルにしてChainer用のデータセットを作成していきます。データセットはこちら。 かなりのデータ量なので試す方はご注意ください。とは言っても3GBちょいですけどね。 フォルダ構成は以下のとおりです。 data |
GPU/TPU で Mandelbrot (Google Colaboratory 編) - Qiita
TensorFlow？ Google Colaboratory で TPU が使えるということで盛り上がっているようなので、訳の分からぬまま使ってみることにしてみました。Qiita 等各種記事を見る限り、TensorFlow というライブラリから呼び出すようになっているようです。 TensorFlow というものを調べてみると、どうも配列演算のサブルーチン集のようで、Fortran でいえば、’70年代や’80年代のアレイプロセッサ時代に逆戻りしたような趣きです。ただリダクション演算が拡張されていて、指定の任意の Rank 間でリダクション演算ができるようになっています。これは、Fortran で不満に思う所なので中々気が利くなと思いました。Tensor の名前の由来と思われます。 けしからんことに、各種言語用の API が用意されているのに、最もふさわしいと思われる Fortran 用が
Python×Keras×GANチュートリアル 人工知能でファッション生成（１） - Qiita
GANでファッションショー この記事の目的 人工知能界隈を賑わせるGANについて、実装しながら学ぼうという企画です。 PythonとKerasを使えば、なんと１８０行くらいでGANによる画像生成ができちゃいます。しかも、学習にかかる時間は数分。使用するデータセットは https://github.com/zalandoresearch/fashion-mnist mnist_fashionです。mnist_fashionは、mnistと同じ２８×２８の画像データセットです。mnistと同じ形式で、様々なファッション画像を保存したデータベースです。数字より、服のほうが圧倒的面白いので、こっちを使うことにしました。なお、ダウンロードはプログラムでカンタンにできるので、事前にする必要はありません。 この記事を書くにあたっては https://github.com/eriklindernoren/
初心者向けにTensorFlowのseq2seqでどのパラメータを使えば良いか適当に解説する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 電車が運転見合わせになって時間ができた（？）ので、暇つぶしがてら初心者向けにTensorFlowのNMT (ニューラル機械翻訳）サンプルで指定できるパラメータについてざっくり解説しようと思う。使う人が増えて「俺が考えた最強のネットワーク」が増えるといいなと思う。TensorFlow公式のNMTのサンプルは良く出来てて、seq2seqをとりあえず使ってみるなら適当な入力データを用意すれば使えてしまう。ちなみに、、、筆者は機械学習バリバリだが深層学習バリバリって訳ではないので、情報が間違っていたら深層学習強者の皆様からあたたかいコ
Pointer-Generator Networksで要約をしてみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 抽象型要約の手法であるPointer-Generator NetworksをChainerで動くようにしてみました。 Pointer-Generator Networksについて Pointer-Generator Networksは抽象型要約としてsequence to sequenceを使うアイディアを発展させたものです。 先行研究として、CopyNetがあります。CopyNetに関してはqiitaに解説記事があります。 今更ながらchainerでSeq2Seq（3）〜CopyNet編〜 - Qiita 既存のseq2seqは未知語
COTOHA APIとMeCabの比較 - Qiita
普段は仕事の合間を縫って、趣味でボードゲームのAI開発や自然言語処理を嗜んでいます。 色々ネタが溜まってきているので備忘も兼ねて少しずつQiitaに書いていこうと思います。 今回の記事では自然言語処理の中でも形態素解析に焦点を当て、最近NTTコミュニケーションズからリリースされたというCOTOHA APIと、形態素解析で有名なOSSであるMecabとの解析特徴の違いについて書こうと思います。 形態素解析 言語処理を経験されてる方には当たり前かもしれませんが、まずは基本から。 形態素解析とは、日本語や中国語のように文中に切れ目が存在しない文を、形態素と呼ばれる意味のある最小単位に分割する解析のことです。 例えば「すもももももももものうち」という文は「すもも/も/もも/も/もも/の/うち」のように分割することができます。 また、単に分割するだけでなく、名詞・動詞などの品詞情報や、表記ゆれ・活用
ROCm TensorFlow 1.10 を pip でインストールし動かす(CIFAR10 10500 example/sec with VEGA56 @ 70W) - Qiita
漢なら ROCm TensorFlow で AMD GPU でお手軽機械学習したいですよね! やりましょう! ROCm 版 TensorFlow が 1.9 から pip で入るようになり, ソースコードからビルドせずに済むようになりセットアップがお手軽になりました. (2018 年 9 月 26 日時点では 1.10 が最新です. ちなみにソースコードビルドは HIPCC でのカーネルコンパイルが激重なので 8 コアマシンでもコンパイルに 1 時間くらいかかります) 環境 Python 3.5(conda) Ubuntu 16.04 ROCm 1.9 インストール を参考に pip でインストールします. 他に rocm 関連のパッケージを入れておかないとエラーになりますので, 適宜インストールしておきます. 問題 すでに古い ROCm 環境があり, それを apt update でアッ
CNNのボトルネック層（1x1畳み込み）による計算効率向上を理解する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 「1x1畳み込みを使うと計算効率がよくなるよ」という話は聞いたことあっても、具体的にどれだけ良くなるのかを理論的に議論されることはあまり多くないように思います。自分の理解も含めて、一度これをちゃんと整理したいと思います。少し数式多めですがご勘弁ください。 実験のコードはこちらにあります。 https://github.com/koshian2/Inception-bottleneck Summary 入力チャンネルがc, 出力がf, $c=\beta f$で、ボトルネックでのチャンネル圧縮が$\frac{f}{\alpha}$のとき、ボ
kerasでtrainとvalidationのTensorboardの出力を分ける - Qiita
これなーに keras便利ですよね〜 モデル作って、精度のカーブをtensorboardで確認っと・・・ trainとvalが別れてグラフにプロットされてて、ちょっと見づらい。。 特にoverfitなどを確認する時は、trainとvalのグラフの精度のカーブを一緒に見たくなるので、できたら一緒にみたい！ ということで、下みたいに一緒に見れるようにするtipsです。 やり方 以下のclassを作って、model.fitをする時の引数にcallbacks=[TrainValTensorBoard(write_graph=False)]を指定してあげる。 class TrainValTensorBoard(keras.callbacks.TensorBoard): def __init__(self, log_dir='../saved/', **kwargs): # Make the orig
乃木坂メンバーの顔をCNNで分類 - Qiita
乃木坂46のメンバー5人を分類する機械学習 夏休みに作っていたもののまとめです。 Aidemyさんのブログの記事 機械学習で乃木坂46を顔分類してみた のほとんど丸パクりです。他の題材考えてようかと思ったけど乃木坂にハマり始めていたのでそのままやることにしました。 自分のローカル環境でも同じことができるようにコードを直したり、ちょっとだけやり方変えてみた部分があります。 違う部分は次の3つです。 画像の枚数 参考記事ではメンバー１人につき50～70枚ほどなんですが、別のスクレイピングで170～230枚ほどの画像枚数に増やしました。 画像の水増し方法 参考記事では反転処理、閾値処理、ぼかしを採用していましたが、人間の顔を左右反転するのはどうなんだろうかと思ったので(実際まいやんのほくろとか左右非対称だし)、反転処理はやめました。 代わりに、顔の画像って左右にちょっと傾いてるものとかがあるので
【将棋AI】「将棋AIで学ぶディープラーニング」を読む♪～Chainerの基本II～Cifar10から学ぶ - Qiita
第廿夜は、本書から逸脱するが、新たなNetworkモデルに拡張するために、基本に戻ってCifar１０のフィッティングについて学びなおす。 ### やったこと （１）そもそもCifar10のフィッティングについて （２）そもそも今回のモデルでCifar１０はフィッティングできるのか （３）VGGモデルを変えて、Cifar１０のフィッティング精度を見る ### （１）そもそもCifar10のフィッティングについて いきなりですが、以下を参考にしました。 【参考】 ①[ChainerによるCIFAR-10の一般物体認識 (2) ](http://aidiary.hatenablog.com/entry/20151114/1447469049) ②[mitmul/chainer-cifar10 ](https://github.com/mitmul/chainer-cifar10) コードはほとん
【将棋AI】「将棋AIで学ぶディープラーニング」を読む♪～強い方策ネットワークを目指す - Qiita
第廿一夜も、本書から逸脱するが、昨夜の延長としてVGGモデルを利用して、強い方策ネットワークを目指す。 ### やったこと （１）VGGモデルを利用する （２）LesserKai vs Policy vs VGG_Policyの総当たり戦 （３）さらなる追求 ### （１）VGGモデルを利用する ほぼ前回のCifar10のモデルから想像できると思いますが、モデルは以下のようなものです。 from chainer import Chain import chainer.functions as F import chainer.links as L from pydlshogi.common import * ch=192 class PolicyNetwork(Chain): def __init__(self): super(PolicyNetwork, self).__init__(
OpenCV 以外の場所にある深層学習ベースの顔検出を調査中(3) - Qiita
顔検出 PyPI mtcnn 0.1.1 Multi-task Cascaded Convolutional Neural Networks for Face Detection, based on TensorFlow github MTCNN face detection implementation for TensorFlow, as a PIP package. Youtube Face detection with MTCNN Python3.4 +でのTensorFlow用のMTCNN顔検出器の実装 これは、FacenetのDavid Sandberg（FaceNetのMTCNN）からMTCNNの実装を参考にして書かれています。 これは、Zhang、Kらの論文に基づいている。 （2016）[ZHANG2016]。 そのBENCHMARKを示しており、どの程度実用的な速度がでる
RTX2080の学習速度をざっくり検証（追加） - Qiita
と言うわけで、RTX2080を買ってみました 計算速度を比較するためにVGG16のファインチューニングを 下記の設定でやってみました。 GTX1080Tiは違うパソコンでやったため参考でお願いします GTX1080TiとRTX2080との速度比較ですが RTX2080のほうが11%ほど早い結果となりました。 GTX1080Tiの端末に新しく仮想環境を作成しRTX2080と各種ライブラリを 同じバージョンにしたところGTX1080Tiのほうが3%ほど早くなりました（泣 機械学習をするだけであればメモリが3GB多く、値段が4万円安い GTX1080Tiのほうが良さそうですね・・・ ※△１ CUDAを9.0->9.2の計算結果も掲載 ※△２ GTX1080Tiの結果を追加 ※△３ GTX1080Tiのライブラリのバージョン等を同じに ※△４ GTX1070のノートとGV100追加 計算内容 ・ト
機械学習実装時のコード（gpu、chainer、ubuntu） - Qiita
事前にインスールするもの（python3系） numpy, pandas, scipy, matplotlib, numba, chainer, sklearn をpip3で。 他に tkiinterを、sudo apt-get -y install python3-tkで gpu関連 1秒ごとにgpuの使用状況を表示 nvidia-smi -l 1 gpuを稼働するには、コードもgpu対応のものに書き換えないといけない。 https://qiita.com/ikeyasu/items/246515375b34e9fb4846 GPUで実行するには Chainクラスはto_gpuメソッドを持ち、この引数にGPU IDを指定すると、指定したGPU IDのメモリ上にネットワークの全パラメータを転送します。こうしておくと、前進計算も学習の際のパラメータ更新なども全部GPU上で行われるようになりま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Webコンテンツ抽出のvision-based CNN (自作) - Qiita
Keras - Qiita
TensorFlow 使ってるときの json.dumps と numpy.float32 の罠 - Qiita
Raspberry Pi 用 TensorFlowLite ビルド - Qiita
