画像のDataAugmentationで最速のライブラリを探してみた - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。年末に向けて燃え尽きようとしています。 OpenCVアドベントカレンダー第22日です。 qiita.com 今回、PythonのDataAugmentationで最速の方法を探してみます。 画像処理のDeepLearningでは、頻繁にDataAugmentationが使われています。 このData Augmentationは画像に結果がない程度に変換を加え、 ニューラルネットワークに入力する手法です。 以前、こんな資料を作りました。 How to use scikit-image for data augmentation from Hiroki Yamamoto www.slideshare.net DataAugmentationにも様々な手法がありますが、次の処理する場合が非常に多いです。 画像をファイルから取得する。 リサイズ アフィン変換 左右反
Pandasで特徴量取得する場合に使う操作をまとめてみた - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 分析は基本的にPythonを使って行います。（大体Pandasですが・・・） Pandasを利用すると色々できます。が、ふとどうするんだっけ処理が増えていきました。 自分のメモがてらカテゴリを分けて記録に残したいと思います。 最後のほうは特徴量の作り方集になっています。 Kaggleで実際に使ったことがある処理も数多く掲載しました。 思いついたら随時、追加しようと思います。 準備 ファイル操作 読み込み 書き込み テーブル操作 1行ごとに処理をする。 複数列を取得する。 選択操作 テーブル条件の指定 複数条件の指定 NaNを埋める。 カラム、テーブルの統計情報を取得する。 完全一致の列を発見し、除去する。 日付操作 日付から日などの情報を取得する。 2つ以上のDataFrameの結合操作 内部結合 外部結合 2つの結合処理 集計操作を使った特
Chainerの学習の様子をリモートで確認するExtensionを作った - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私はGWでリフレッシュして、生き返りました。 Kaggleをやっているとき（特に画像などの長い場合）にリモートで 今学習されているかどうか、誤差はどうかなどのモデルの 様子が気になることはありませんか？ 私は画像認識系のコンペを実際に行っている時に、気になることがあります。 これどうしようかと考えていたのですが、歩いている時にふと思いついたので実装しました。 このアイデアの実装のために、新しいChainerのExtensionを開発しました。（Trainerを使う想定です） アイデア Slackであれば外出中も見れると考えました。 そのため、学習の途中経過（lossなど）を投稿すれば見れる！ 実装イメージは次の図に掲載しました。 コードを見た限りだと、Extensionで実装できそうだったので、トライしました。 Extensionの実装方法 Extensio
CUDAを使ってGPUプログラミングに挑戦してみた。 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は家の近くに一風堂ができて感動しています。 本日はCUDAを使ったGPUプログラミングに挑戦します。 最近、ふと思うことがあります。 GPUをよく使いますが、GPUの心みたいなものがわからない状態です。 そこで、GPUプログラミングに挑戦し、コードを書きながらGPUのことを 知ることができたらと思って書いてみました。 GPUわからないとTwitter呟いていたら、 @dandelion1124さんにおすすめの書籍を紹介してもらいました！ GPUがどんな仕組みで動作しているのか非常にわかりやすいです。 CUDA C プロフェッショナル プログラミング impress top gearシリーズ 作者: John Cheng,Max Grossman,Ty McKercher出版社/メーカー: インプレス発売日: 2015/09/24メディア: Kindle版こ
Dockerを使ってGPUも使える分析環境を構築してみた - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。Kaggle Meetup面白かったです！またあいましょう。 今日はDockerを使った分析環境構築の話をしようと思います。 Dockerを使って何を作ろうかと思ったら、分析環境さっさと作りたい・・・ cudnn等の更新が面倒であることが思い浮かびました。 なんとなく、Dockerを使えば解消できるのではないかといったことを思いつき遊んでみました。 Dockerとは Dockerはコードやシステムライブラリ、システムで利用するのを実行するために 必要な全てが含まれているものをラップするソフトウェアらしい。 OS上で仮想環境を立ち上げ、ソフトウェアなどの実行ができます。 www.docker.com Dockerのメリット 公式サイトによれば、次のとおりです。 階層化されたファイルシステムから構築されるので、ディスクやイメージが効率的 DockerコンテナはL
Pythonを使った音楽解析をやってみる - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 本記事はPythonのアドベントカレンダー第6日です。 qiita.com 本日はPythonを使った音楽解析に挑戦します。 偶然にも音楽解析に便利なライブラリを発見したので、試してみたいと思います！ 音楽解析 librosa librosaとは 音楽を解析してみた。 音楽を取得する。 データ読み込み 音楽情報を取得する。 時間の計算 ピッチやテンポの計算 スペクトラム分析をやってみる。 音楽特徴量を取得する。 音楽を加工する。 時間の引き伸ばし、短縮 要素の抽出 打楽器要素の抽出 ハーモニック要素の抽出 音楽の保存 参考文献 音楽解析 本日の挑戦は特徴量抽出と一部の音楽の加工です。 基本的な音楽ファイルの読み込みや特徴量抽出、音楽の加工分離です。 音楽解析に便利なライブラリ、librosaを紹介します。 librosa librosaとは
ChainerでCIFAR-10の分類を行ってみる - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 前回はChainerの紹介をしました。nonbiri-tereka.hatenablog.com 本日はこのChainerを使って、CIFAR-10の分類を行ってみようと思います。 アーキテクチャとして利用するのはConvolutional Neural Networkを利用します。 What is CIFAR-10 CIFAR-10 and CIFAR-100 datasetsにあるデータセットです。32x32pixelのカラー画像を10のクラスに分類する問題が含まれています。 画像の大きさはTraining画像が50000枚、Test画像が10000枚です。 研究とかのベンチマークでお世話になっている人も多いと思いますが・・・ 以下の図は本家に掲載されているサンプル画像です。 データセットの読み込み CIFAR-10ではPythonでの読
OpenCV-Python(1) カメラ、画像の開き方 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか？暑いですね。最近 今までC++でOpenCvをいじっていましたが、今回はPythonから弄ってみましょう。 （使っているけど遅くて泣きそう） どうやって使うの？ numpy入れたら勝手についてきます。 入れていなければ、Opencvはもちろん入れてください。 brew install numpy 確かUbuntuだと以下のモジュールが必要です。 sudo apt-get install python-opencv Example #coding:utf-8 import cv2 import numpy as np def readFile(filename): image = cv2.imread(filename) cv2.imshow('original',image) cv2.waitKey() def readCamera(): print fil
Go言語を触ったことのない人間がSensorBeeを使ってみた Part2 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。 前回からあいてしまいましたが、引き続き SensorBeeのturtorialをやってみます。 こちらは準備段階に2段階あり、elasticsearch,kibanaのインストールとtutrialの実施です。 準備 Elastisearch並びにkibanaのインストール elasticsearch、kibanaは公式から取得するのが良いと思います。 公式ではversion2.2.0ですが、今回は最新の安定版2.3.2で実行してみます。 $ ./bin/elasticsearch [2016-05-04 23:13:01,634][INFO ][node ] [Impulse] version[2.3.2], pid[41126], build[b9e4a6a/2016-04-21T16:03:47Z] [2016-05-04 23:13:01,635][
ChainerのTrainerを使ってみた - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。最近、Chainer便利でびっくりしたような頃合いです。 頻繁に更新することで有名なChainerですが、久々にupgradeすると以前よりも シンプルなタスクについて、簡単に学習ができます。 Trainer Chainer version 1.11.0よりTrainerと呼ばれる機能が実装されています。 以前まで学習用バッチ処理を自前で書くようなことが 必要でしたが、これを使うことによってバッチ処理を書く必要がなくなります。 実際の機能としてはある処理をhockしたり、グラフを出力したり レポートを表示したりと学習中に確認したいグラフは沢山あります。 それらのグラフを可視化したいといったことは往々にしてあります。 Trainerの基本的な使い方 Trainerを使うと、Progress Barやlogを自動的に吐き出すことができます。 通常のモードでは、T
PyConJPで触発されてPythonのType Hints（型ヒント）について書いてみた - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。ラーメン食べたくなってきた。 私自身は自他共に認めそうなPython2.7.x userのつもりなのですが、 PyConJP2016でAndrey Vlasovskikh氏の講演でType Hints（型ヒント）の話があって Python3.5すごいとか思いながら聞いてました。 ぶっちゃけ型ヒント何か知りません。 ということで、今回はPythonにおけるType Hintsを調べてみました。 Type Hintsについて そもそもType Hintsってなに？ 型に対するアノテーションです。具体的には実例を見るとおそらくわかりやすいです。 PEP484に規定されたType Hintsを提供するらしく、Python3.5で導入されています。 何のことやらわからないので、早速読んでみようと思ったら意外に長かったので読めておりません。 www.python.org
高速化のためのPython Tips - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか？私は元気です。 Pythonにおける高速化手法を掲載してみます。 簡単なコード並びに索引のような感じで引けるようなイメージで作成しました。 本日の目次です。 Pythonにおける高速化の必要性 Pythonの高速化 高速化の手順 Profiling 基本的な条件 計測コード Pythonの基本的な書き方部分 rangeよりxrangeを（Python2.7） リストの生成 文字列結合 Import文のコスト 関数呼び出しのコスト ドットを避ける yieldを使う Numpyに関するTips Numpyを使用して基本演算を高速化する Numpyの要素にアクセスする演算をしない Numbaで手早く高速化 その他高速化ツール Cython Dask PyPy 感想並びに展望 参考文献 Pythonにおける高速化の必要性 PythonはC++やJavaと比較すると非
graphvizとdoxygenでC++ソースコード解析 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか？私はげんきです。 今日はコード解析について取り組みたいと思います。 人のソースコードって結構読むの面倒ではないでしょうか？なんか纏めてある書類とかあれば楽なのになぁとか思うことは多々あります。 そんな貴方へ贈る今日の記事です。 Doxygenとは Doxygen（ドキシジェン）は、C++、C言語、Java、Objective-C、 Python、IDL（CORBAおよびマイクロソフト形式）のための ドキュメンテーションジェネレータである。まぁクラス図とかDocument作ってくれます。素晴らしい install brew install graphviz brew install doxygen doxygenの使い方 doxygen -g 設定ファイルであるDoxyfileができあがるので編集をしましょう。 #文字のエンコード形式 DOXYFILE_ENC
Casablancaのインストール - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は燃え尽きました。 今日はCasablancaのインストール記事を記載します。 Casablancaとは マイクロソフトのC++ REST SDKで、クラウドベースのクライアント・サーバーの APIデザインだそうな。 C++ REST SDK (codename "Casablanca") - Home 内容にはHTTP Client/Server, JSON, URL ,Asynchronus Stream,WebSockets,OAuthが搭載されているそうな。 因みにマイクロソフトだからといって、WindowsだけでなくLinuxやMacでも使えます。 因みに僕はMacOSです。 Install 必要なもの brew install cmake git openssl boost 必要なものがインストールされているのを確認してから git clone
dlibと呼ばれる画像処理ライブラリを使ってみた - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 日本ではあまり見られないdlibと呼ばれるライブラリの画像処理ライブラリを 使ってみたいと思います。 dlibについて dlibとは 公式サイト：dlib C++ Library Dlib is a modern C++ toolkit containing machine learning algorithms and tools for creating complex software in C++ to solve real world problems. It is used in both industry and academia in a wide range of domains including robotics, embedded devices, mobile phones, and large high perfo
Scikit-Imageのインストールと画像表示 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は修論という壁に殺されそうでございます。 最近は画像日和なので、今日はScikit-Imageを使ってみましょう。 Scikit-Imageとは 画像処理に関するアルゴリズムを集めたライブラリです。 無料で扱うことができて、ボランティアによる作成だそうな。（Homepage Topより） 特徴量抽出とかでHogやLBPなどを取得することができます。うん、なんか便利 因みに類似ライブラリにはOpencvがありますが、ただ特徴量を取りたいときとかはこちらのほうが便利な気がしそうです。（僕は殆どOpencvを使うので、このライブラリは使ったことがない） インストール Pipを使う 毎度おなじみpip先生 sudo pip install scikit-image トラブルシューティング 因みに以下のようなエラーが出る可能性があります（私は出ました） >>> fr
Ubuntu14.04 ServerでCUDA 6.5.14の環境を整える - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 さて、今日はUbuntu 14.04 ServerでCUDAの環境を整えようと思います。 何やらapt-getを使う方法がweb上では沢山見受けられますが、今回はrunを使ってインストールしてみます。 環境 OS:Ubuntu 14.04 Server LTS CPU:Intel(R) Core(TM) i7-4790K CPU @ 4.00GHz GPU:GeForce GTX 970 sudo apt-get install build-essential Driverについては別のversionを利用したいので、extractを使ってDriver ,Tool kit,Sampleを分離します。 wget http://developer.download.nvidia.com/compute/cuda/6_5/rel/installer
Neural Networkでの失敗経験やアンチパターンを語る - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 今日は珍しくNeural Networkを使っていく上での失敗経験について語ります。 学習の時に案外、失敗するのですが、だいたい原因は決まっています。そう大体は・・・ ということで、今回は失敗の経験、アンチパターンのようなものを書こうと思います。 Trouble1：学習時にNanを叩き出す。 原因1 cross-entropy誤差を使っている。 原因2 結果が小さすぎて、0と認識される。 原因3 重みがあらぬ方向へ学習する。 Trouble2：収束しない 原因1 学習率が高すぎる 原因2 学習率が低すぎる 原因3 適切な誤差関数ではない 原因4 活性化関数を誤った 原因5 そもそも入力が誤っている Trouble3：Validation Scoreが低い 原因1 過学習しているにも関わらず、気づかなかった。 原因2 与えるデータとラベルの1対
Kaggleのコンペティションで公開されている手法・ソースコードのリンクをまとめてみた Part2 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 今日は前回の以下のページからだいぶ更新が立ち、Kaggleのコンペ的にも多くの開催がありました。 そこで、新しいページでリンクを纏めてみました。 中にはインタビューやフォーラム、githubなど様々なものが混合しているのはお許し下さい。 nonbiri-tereka.hatenablog.com Prudential Life Insurance Assessment 1st - 1st place solution - Prudential Life Insurance Assessment | Kaggle 2nd - Solution -- 2nd place - Prudential Life Insurance Assessment | Kaggle Homesite Quote Conversion 3rd- Homesite Q
Go言語を触ったことのない人間がSensorBeeを使ってみた Part1 - のんびりしているエンジニアの日記
本日はさくっとSensorBeeを使ってみました。 皆さんこんにちは お元気ですか。連休でほっとしています。 What is SensorBee Stateful Expressive LightWeight Install Go(Mac) SensorBeeのインストール Tutorial データの取得と初期化 サーバの起動 BQN はじめに SELECT文 WHERE文 GROUP BY ストリームの作成 参考文献 今回はSensorBeeと呼ばれるライブラリを紹介します。 Machine Learningまでは流石に長過ぎるので、word countまでやってみました。 What is SensorBee sensorbee.io SensorBeeは特徴として以下の内容を兼ね揃えます。 Stateful 機械学習に有用な構造化されていない情報を取得し、ユーザが定義した機械学習のモデ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
