社内勉強会用にshellでのUnitTestについて資料つくったらぼちぼち見てもらえた - onigra.github.io
社内勉強会用にshellでのUnitTestについて資料つくったらぼちぼち見てもらえたSeptember 20, 2013 by Yudai Suzuki タイトルの通りなんですが、その社内勉強会を大人のYAPCに出たいのでサボるため、予め作っておいてスライドをUPしておいたら、ぼちぼちはてブついててちょっとびっくりしました。ぶっちゃけ社内だと見られてるかどうか怪しいので嬉しかったですね。 まずは、Tweetを引用させていただいた@sue445さんと標準出力に色を付けるエントリーを書いてくださった@shitai246_さんにお礼申し上げます。 僕の勤めてる会社は基本的にUnitTestを書くという文化がありません。なので、UnitTestの基本的なやり方やTestingFrameworkの使い方の入門的な意味も意識して作成しました。 いまだにユニットテストって受け入れられないんだろうな の
HaconiwaでDockerのsshdコンテナを利用してみる - ローファイ日記
こんにちは。これは技術記事です。みなさんは、技術記事ですか？ まず、 Haconiwa の近況報告なんですが、この度 mruby で書き直し、ひとまず MRI 版と同じ程度の機能までは実装できました。 github.com これに伴い、Linux用のバイナリを配布する形にインストール方法を変更しました。また、今後MRI版の開発（haconiwa-mri とプロジェクトをリネーム済みです）は積極的には行わない予定です。何か機能追加したい際は mruby 版の方へPRを！ （一応、MRI版のリリース記事は以下です） udzura.hatenablog.jp ということで、今日はこのmruby版のHaconiwaを用いて、Dockerのsshdコンテナを再利用してsshdを立ち上げてみる手順を紹介します。 環境について Ubuntu Xenial に Docker をインストールしたマシンをご用
Chainer Trainerを使って独自データセットの学習をしてみた - Qiita
Chainer1.11.0がリリースされ、Trainerという学習ループを抽象化する機能が追加されたようなので、独自のAV女優顔画像データセットを使って学習をしてみます。 顔画像の抽出やデータ拡張については、Qiita - chainerによるディープラーニングでAV女優の類似画像検索サービスをつくったノウハウを公開するを参照してください。 元記事ではnumpy形式に変換していますが、今回は学習時にディレクトリから直接画像を読み込むため、numpy形式に変換しません。 ここで使う顔画像は各女優につき1000枚ずつ画像があり、64×64のサイズにリサイズし、以下構成のディレクトリに分けられているものとします。 ./root | |--- /actress1 | |--- image1.jpg | |--- image2.jpg | |--- image3.jpg | |--- /actres
TITAN XとGTX1080の比較メモ - Qiita
cnn-benchmarksでGPUやCNNによる実行時間の比較していたので、メモしておきます。 GPUの比較ではGPU,CPUの比較をしています。 GeForce GTX 1080 GeForce GTX TITAN X dual Intel Xeon E5-2630 v3 また、CNNでは以下のネットワークの比較をしています。 AlexNet VGG-16 VGG-19 ResNet-18 ResNet-34 ResNet-50 ResNet-101 ResNet-152 ResNet-200 比較結果で参考になったところ TITAN X より GTX1080のほうが1.1～1.15倍程度速い。 ResNet-50がVGG-16より1.5倍速い。 ResNet-200はメモリが8GBのGTX1080では動かない(それ以外はGTX1080でも動く) ただし上記比較の際のバッチサイズは16
Tensorflow + GPU 環境を nvidia-docker を使って楽に作る (on CentOS 7.2) - Qiita
※Ubuntu版はこちらをご参照ください。 Tensorflow + GPU 環境を nvidia-docker を使って楽に作る (on Ubuntu 17.04) 背景 以前自作GPUマシン上でDeepLearning用の環境を構築したのですが、 GPUのドライバインストール Cuda/Cudnnのインストール DeepLearningライブラリのインストール 動作テスト とステップが多く、ハマると結構インストールに苦労します。 また、Cuda/Cudnn、各ライブラリ共にバージョンアップが頻繁であったり、色々とモジュールを入れているうちに依存関係が壊れてしまったり何かと環境を作り直したくなることも多いです。 簡単に環境を作り直せるようにしたいと思い、NVIDIAが提供しているnvidia-dockerを用いた環境構築の方法を試してみました。 目的 GPUマシン上でのDeepLearn
Apache Flinkを試してみての感想 - Tech Notes
しばらくApache Flinkを試してみたので、感想を書いておこうと思う. 試したこと standalone modeでのクラスタ構築 ストリーミングジョブを書いてみる TumblingTimeWindowやSlidingTimeWindowでの集計 Kafka SourceとElasticsearch Sinkの利用 必要だったので、カスタムトリガは書いた 幾つかのジョブで性能測定 社内の本番fluentdからKafka経由でFlinkにストリームを投入し、ジョブを十数日くらい連続稼働してみる state backendをHDFSやRocksDBにしてみる JobManager HA TaskManagerやJobManagerを落としてみる Flink on YARN (ジョブを起動してみただけ) 試してないこと DataSet APIの利用 savepoint, savepoint
サルでもわかるMesos schedulerの作り方
Orchestration? You Don't Need Orchestration. What You Want is Choreography.Julian Dunn
Threadの割り込みを活用する - プログラマーの脳みそ
確実に一定時間スリープする - terazzoの日記ではThreadの割り込みがあっても確実に一定時間の停止を試みているが、そもそもこのようなコードは書いてはいけない。 Thread.sleep()は一定時間止まるための便利メソッドとしてよく知られているが、そのときに発生するInterruptedExceptionについての理解は広まっていない気がする。割り込みとはなんなのか。どういう時に使うのか。 目覚まし時計 お昼休みに昼寝をしようとする。寝過ごすといけないので15分後にアラームを鳴らす設定をした。 さて、ひと眠りするか、というところに友人がやってきた。昼寝はやめて売店に行くことにした。果たして売店でアラームが鳴り始めた。 さて、このとき、アラームは15分間の待機を命じられたわけだけども、お昼寝がキャンセルされたことで、もう待機しなくてよくなってしまった。むしろ、さっさと待機をやめてく
C++11スマートポインタ入門 - Qiita
[2022-06-22] さすがに情報が古くなってきたため、最新の規格に合わせて本記事の内容を再編集した記事を新たに書きました。よろしければ、こちらの新記事「C++20スマートポインタ入門」をご参照ください。 C++11では、unique_ptr<T> shared_ptr<T> weak_ptr<T>の3種のスマートポインタが新たに追加された。これらのスマートポインタは、いずれもメモリの動的確保の利用の際に生じる多くの危険性を低減する目的で使用されるが、それぞれ独自の考え方と機能を持っている。3種のスマートポインタを適切に使い分けることで、安全性と開発速度の向上が見込めるだけでなく、プログラマの意図に合わせて「ポインタ」を記述し分けることができる、非常に強力なツールとなる。 本解説では、スマートポインタについて初めて学ぶ人を対象に、C++11で追加された3種のスマートポインタの機能と使い
shared_ptrの使い方を知りたかったからいろいろ試してみた - uhiaha888’s diary
タイトルのとおりです。 基本的な使用方法 まず基本的な使い方。 #include "stdafx.h" #include <memory> #include <iostream> class Hoge { public: Hoge(){} ~Hoge(){ std::cout << "Hogeのデストラクタだよ" << std::endl; } int number_; }; int _tmain(int argc, _TCHAR* argv[]) { { std::shared_ptr<Hoge> hoge1(new Hoge); // 初期化 hoge1->number_ = 30; { std::shared_ptr<Hoge> hoge2 = hoge1; std::cout << "hoge1->number_ : " << hoge1->number_ << std::endl
transformの引数の謎 - 名古屋３１３の日記
C++, STL | 01:38とあるところでstd::transformの引数は相対性に欠けてよくないという議論を見かけたので少し考えてみました。先ず前提として、取り敢えずstd::transformは次のように使えます。 std::arrayint, 10> a = { 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 }; std::arraydouble, 10> b = { 9.0, 8.0, 7.0, 6.0, 5.0, 4.0, 3.0, 2.0, 1.0, 0.0 }; std::vectordouble> c(10); // aの要素の二倍をcにコピー std::transform(a.begin(), a.end(), c.begin(), [](int const x) { return x * 2; }); // aの要素とbの要素の和をcにコピー std:
Pythonでvar_dump - tomoemonの日記
PHPでコードを書いててちょっと動作確認したいというときにvar_dumpは本当に便利。元からあるデータ型だろうが、自作のクラスだろうがきれいに整形してすべてのデータを表示してくれる。 <?php $a = array(1, 2, array("a", "b", "c")); var_dump($a); ?> # => array(3) { [0]=> int(1) [1]=> int(2) [2]=> array(3) { [0]=> string(1) "a" [1]=> string(1) "b" [2]=> string(1) "c" } } 自作クラスのインスタンスでもほぼ同じ形式で表示できる。さて、Pythonではどうかというと from pprint import pprint a = [1, 2, ["a", "b", "c"]] pprint(a) # => [1, 2,
Boost.Rangeってなに - Qiita
Boost.Rangeが流行っている気がするので解説します。それぞれの細かい機能についてはリファレンスを見てね。この記事はBoost.Rangeが分からない人、特に全く知らない向けの記事になっているため、boostが1ミリも分からなくても読める記事になっているつもりです。なお、私がこの記事を書く上で使用したBoostのバージョンは1.60.0です。リファレンスは以下です。URLをちょっといじれば好きなバージョンに飛べると思います。 http://www.boost.org/doc/libs/1_60_0/libs/range/doc/html/ なお、標準ライブラリのアルゴリズムヘッダも参照のこと。 http://en.cppreference.com/w/cpp/algorithm Boost.Rangeとは イテレータ対(iterator pair)というイディオムを応用発展させたbo
[Python]multiprocessingを使って遺伝的アルゴリズムを高速化したときのメモ - Qiita
はじめに Python、並列処理でググると、multiprocessingというモジュールの記事がいくつも出てくるので、以前書いた記事で試してみました。 [Python]FXシストレパラメータの最適化を遺伝的アルゴリズムでやってみる 遺伝的アルゴリズムは、たくさんの個体を評価してその適応度により選択、交叉などの遺伝的処理を行うのですが、それぞれの個体の評価は完全に独立しているので、並列処理に適しています。今回もその個体評価の部分に並列処理を適応させてみます。 もとのコード 並列化させる前の遺伝的アルゴリズムのコードです。上の記事のシストレパラメータの最適化に使ったものなので、汎用的なものではありません。前後のコードは省略します。 def Optimize(ohlc, Prange): def shift(x, n=1): return np.concatenate((np.zeros(n)
![[Python]multiprocessingを使って遺伝的アルゴリズムを高速化したときのメモ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/ab236ea00ee98f08d3269c49d2345cc10499de61/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCUHl0aG9uJTVEbXVsdGlwcm9jZXNzaW5nJUUzJTgyJTkyJUU0JUJEJUJGJUUzJTgxJUEzJUUzJTgxJUE2JUU5JTgxJUJBJUU0JUJDJTlEJUU3JTlBJTg0JUUzJTgyJUEyJUUzJTgzJUFCJUUzJTgyJUI0JUUzJTgzJUFBJUUzJTgyJUJBJUUzJTgzJUEwJUUzJTgyJTkyJUU5JUFCJTk4JUU5JTgwJTlGJUU1JThDJTk2JUUzJTgxJTk3JUUzJTgxJTlGJUUzJTgxJUE4JUUzJTgxJThEJUUzJTgxJUFFJUUzJTgzJUExJUUzJTgzJUEyJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1hMTFiZWI1YTRlNDc0MTc0YTU2ZjlkMTk0OTdjZjQ5ZA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwdG95b2xhYiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NzgxNzc0NGZmZDhlOTE5OWNhZDUxNDg5MTk3Nzk0ZjQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D0e0ec7109c7d58dc72d6d0a70df8fd20)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: Python機械学習プログラミング 達人データサイエンティストによる理論と実践 impress top gearシリーズ 電子書籍: Sebastian Raschka, 株式会社クイープ, 福島 真太朗: Kindleストア
ICSE2016勉強会 #sereading
Python未経験エンジニアがMacでTensorFlowの実行環境+快適なコーディング環境を構築するまで - Qiita
SQLでNULL同士の比較がfalseになるのは、何故ですか？