はてなブックマーク

OpenStreamアドベントカレンダーの一日目です。 結構前からやっている趣味DeepLearningですが、最近（実際は結構前から）次のような問題に当たり始めました。 データセットが大きくなってきてHDDが厳しい データセットが大きくなってきて前処理がやばい 小さいデータセット＋Augmentationでなんとかなるものはいいんですが、現在最大のデータセットは 画像33万枚、220GB弱 あります。 んで、これを前処理したり何だりしていると、最終的に学習で利用するデータを作成するだけで、HDDが500GBくらい利用されてしまう状態です。 容量も当然厳しいんですが、一番厳しいのは処理時間です。現状の前処理を行うと、大体 12時間くらい かかります。趣味でやるので基本的に自分のPCでやっていると、HDDが悲鳴を上げる上に、実行している間はレイテンシが悪すぎて他の作業もできないって状態になっ

画像から線画をDeepLearningで抽出してみた 気がつけばGWもあっという間に過ぎ去りました。今年のGWは東京（一部埼玉含む）を家族一同でやたら歩きまわりました。スカイツリーにも登りましたが、あんなに人がいるとは思ってませんでしたね。次行くことがあれば夜に行くのも面白そうでした。なんか上映とかしてるみたいですし。 6/11アップデート ネットワーク構造、データセット内の色々を修正して、抽出できる線画を改善したので、その内容を含めてアップデートしました。 線画が欲しい 以前記事にしましたが、線画着色をDeepLearningでやってみていますが、その過程で、いくつかデータセットに課題がありそうな感じがしました。線画自体は、 http://qiita.com/khsk/items/6cf4bae0166e4b12b942 を参考にして作成したのですが、どうもいくつか問題があるようです。

そろそろ春の足音がしだして、相変わらずの何もできてないっぷりに愕然とする今日このごろです。 さすがに何もしていないのはまずいので、以前触った TensorFlow を再び触り始めています。 相変わらずのGoogleクオリティで、APIが色々と変わっているような気がしますが、いろいろ忘れているので調度良いかなと。 何か一つ作ってみようと、作ってみている最中です（いずれ記事に・・・）が、DeepLearningとかコモディティ化してきていると言われているとはいえ、理解しながら作ろうとすると、もれなく数式とコンニチワするので、文字通りに頭の痛い日々です。でも楽しい。 Amazon LinuxでGPU利用する 今作ってみているものは、学習をCPUだけでやると時間がかかってしょうがない＋学習用データが大きすぎて洒落にならないため、GPUで実施したくなります。 GPUは一応部屋のPCについているとはい

いつの間にやら12月も終わりに近づきました。一年が長いやら短いやらですが、あんまりインプットもアウトプットもない年だった年だったように思います。 そんなことは置いておいて、唐突ではありますが、AWS Batchが発表されたのに合わせて（ちと遅いですが）、今回は Azure Batch を使ってみようかと思います。 Azure Batch 2016年の Re:invent で、 AWS Batch というサービスがリリースされましたが 、このサービスと同じような、マネージド型のバッチコンピューティングサービスです。 話は逸れますが、日本のIT業界にいると、 バッチ＝夜間処理 とか バッチ＝シーケンシャル とか バッチ＝JP1 という印象を抱きがちです。（個人的な感想です）しかし、AWS BatchもAzure Batchも、時間のかかる処理を分散並列で処理する、分散コンピューティングを管理す

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 気づいたら3ヶ月くらい何も書いてませんでした・・・。 さて、皆様キー割り当てツール（または配列エミュレータ）などは利用しているでしょうか。何やそれ？という方は、あんまりいないんじゃないかとは思いますが。 例えば次のような用途で利用されるかと思います。 − SandSをやりたい − CtrlとCapslockを切り替えたい − 変換とか無変換とかにいろいろ割り当てる − 新しいかな入力を使う Windowsの場合、CtrlとCapslockの切り替えについては、普通にやるとレジストリをいじるしかないんですが、そういったことが出来ない場合は

桜の花が散っていくときって、寂しさと同時に、新緑の季節も予感させるからいい感じですよね。 そんな4月ですが、ここの所以前に作ったEnd 2 End テストの完全な作り直しを行っています。以前に作ったEnd 2 Endテストは、以下のような構成でした。 https://github.com/jnicklas/capybara rspec Selenium hub on Docker on Virtualbox 併せて Chrome on Docker のようにして、DockerにXvfbを利用して構築したChromeをSelenium hubに参加させて、Virtualboxの中だけで完結できるような構成にしてました。 ただし、この構成と私が担当しているシステムの相性がすこぶる悪く、毎回Googleログインが必要となってしまい、最終的にはCaptchaが毎回必須となるようになってしまいました

今年は実家のほうも暖かくて、いつもより初雪が二週間ほど遅かったらしいですが、そういう時に限って、実家に帰る辺りにドカ雪になって雪寄せする羽目になるので若干帰省時の天候が心配です。 そんな私事はさておいて、オープンストリーム アドベントカレンダーの3日目です。他の方々は概ねweb系の話ですが、私はあえて別の道をいこうかと思います。 なんでEmacs? Emacs使ってます、と言うと、たまーにこう聞かれます。大抵はﾌｰﾝで終わりますが・・・。 使い始めて8年くらいになりますが、当時ちょうどLinuxをメイン環境に据えて、さて何か開発環境を・・・としたとき、EclipseとかIntelliJとかまだ（多分）なかったので、そうなるとほぼEmacs/Vimのいずれかを選択する形にならざるを得ませんでした。 で、そこでLispってなんかカッコイイ、というなんだかなぁな理由からEmacsを選択し、今に至

つい先日、Polymerがついに1.0になり、Production readyということになりました。webcomponents.jsというpolyfillが必要って時点で本当に Production readyなのか？という疑問は尽きませんが、それでも一つの里程標となったことでしょう。 さて、約1年半ほど前、0.4の時代のPolymerを社内システムとはいえ、プロダクションに適用してみたものの、メンテナンスの煩雑さやそもそもそれを使った機能が使われない（！！）ことから、ほとんどいじることはありませんでした。 その間に、0.5が出て、0.8が出て、ときたわけですが、1.0が来たということなので、ちょっと時間を使って0.4からどれくらい変わっているかを身を以て体験してみました。 Polymerのアップグレード(with Bower) Polymerは推奨通りにBowerでインストールしてまし

年末年始がタキオン粒子のごとく流れていって呆然としていますが、皆さんいかがお過ごしでしょうか。 年末年始は姉の手伝いでなぜかC#と戯れていました。Javaよりもいろいろアグレッシブですね、あれ。 Vagrant on Windowsの不満 そんなことは置いといて、私の現場の環境はWindowsですが、その上でVagrant + VirtualBox を動かしてLinuxをメインの作業環境としています。 Vagrantを使うということは、当然（？）共有フォルダも利用する、ということ・・・ですが。 皆さんご存知の通り、 VirtualBoxの共有フォルダはめちゃ遅いです。どんくらい遅いかというとかなり。 これがMacとかLinuxの上で動かしているんだったら、 VirtualBoxの共有フォルダが遅かったらNFSを使えばいいじゃない と言えるんですが、そもそもWindowsじゃないと動かないも

10月なのにまだ若干半袖にしようかどうかで迷っています。それでも最近はまだましですが・・・。 さて、去年と比べて最近はReact.jsが大分話題にあがるようになってきたようです。Facebook(正確にはInstagramだったっけか）で実際に利用されている、という点も、実績という意味では十分になってきたから、ということでしょう。 JSXという仕組み自体にはまだ賛否両論があるのを見たことがあります。確かに完全に独自の仕組みなので、Shadow DOMとかとは組み合わせるのはできなさそうです。 しかし、Polymerとかと比較して、本当にView側に特化したライブラリなので、ロジック側とか周囲についてはすべて自由に選択できる、というのは結構ポイントだと思います。 個人的にFacebookは好きでも何でもないのですが、DocumentFragmentと戦うことなく、スマートに実装できるんであれ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 思い立ったが吉日ということで、プロジェクトのモジュール管理をRequire.jsからBrowserifyへと移行し、その直後にWebpackに移行しました。もうちょっと考えてツールを選ぼうと思います。 さて、Require.jsからBrowserifyへ変えた理由は、シンタックスをCommonJS的に書けるようになって、全体がシンプルになるから、という理由でしたが、BrowserifyからWebpackへの移行は、もうちょっと切ない理由での移行になりました。 Webpackとは ドキュメントも若干わかりづらいですが充実しており、基本的に

久々に盆休み含めて一週間ちょっとの休みをとれました。若干業務が不安ではありますがまぁそれはそれで。休みということもあるので、たまにはちょっとした記事を書きましょう。 なぜJavaScriptはわかりづらいのか、それはLispだから 現場でそれまでJavaScriptを利用したことが無い人に、JavaScriptを説明すると大抵???という顔をされるケースが多いです。 特に、クロージャや変数のスコープの話をすると特に？？？とされます。スコープとかは、JavaScriptがそもそも小規模のスクリプトのために開発された、という点もあるのだと思いますが、今回の記事で書かれている点も結構関係あるんじゃないかと思います。 ですが、以降の内容と（ソースはどこかでみたんですが）JavaScriptはそもそもLispを作りたかった人が、現代的？な記法でかけるようにしたもの、ということで、Lispの概念とか書

このため、vulcanizeする先は別ディレクトリにしておいた方が得策です。サンプルリポジトリでは、次のようにしてBrowserifyしたものを作成しています。 assets/components以下に各コンポーネントを作成 src/components以下にvulcanizeされた各コンポーネントを追加 dest/componentsにbrowserifiyされたJavaScriptと、それに対応するHTMLを生成 browserifyされたものの出力先がdestってどうなの、とかあるとは思いますがとりあえずおいておいて。。。 ただし、この方針で作ったサンプルリポジトリは次のように問題もあります。 vulcanizeする要素を、すべての要素にしてしまっているため、Browserify時に相応の時間がかかるようになる vulcanizeしたファイルに対してBrowserifyすると、おそら

最近はPolymerにどっぷりです。Polymerをこのタイミングでプロダクション環境に使おうとしているのは、正直かなり厳しいとは思いますが、人柱のつもりでまぁ・・・。いや、プロダクション環境で人柱すんなって話ですね。 それはそれとして、Polymer、というかWeb Componentsが現状全うに動作する環境、というのは、事実上Chrome(PC/Android)しかありません。iOS上ではまだ確認してませんが、運がよければネイティブ実装があるのかなー、という程度です。 実際には、Platform.jsを確認してもらえればわかりますが、他のブラウザでネイティブ実装が進んでいるものはかなり少ない、ほとんどないといっても過言ではありません。 Web Componentsを利用するモチベーションとして、デザインの完全なカプセル化が可能、というのがあげられると思います。 （JavaScript

<link rel="import" href="bower_components/polymer/polymer.html"> <polymer-element name="x-test"> <template> This is <b>{{owner}}</b>'s name-tag element. </template> <script> Polymer('x-test', { // initialize the element's model ready: function() { this.owner = 'Rafael'; } }); </script> </polymer-element> 公式に乗ってるサンプルほぼそのまんまです。polymer-elementのname属性には、必ず -を含んだ名前 をしているする必要があるので注意です。 後はこれをHTML imports

AltJSにはいくつか有名どころがあります。 Haxe Coffeescript Dart TypeScript この中で、よく知られていて、かつしっかりとしたIDEがあるのは、HaxeとTypeScriptだと思います。（他もあるとは思いますが） HaxeはFlashDevelop、TypeScriptは言わずと知れたVisualStudioです。 上であげたAltJSで本当に触ったことすら無いのはDartで、それ以外は一応書いてみたことはあるのですが、やはり昔も利用していたこともあり、TypeScript + VisualStudioの快適さ加減はかなりなものでした。 VisualStudioも昔とは違ってかなり軽快で、補完とかについても非常にサクサクと気持ちよく書くことができます。 Eclipseという存在 しかし、今の私の仕事では基本的にJavaを書くのが基本・・・最近JavaSc