タグ

ブックマーク / qiita.com/derui@github (3)

  • AWS Batchで速く/安くやるデータセットの前処理 - Qiita

    OpenStreamアドベントカレンダーの一日目です。 結構前からやっている趣味DeepLearningですが、最近(実際は結構前から)次のような問題に当たり始めました。 データセットが大きくなってきてHDDが厳しい データセットが大きくなってきて前処理がやばい 小さいデータセット+Augmentationでなんとかなるものはいいんですが、現在最大のデータセットは 画像33万枚、220GB弱 あります。 んで、これを前処理したり何だりしていると、最終的に学習で利用するデータを作成するだけで、HDDが500GBくらい利用されてしまう状態です。 容量も当然厳しいんですが、一番厳しいのは処理時間です。現状の前処理を行うと、大体 12時間くらい かかります。趣味でやるので基的に自分のPCでやっていると、HDDが悲鳴を上げる上に、実行している間はレイテンシが悪すぎて他の作業もできないって状態になっ

    AWS Batchで速く/安くやるデータセットの前処理 - Qiita
    peketamin
    peketamin 2018/08/14
  • PolymerでのCSSについて - Qiita

    最近はPolymerにどっぷりです。Polymerをこのタイミングでプロダクション環境に使おうとしているのは、正直かなり厳しいとは思いますが、人柱のつもりでまぁ・・・。いや、プロダクション環境で人柱すんなって話ですね。 それはそれとして、Polymer、というかWeb Componentsが現状全うに動作する環境、というのは、事実上Chrome(PC/Android)しかありません。iOS上ではまだ確認してませんが、運がよければネイティブ実装があるのかなー、という程度です。 実際には、Platform.jsを確認してもらえればわかりますが、他のブラウザでネイティブ実装が進んでいるものはかなり少ない、ほとんどないといっても過言ではありません。 Web Componentsを利用するモチベーションとして、デザインの完全なカプセル化が可能、というのがあげられると思います。 (JavaScript

    PolymerでのCSSについて - Qiita
    peketamin
    peketamin 2014/07/10
  • Polymerを実際に使ってみた - Qiita

    <link rel="import" href="bower_components/polymer/polymer.html"> <polymer-element name="x-test"> <template> This is <b>{{owner}}</b>'s name-tag element. </template> <script> Polymer('x-test', { // initialize the element's model ready: function() { this.owner = 'Rafael'; } }); </script> </polymer-element> 公式に乗ってるサンプルほぼそのまんまです。polymer-elementのname属性には、必ず -を含んだ名前 をしているする必要があるので注意です。 後はこれをHTML imports

    Polymerを実際に使ってみた - Qiita
    peketamin
    peketamin 2014/07/06
  • 1