Pythonで動かしてみるSpark入門 - QiitaSparkとは ライトニング高速クラスタコンピューティング。 バッチ処理を大規模分散するライブラリ。分散処理を良しなにやってくれる。 SQL使える。ストリーミングデータ使える。機械学習使える。グラフ理論使える。ディープラーニング載せれる。これらがメモリを駆使して高速にクラスタ分散してくれる。 試した環境 mac python2.7.12 spark-1.6.2-bin-hadoop2.6 Sparkのインストール JDKのインストール
【エラー】Cannot interpret feed_dict key as Tensor: Tensor Tensor... is not an element of this graph - Qiita
【エラー】Cannot interpret feed_dict key as Tensor: Tensor Tensor... is not an element of this graphKeras エラーが出たとき用に足跡を残す。 fit_generatorを使いたいというときがある。kerasのデータ拡張機能を使いたいとき、あるいは色々書き方の問題でメモリエラーになる場合。 fit用にリストに画像とか学習用データを溜め込んで学習するコードを書いていた場合、 データが多くなると当然メモリエラーになる。 全データをバイナリに固めるのがいい場合もあるが、 手っ取り早くジェネレータにしてbatch分だけ取得するようにすることもできる。 fit_generatorを使うときにエラーが出て、結構ハマったが落ち着いて考えると、「そりゃそうだ」というエラーだった。 そもそも計算グラフが構築されてない
kerasの事前学習用のモデル - Qiita
kerasで事前学習できるモデルの理解を深めるたい。 大規模な画像認識のための非常に奥行きのあるコンビネーションネットワーク(VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION) 抜粋 本研究では、大規模な画像認識設定における畳み込みネットワークの深さがその精度に及ぼす影響を調べる。 私たちの主な貢献は、非常に小さい（3×3）畳み込みフィルタを備えたアーキテクチャを使用して、深度のネットワークを徹底的に評価することであり、深さを16-19ウェイトのレイヤーにプッシュすることによって、 これらの調査結果は、私たちのチームがローカライゼーションと分類のそれぞれで第1位と第2位を確保したImageNet Challenge 2014提出の基礎となりました。 我々の表現は、最先端の結果を達成する他のデータセットにもよ
kerasでDCGANとpix2pixを比較 - Qiita
動画 Generalization and Equilibrium in Generative Adversarial Nets (GANs) torch7のpix2pix torch7がオリジナル http://qiita.com/masataka46/items/3d5a2b34d3d7fd29a6e3 DCGANアーキテクチャ https://www.slideshare.net/xavigiro/deep-learning-for-computer-vision-generative-models-and-adversarial-training-upc-2016 https://blog.openai.com/generative-models/ 敵対生成で画像を生成する。ノイズを入力し、ジェネレーターで偽の画像を生成。ディスクリミネータで本物の画像を判定する。 ジェネレータで画
keras2のざっくり説明とkerasブログ翻訳 - Qiita
大まかにいうと cntkや他のフレームワークをラッピングしていこうという考えがあるようです。 keras2は長期サポートされると言っています。 apiの名前が変わったり、削除されたりしています。 cntk https://github.com/fchollet/keras/issues/5299 kerasブログの訳です。Tue 14 March 2017 Kerasは2年前、2015年3月にリリースされました。その後、1人のユーザーから10万人に成長しました。 何百人もの人々がKerasコードベースに貢献しています。 多くの人々がコミュニティに貢献してきました。 Kerasは新しいスタートアップを可能にし、研究者をより生産的にし、大企業のエンジニアのワークフローを簡素化し、以前の機械学習経験を持たずに何千人もの人に深く学びました。 そして、これはほんの始まりだと私たちは信じています。 今
機械学習の数学 - Qiita
気になる記事があったのでメモ。 http://datascience.ibm.com/blog/the-mathematics-of-machine-learning/ ここ数ヶ月で、私は、データ科学の世界への挑戦と、機械学習（ML）技術を使用して統計的規則性を探り、完璧なデータ駆動型製品を構築するという熱意について、私に連絡しました。しかし、私は実際に有用な結果を得るために必要な数学的な直感とフレームワークがないことを知っています。これが私がこのブログ記事を書くことにした主な理由です。最近では、scikit-learn、Weka、Tensorflow、R-caretなどの使いやすいマシンやディープ・ラーニング・パッケージが多数利用できるようになっています。機械学習理論は、統計的、確率的、コンピュータ的データから繰り返し学習し、インテリジェントなアプリケーションを構築するために使用できる隠
【GPU】メモリについて「cudaMemcpy」 - Qiita
pytorchの並列化のレスポンスの調査のため、gpuメモリについて調べた軌跡をメモ。 この記事では、もしかしたらってこうかなーってのしかわかってない。 これらのサイトを参考にした。非常に勉強になった。 http://d.hatena.ne.jp/interleave/20091103/1257259065 http://news.mynavi.jp/column/architecture/338/ cudaでhello world!! 実装は見なくていいという場合は飛ばしてください。 いや 本当に動くの？と思いながらこの記事を元に動かした。 http://www.gdep.jp/page/view/255 環境：ubuntu14, cuda8.0 #include <stdio.h> __global__ void kernel( void ) { } int main( void )
keras-1チュートリアル流し読み - Qiita
始めに chainerと似て抽象化がされている。 違いの一例としてはネットワークの定義でユニット数の書き方がchainerと逆になってる。Dense(1, input_dim=784,... 出力ユニット数,入力ユニット数の順になってる。 この記事では関数の紹介、使い方、どこで使われてるかを説明できる範囲で紹介します。 ※layer_testというサンプルが多用されてますが、ただのテストコードなことに後で気づきましたので、そのうち直します。 継承関係 Layer ↑ Container ↑ Model ↑ Sequential Keras v2では名前が変わったりしてます。 今はv1を元に書いています。 http://qiita.com/miyamotok0105/items/322b29339e1771184b9e from keras.models import Sequential
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
