Spark × Keras × Dockerでディープラーニングをスケーラブルにしてみた3 Kubernetes編 - Qiita
これまでのあらすじ KerasをSpark上で稼働させるdist-kerasをDockerから起動させることで、ディープラーニングをスケーラブルにしようとしてきました。 Spark × Keras × Dockerでディープラーニングをスケーラブルにしてみた Spark × Keras × Dockerでディープラーニングをスケーラブルにしてみた2 マルチホスト編 前回まででマルチホストでの分散処理に成功しました。 しかしマルチホストでDockerを起動する難点は、それぞれのホストで一々起動コマンドを実行し管理しなければならない点です。 そこで、DockerのオーケストレーションツールKubernetesを用いて、Docker管理を容易にスケーラブルにしてみました。 今回やること これまで作ってきたDistKeras on DockerをKubernetesで動かします。 Kubernet
Spark × Keras × Dockerでディープラーニングをスケーラブルにしてみた2 マルチホスト編 - Qiita
以前、Dist-kerasをDockerに載せてスケーラブルなディープラーニングを作ってみました。 http://qiita.com/cvusk/items/3e6c3bade8c0e1c0d9bf 当時の反省点はパフォーマンスが出なかったことですが、よく見直したらパラメータの設定が間違っていたようです。 そこで反省がてら、いろいろ試してみました。 前回までのあらすじ Dist-Keras自体の説明は以前の投稿をご参照いただきたいのですが、要はSparkクラスター上で動作するKerasです。 私はこれをDockerイメージにして、スケールアウトを簡単にできるようにしてみました。 なお、DockerfileはGitHubで公開しています。 https://github.com/shibuiwilliam/distkeras-docker 今回やること 今回はDist-Keras on Doc
Spark × Keras × Dockerでディープラーニングをスケーラブルにしてみた - Qiita
2017年2月にYahoo!からTensorFlowをSparkで分散処理させるライブラリが出ました。 http://yahoohadoop.tumblr.com/post/157196317141/open-sourcing-tensorflowonspark-distributed-deep これを個人的にDockerに乗せて遊んだりしていたのですが、じゃあKerasはどうなの？ってことで、今回はKerasをSparkで分散処理させるDist-KerasをDockerで動かしてみようと思います。 目標はディープラーニングライブラリをスケーラブルに利用することです。 GPGPUの活用によりディープラーニングはスケールアップ方面に力を入れている感じがします。 しかし、処理の高速化を演算装置の性能に求めるスケールアップと、演算装置の数に求めるスケールアウトを組み合わせればより高速な処理ができ
Spark + Kubernetes Docker on SoftLayer by Rancher - Qiita
Spark Summit 2016 San Franciscoが終わったというところで、RancherというDockerコンテナ管理ツールを使って、SoftLayer上にkubernetesを利用したSparkのクラスタ環境を簡単に構築してみた記録です。 まずは、それぞれの概要を記します。 Rancherは、Dockerイメージとして配布されているコンテナやクラスタの管理をWebUIで簡単に行えるオープンソースのツールです。 SoftLayer、GCP、AWS、Azure、DigtalOcean、rackspaceといった、各種クラウドとのコンテナ連携が可能です。 2016年3月にバージョン1.0になり、Kubernetes、DockerSwarm、Mesos等のクラスタ環境管理機能が追加されました。 公式サイト：http://rancher.com/ Sparkは、Hadoop同様の分散
Single Node Spark Cluster Using Docker - Iz #DEV
sudo docker run \ --volumes-from keyhost \ --name master \ -h master.localdomain \ --dns-search=localdomain \ ezhaar/docker-spark # Now get a TTY inside master sudo docker exec -it master /bin/bash -h sets the hostname and adds an entry in the /etc/hosts file. --dns-search updates the /etc/resolve.conf for reverse DNS lookups. Once the container has started, format the namenode the namenode, we ar
Using Docker to Build an IPython-driven Spark Deployment - { lab41 }
TL;DR: Our ipython-spark-docker repo is a way to deploy an Apache Spark cluster driven by IPython notebooks, running Docker containers for each component. The project uses Bash scripts to build each node type from a common Docker image that contains all necessary packages, enables data access from a Hadoop cluster, and runs on dedicated hosts. By using IPython as the interface, you can leverage a
Spark on Dockerで分散型機械学習を始める - Part2: UbuntuでIPython Notebookを使う - Qiita
Spark on Dockerで分散型機械学習を始める - Part2: UbuntuでIPython Notebookを使うhadoopSpark機械学習ipython_notebook sequenceiq/sparkのDockerイメージはCentOS 6.5を使っているので、そのままではIPythonのインスト-ルに失敗してしまいます。SequenceIQにはUbuntuのbaseimageもあります。これから自分でSparkのDockerfileを作ろうと思いましたが、ちょどよいイメージがLogBaseInc/docker-spark-ipythonがありました。 このシリーズ Spark on Dockerで分散型機械学習を始める - Part 1: インストール Spark on Dockerで分散型機械学習を始める - Part 2: UbuntuでIPython Note
Spark on Dockerで分散型機械学習を始める - Part1: インストール - Qiita
日経BPのITインフラテクノロジーAWARD 2015が発表されました。2015年にブレークすると予想されるクラウドやビッグデータの製品やサービスを選出しています。グランプリにDocker、準グランプリにApache Sparkが選ばれました。Sparkは2014年に入り盛り上がってきています。インメモリで高速に分散処理ができるため、機械学習のような繰り返し処理に向いています。MLibの機械学習ライブラリもあるので分散型機械学習フレームワークとして注目を集めています。そんなDockerとSparkを使い手軽に分散型機械学習の環境をつくり勉強していこうと思います。 このシリーズ Spark on Dockerで分散型機械学習を始める - Part 1: インストール Spark on Dockerで分散型機械学習を始める - Part 2: UbuntuでIPython Notebookを使
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Private Site
Nyle Engineering Blog