はてなブックマーク

はじめに 今後はストリーム処理の時代がくるはずです。たぶん。そんな気がします。 というわけで、適当なデータ発生を発生させて、Kinesis Streams＋Spark streamingでストリーム処理を体験してみました。 Spark 2.0.0 (EMRを利用） Kinesis Streamsとは 昔は単にKinesisと呼ばれていましたが、後からKinesis FirehoseとKinesis Analyticsが追加されたため、Kinesis３兄弟のうちの１人と呼ばれています。 大規模でスケール可能で、メッセージが一定時間保存されるPubSub型キューのことを指します。 つまり、データを発生させるProducer相当と、後段の処理であるConsumer相当を作成する必要があります。 Spark Streamingとは 大規模データ分散処理フレームワークのApache sparkのライ

はじめに 前回の記事でCUDAおよびCuDNNを自分でインストールする手法を紹介しましたが、Dockerを使うとさらに簡単にディープラーニング環境を構築できます。 さらに、簡単に使えるだけではなく、複数のバージョンやフレームワークを共存させるときにも便利です。 書き終えたときにこんなすばらしい投稿を発見し、これ自体の価値はなくなってしまいましたが、自分用のメモということで公開します。 OS:ubuntu 14.04 準備 AWSのP２インスタンスを立てた後に色々インストールします。 sudo apt-get update -y sudo apt-get upgrade -y sudo apt-get install -y build-essential git python-pip python-dev libxml2-dev libxslt1-dev zlib1g-dev libcurl

はじめに AWSで新しいGPUインスタンスであるP2系が出ました。 http://dev.classmethod.jp/cloud/p2-instance-type/ Deep learningのライブラリがプリインストールされているAMI(https://aws.amazon.com/marketplace/pp/B01M0AXXQB) もあるのですが、CUDAやCuDNNが入っていないらしいのでせっかくということでインストールしてみました。 OS:ubuntu 14.04 CUDA: 7.5 CuDNN: 5.1 準備 必要なライブラリ系のインストール sudo apt-get update -y sudo apt-get upgrade -y sudo apt-get install -y build-essential git python-pip python-dev libxm