この記事はSpark Advent Calendar 9日目の記事として書きました。 Spark上でDeep Learningのアルゴリズムを走らせるにはいくつか方法があります。 MLlibで実装されているMultilayerPerceptronClassifierを使う Sparkling Waterを使う deeplearning4jを使う 今回は3つ目のdeeplearning4jをSparkから利用する方法を紹介したいと思います。 deeplearning4jとは Skymindが中心となって開発をしているJVM上で動くDeep Learningのフレームワークです。Deep Learningのアルゴリズムを実装したものはCaffeやTorch, Chainerなどがありますが、これらはメインではLuaやC/C++で実装されています。deeplearning4jはJava, Sca