Spark MLlib でネイティブライブラリを使う - QiitaSpark と MLlib Sparkはオープンソースの分散処理フレームワークです。 Hadoopと比較した場合、インメモリで処理を行うため繰り返しの計算に強く、特に機械学習にメリットがあります。 Sparkは標準でMLlibという機械学習ライブラリを用意していて、キラーアプリといえる存在になっています。 MLlibにはBLASのような著名なアルゴリズムが用意されています。 MLlib と Netlib MLlibのアルゴリズムには、Javaで実装されたjblasが使用されています。 しかし、MLlibのパフォーマンスを高めるために、内部のアルゴリズムをネイティブの実装であるNetlibと差し替えたいと考えるのは自然なことでしょう。 Sparkはそのための手段を用意しています。 netlib-javaのビルド SparkはJavaVM上で動作しますので、JNI経由でNetlibを呼び出すこ
