Spark RAPIDSを試したら凄かった - なぜか数学者にはワイン好きが多い

NVIDIA Spark RAPIDSを試してみた Apache Sparkファンとしては，Sparkの色々な活用方法を探しています．特に私はIBM PowerでSparkを使っているので，機械学習のためのライブラリを使おうとすると，色々と苦労しています．幸い，IBM Powerは，ギリギリでNVIDIAのサポートを受けています．例えば，CUDAが使えます． ならばSparkでCUDAを使ってGPUを活用したい！ と思いますよね． そこでSpark RAPIDS． GitHub - NVIDIA/spark-rapids: Spark RAPIDS plugin - accelerate Apache Spark with GPUs RAPIDSは様々なプロジェクトのトップです． Open GPU Data Science | RAPIDS 今回は，RAPIDSの中のSpark RAPID

[sh19910711]

"SparkでCUDAを使ってGPUを活用したい！と思いますよね．そこでSpark RAPIDS / 緑はRAPIDSを使った時で，レコード数が増えても処理時間が変わりません / 色々試した結果，GPUのメモリが溢れるまでは定数時間でイケました"