こんにちは,アドバンストテクノロジーラボの石川有です. 業務として携わっている Apache Spark™ の最新版 Apache Spark 1.5 が先日リリースされました. 今回の記事では Spark のコンポーネントであるSparkR の 1.5 リリースまでの開発でできたこと・できなかったことを書きたいと思います. なにがサポートされたとか,どういう使い方ができるようになったなどの情報はほかでも入手できると思うので,本稿では自分が携わった SparkR の開発について書きます また Spark や Spark の DataFrame がなんであるかなどは,割愛しますのでご留意ください. Spark 1.5 の開発の中で,SparkR で関わった部分は大きく分けると2つあります. 1. コーディング規約の策定と静的解析ツールの適応 2. DataFrame まわりの整備 コーディン