Apache Sparkは大規模なデータ処理向けアナリティクスエンジン。SQL、DataFrames、機械学習用のMLlib、グラフデータベース用のGraphXなどを活用できるライブラリを用意し、Java、Scala、Python、R、SQLなどの言語を使って並列処理アプリケーションを作成できる。スタンドアロンまたはApache Hadoop、Apache Mesos、Kubernetesといったプラットフォーム上で実行できる。もともとは米カリフォルニア大学バークレー校のAMPLabでスタートしたプロジェクトで、その後Apache Software Foundation(ASF)に移管、プロジェクトは今年で10周年を迎えたことを報告している。 Apache Spark 3は、2016年に登場したApache Spark 2系に続くメジャーリリースとなる。Project Hydrogenの一