Pysparkの基礎、文法 - Qiita

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 勉強中のPysparkについて、勉強したとこまでメモ。 実際にクラスタを構築して実装してみたかったが、若干敷居が高く感じられたので今回は楽にできるローカル(クラスタを構築しないモード)で行う。PySparkの文法練習自体はこれでも十分可能だった。 Pysparkバージョン：3.2.0 実行環境：Google Colab Sparkの概要 ●Hadoopについて Hadoopを構成する要素をかなり大雑把に書くとこんな感じになる。 Hadoopは、分散処理技術によって大規模データの扱いに長けたオープンソースのフレームワークである。