![](https://cdn-ak-scissors.b.st-hatena.com/image/square/51ff50b9ed0b22cfcbc4bc3c291cec5bde55b9e0/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUUzJTgwJTkwUHl0aG9uJTJCRG9ja2VyJTJCQXBhY2hlJTIwU3BhcmslRTMlODAlOTElRTMlODIlQTIlRTMlODMlOTclRTMlODMlQUElRTglQjUlQjclRTUlOEIlOTUlRTMlODElOEIlRTMlODIlODlQeXNwYXJrJUUzJTgxJUE3JUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUU1JThGJTk2JUU1JUJFJTk3JUUzJTgxJUJFJUUzJTgxJUE3JUUzJTgyJTkyJUU1JUFFJTlGJUU4JUI3JUI1JUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgyJThCJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xZjJlMDQ1NDRiY2NjMDAyYTVkZTBlM2FlMGJlZmRlMA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBpY2hpX3phbXVyYWkmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTAxOTllZjI0NGMzOTU4N2FiMzM2ZWE5MGExZjY3YTEy%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dddd168d2294b39879e55cfa92fe20b03)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
【Python+Docker+Apache Spark】アプリ起動からPysparkでデータ取得までを実践してみる - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
【Python+Docker+Apache Spark】アプリ起動からPysparkでデータ取得までを実践してみる - Qiita
はじめに とある用件で、Pysparkなるライブラリを知り、早速ながらその感覚を掴むために実践してみまし... はじめに とある用件で、Pysparkなるライブラリを知り、早速ながらその感覚を掴むために実践してみましたー! ウェブマーケ、広告運用をやっていた時はHiveやHadoopなどのHDFSに格納された広告配信データをSQLで取得し、ExcelまたはTableauでガリガリ加工して分析していた経験があったので、 今回は、取得する側ではなく、データを用意して入れる側の気持ちになって、挑戦してみました◎ アーキテクチャ(ざっくり) Dockerで、3つのコンテナを立ち上げる。 sparkのマスター 純粋にSparkアプリケーションのリソース・マネージャーとして機能 sparkのワーカー1 sparkのワーカー2 Sparkマスターに送信されたジョブの一部の実行を担当するエグゼキューターを起動 バージョン Python 3.7 Apache Spark 3.0.1 Apache Hadoop 3.2