【Python】Apache Beamを使ってデータパイプラインを実装してみる - St_Hakky’s blog

こんにちは。 先日、Apache Beamに関する概要の記事を書きました。 www.st-hakky-blog.com 今回は、Apache Beam SDKのうち、Pythonを使って、実際にデータパイプラインを実装してみようと思います*1。 今回のお題 今回は、Apache Beamの公式のドキュメントをベースにやっていこうと思います Beam Programming Guide Beam Overview Runnerとしては、今回はとりあえず動かして、プログラミングの仕方の雰囲気をつかむことを主眼にするため、ローカル環境を使っていきます。 Apache Beam SDKのインストール 普通にpipでインストールすることができます。RunnerとしてDataflowも使用する場合は、それも合わせて追加します*2。 $ pip install apache-beam $ pip ins