[B! Beam][Dataflow] arrowKatoのブックマーク

Python Tips - Apache Beam - Apache Software Foundation

arrowKato 2021/02/26

テストの書き方やテスト時の環境構築方法

リンク

Test Your Pipeline

Test Your PipelineTesting your pipeline is a particularly important step in developing an effective data processing solution. The indirect nature of the Beam model, in which your user code constructs a pipeline graph to be executed remotely, can make debugging failed runs a non-trivial task. Often it is faster and simpler to perform local unit testing on your pipeline code than to debug a pipeline

arrowKato 2021/02/26

パイプラインのテストの書き方

リンク

Apache Beamのオーバーヘッドについて調べてみた | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ

こんにちは。データサイエンスチームのtmtkです。この記事では、Apache Beamを紹介します。また、Apache Beamを使うことによるオーバーヘッドを簡単に観察してみます。 Apache Beamとは [公式サイト]によると、「Apache Beamとはバッチデータ並列処理パイプラインとストリーミングデータ並列処理パイプラインのどちらも定義するための、オープンソースの統合モデルである」だそうです。具体的には、プログラム中でApache Beam SDKのクラスをimportし、 Apache Beam SDKのAPIを用いてデータ処理プログラムを作成すると、作成したプログラムをApache Spark, Apache Flinkなどの上で実行できるというものです。特徴としては、 Dataflowモデルに基づいてデータ処理プログラムを作成することができる（参考：[Data