エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Apache Beam を python で書いて GoogleDataflow で動かすまで - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Apache Beam を python で書いて GoogleDataflow で動かすまで - Qiita
Apache Beam は一言でいうとデータ並列処理パイプラインなわけですが、もともとが Java 向けであったこ... Apache Beam は一言でいうとデータ並列処理パイプラインなわけですが、もともとが Java 向けであったこともあり、python で使おうとするとなかなかサイトが見つからなかったので、まとめてみます。 Apache Beamとは 公式サイト のタイトルに大きく Apache Beam: An advanced unified programming model. Implement batch and streaming data processing jobs that run on any execution engine. と書いてあるので、いろんなランナー(後述)で動きそうな気がしますが、python に限って言えば 2017 年 11 月時点ではローカル実行か GoogleDataflow のどちらかしかありません。 実際に FlinkRunner を使うと以下のエラーが