5TB/日 のデータをAWS Glueでさばくためにやったこと（概要編 | Future Tech Blog - フューチャーアーキテクト

みなさん、初めまして、お久しぶりです、こんにちは。 フューチャーアーキテクト2018年新卒入社、1年目エンジニアのTIG（Technology Innovation Group）所属の澤田周吾です。大学では機械航空工学を専攻しており、学生時代のインターンなどがキッカケで入社を決意しました。 実は、本記事でフューチャーテックブログの2記事目となります。インターン時代も ジャガイモARの記事 を書かせて頂きました。入社してからもこうして業務で学んだIT技術を記事に書くという機会を貰え、なんだか懐かしいやら感慨深いやらの思いで一杯です。 さて、3ヶ月の新人研修後にすぐに配属されたプロジェクトで、AWSを使ったビックデータ分析のための基盤構築をお手伝いしています。わたしは分析のための前処理であるETL（Extract、Transform、Load）処理部分をちょっと変わった性格の先輩方と一緒に開発

[stk132]

この問題のため、毎時バッチにPresto on EMRじゃなくてAthenaを使ったワタクシ。で、Athenaは頻繁にコケるのでつらい "10分毎に処理する要件だと、EMRクラスタを常時立ち上げざる得ない"

[atsuizo]

良記事。注意点まじ注意点。ウチもGlueリソース確保できないケースなんどかあたったなあ。

[testedquality]

EMRよりGlueがいいかもと調べて到達。最後の買えないは仕事利用できないからEMRだなあ。リザーブドができたら検討します。

[sh19910711]

"Glueの機能にジョブブックマークというすでに処理されたデータかどうかを判定し、処理済みであれば次のジョブでは入力データに含めないという機能があります"

[braitom]

AWS Glueについて。Glueで行えること、各種Tipsや注意点がまとめられている。

[kenzy_n]

開発エンドポイントの活用

[shouya-someya]

勉強になります。、