こんにちは、Apache Sparkのエンジニア(PySpark)になりつつあるディーネット山田です。 さて、今回はAWS Glueのジョブ開発時に重宝したCloudWatch LogsをAWS CLIから見る方法について紹介します。 はじめに 開発したAWS GlueジョブコードをAWS環境に移送して、検証する際に以下のような悩みがありました。 Glueジョブのコード内に埋め込んでいるデバッグ用の出力結果を、AWSマネジメントコンソールのCloudWatch Logsで見るのが面倒 ログ画面で更新ボタンと連打をすると、連打しすぎたことによるRate Limitエラー発生 そこで色々調べていると、AWS CLIからCloudWatch Logsのログに対して(Linuxで言うところの)tailする機能があったので、その紹介になります。 準備 事前準備としては、AWS CLIのインストールと
![CloudWatch LogsをAWS CLIから見る方法について - DENET 技術ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/77e9ed925450647ad04e9e92ea2a7e458609ebeb/height=288;version=1;width=512/https%3A%2F%2Fblog.denet.co.jp%2Fwp-content%2Fuploads%2F2020%2F08%2FAmazon-CloudWatch.png)