はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Glueの開発エンドポイントとは AWS Glueはデータレイクやビッグデータ系の複数の機能を持ったサービスですが、その主な機能の一つに、サーバレスのSparkとして使えるETLジョブ機能があります。 AWS Glueの開発エンドポイントはこのETLジョブの開発を行うための仕組みです。 GlueのETLジョブはサーバーレスで実行されるSparkなので、ETLスクリプトを投入すればジョブを実行はしてくれるのですが、OSにログオンしたり、デバッグをしながら開発することができません。 開発エンドポイントがあると、Jupyter NotebookやZeppelinでGlueの管理しているSparkにアクセスしてインタラクティブにコードを実行しながら、開発を進めることができます。 図の引用元： https://www.slideshare.net/AmazonWebServicesJapan/aws

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 3大クラウドと呼ばれてる（はず）のAWS、Azure，GCPについて、それぞれ一番中心となるだろうアーキテクト試験を取得してきたので、個人的な感想や比較を書きたいと思います。 AWS Solution Architect Professional Azure Solutions Architect Expert GCP Professional Cloud Architect 3つを受けてみると、各社の色が現れていて面白かったです。 以下、個人的かつ定性的な評価となります。 ※3大クラウドのDevOps試験についてはこちらに記事書きまし

Amazon Elasticsearch Service (AES) で手動スナップショット取得の仕組みをCloudformationで一気にデプロイします。かつCurator使って古いスナップショットは自動的に削除する設定になっています。スナップショット取るだけで意外に大変です。 PythonスクリプトはこちらのAWSのドキュメントにあるものベースにしてます。 やりたいこと これを作ります。スクリプトはAWSのドキュメントにあるものを、ほぼそのまま使っているので、読めばすぐわかるレベルだと思います。コメントも残ってます。 手動スナップショットの必要性 2019年7月に以下のように自動スナップショットが強化され、1時間毎のスナップショットが14日間 S3に保管されるようになりました。 これだけでも、複数ノード同時障害によるデータロスト時にも障害1時間前の状況までもどせる状態になりとても便利