はてなブックマーク

概要 AWS Copilot CLI Amazon ECS デベロッパーツールの概要を基に整理します。 AWS Copilot CLI (コマンドラインインターフェイス) は、Amazon ECS 上のコンテナや環境にパッケージ化されたアプリケーションのデプロイと操作をソースコードから直接行えるようにする包括的なツールです。AWS Copilot を使用すると、AWSと Amazon ECS 要素(Application Load Balancer、パブリックサブネット、タスク、サービス、クラスターなど)を理解しなくても、これらの操作を実行できます。AWSユーザーに代わって Copilot が作成するAWSリソースは、ロードバランサーウェブサービスやバックエンドサービスなどの独善的なサービスパターンから、コンテナ化されたアプリケーションが即時に本番稼働できる環境を提供します。AWS Cod

概要 GitHub Copilotについて GitHub Copilotを基に簡単に整理します。 GitHub Copilot は AI コーディング アシスタントであり、コードをより速く楽に記述できるため、問題解決とコラボレーションにより多くのエネルギーを集中できます。 Copilot では、入力時にコーディングの提案が提供されます。現在の行の補完である場合もあれば、まったく新しいコードのブロックである場合もあります。 提案のすべてまたは一部を受け入れることも、提案を無視して入力を続けることもできます。 チャット機能を使用して、Copilot に問題を解決する最善の方法を尋ねることができます。 また、Copilot に他人が書いたコードについて説明するように依頼することもできます。 コードにバグがある場合は、その修正方法を Copilot に尋ねることができます。 GitHub Copi

概要 AWS Batchとは？を元に整理します。 AWS Batch を使用すると、AWS クラウド でバッチコンピューティングワークロードを実行できます。バッチコンピューティングは、開発者、科学者、エンジニアが大量のコンピューティングリソースにアクセスするための一般的な方法です。AWS Batch は、従来のバッチコンピューティングソフトウェアと同様に、必要なインフラストラクチャの設定および管理に伴う、差別化につながらない力仕事を排除します。このサービスでは、送信されたジョブに応じてリソースを効率的にプロビジョニングし、キャパシティー制限の排除、コンピューティングコストの削減、および結果の迅速な提供を行うことができます。 AWS Batch はフルマネージドサービスであり、あらゆるスケールのバッチコンピューティングワークロードを実行できます。AWS Batch は、コンピューティングリソ

背景・目的 Aurora Serverlessについて、触ったことがあるものの特徴など理解していなかったので整理します。 また、簡単に動作確認します まとめ 下記に特徴を整理します 特徴 説明 概要 Using Aurora Serverless v2 Aurora Serverless v2 を使用するを元に整理します。 Aurora Serverless v2 は、Amazon Aurora 用のオンデマンドのオートスケーリング設定です。Aurora Serverless v2 によって、ワークロードをモニタリングし、データベースの容量を調整するプロセスを自動化しやすくなります。容量は、アプリケーションの需要に応じて自動的に調整されます。DB クラスターが消費するリソースに対してのみ課金されます。このように、Aurora Serverless v2 によって予算内に収め、使用しないコン

AWS Direct Connect仮想インターフェイス AWS Direct Connect仮想インターフェイスを元に整理します。 AWS Direct Connect 接続の使用を開始するには、次の仮想インターフェイス (VIF) のいずれかを作成する必要があります。 プライベート仮想インターフェイス: プライベート IP アドレスを使用して Amazon VPC にアクセスするには、プライベート仮想インターフェイスを使用する必要があります。 パブリック仮想インターフェイス: パブリック仮想インターフェイスは、パブリック IP アドレスを使用してすべての AWS パブリック サービスにアクセスできます。 トランジット仮想インターフェイス: Direct Connect ゲートウェイに関連付けられた 1 つ以上の Amazon VPC トランジット ゲートウェイにアクセスするには、トラン

概要 スタースキーマからスノーフレーク、ギャラクシー、そしてデータボールトやアンカーモデリングまで、各スキーマの特徴、利点、そして適用シナリオを掘り下げます。 スタースキーマ スタースキーマを元に整理します。 スタースキーマ または 星型スキーマ はデータウェアハウスに利用される最も単純なスキーマである。スタースキーマには唯1つもしくは少数のファクト表と複数のディメンション表が含まれる。スタースキーマはスノーフレークスキーマの一種であるが、多くの用途で利用されている。 DWHに利用される最も単純なスキーマ 唯一または少数のファクトテーブルと、複数のディメンションテーブルが含まれる スノーフレークスキーマの一種 モデル ファクト表はデータウェアハウスでの解析で利用され、複数の異なるディメンションに区分される。ファクト表は主要なデータを持つ一方、ディメンション表は相対的にサイズが小さくディメン

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 背景・目的 AWSが2023年9月26日にAmazon DynamoDB(DDB)からAmazon S3(S3)へのインクリメンタルエクスポート機能を発表いたしました。この新機能により、どのようにデータ管理が変わるか、実際に手を動かしながら基本的な挙動を確認してみます。 まとめ AWSの増分エクスポート機能により、挿入、更新、または削除されたデータを少量ずつエクスポートでき、数メガバイトからテラバイトのデータ範囲に対応しています。 ポイントインタイムリカバリが有効なDDBテーブルが対象です。 指定した期間の増分データをS3バケットにエク

背景・目的 Glueのジョブブックマークについて、簡単に利用したことはありましたが詳細を調べたことはありませんでした。あらためて整理し簡単に動作確認をしてみます。 まとめ Glueのジョブブックマークは、下記の特徴があります。 目的は、新しいデータのみ処理する（古いデータを処理しない）ための仕組み。 対応可能なデータソースは、S3とJDBC。 概要 ブックマークの概要 こちらのAWSのドキュメントを元に整理します。 古いデータを処理しない。新しいデータを処理するための仕組みです。 ジョブのブックマークが対応可能なデータソースは下記のとおりです。 S3 JDBC S3のジョブブックマークについて Glueのバージョンにより、対応可能なソース形式（ファイルフォーマット）が異なります。バージョン1.0以上であれば下記が対応可能です。バージョン0.9以下をご利用の場合は、カラムナーフォーマット（P

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 背景・目的 Amazon ERMは使用したことありますが、どのような機能があるか仕様など細かいところを把握してないため整理します。 まとめ 以下の特徴があります。 ビッグデータアプリケーション、PBスケールのデータ分析をオンプレの半分以下のコストで高速に実行できます。 カスタマイズされたEC2クラスタ、EKS、Outposts、EMR Serverlessで実行するオプションを備えた、最新のOSSフレームワークを使用してアプリケーションを構築する。 パフォーマンスが最適化されたOSSのAPI五感バージョンでSpark、Hive、Pres

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

背景・目的 先日、AWS Glue Data Quality（プレビュー版）が発表されたので、仕様の理解と簡単に試してみました。 なお、現在プレビュー版であるため、GAまでに仕様が変わる可能性があります。 まとめ 2022/12/14現在、プレビューである。 Data Qualityは、OSSのDeequを利用している。 データの品質評価には、DQDLという独自の言語を書いて実装する。 Glueでは、Transformの一つのノードとして実装されている。 概要 AWS Glue Data Qualityとは？ 自動的にデータを分析、データの統計情報を収集 推奨されるデータ品質ルールを設定し、それに基づき検証を開始する。推奨されたデータ品質ルールは変更することも、新しいルールを追加することも可能。 データ品質が低下した場合に、ユーザに警告するアクションを設定することも可能。データ品質ルールと

以下に対応できるSageMakerの機能も利用できる データラベリング データの前処理 モデルトレーニング モデルのデプロイ 予測パフォーマンスの評価 本番におけるモデルの品質のモニタリング 実践 チュートリアルに基づき試します。 以下について学習する。 SageMaker セッションと自動的にペアリングされたデフォルトの Amazon S3 バケットにデータセットを保存する方法 ML モデルのトレーニングジョブを Amazon EC2 に送信する方法 ホスティングまたはバッチ推論で予測用にトレーニングされたモデルを Amazon EC2 を介してデプロイする方法 チュートリアル概要 SageMaker 組み込みモデルプールから XGBoost モデルをトレーニングする詳細な ML フローの紹介。 米国成人国勢調査データセットを使用し、個人収入の予測に関するトレーニング済み SageMak

背景・目的 Amazon Aurora supports cluster export to S3が発表されましたので、早速試してみました。 検証のポイントは、以下のとおりです。 エクスポートの実行時間 ファイル数とサイズ まとめ 今回、1000万レコード、1テーブルで試しましたが、以下の結果となりました。 エクスポート時間はトータルで20分程度 クラスタのクローン時間は15分程度 エクスポート時間は4分程度 ファイル数は41ファイル、1ファイルあたり1MB程度。 概要 S3 Exportとは Auroraから直接 S3 へのエクスポートができるようになりました。これにより、スナップショットを作成/保持する時間、コスト、および余分なオーバーヘッドが節約できるとのことです。以下の特徴があります。 Aurora クラスターから S3 にデータをエクスポートしても、Aurora データベースのパ

背景・目的 私は、現在データエンジニアリングを生業としています。普段は、データ基盤の構築や、パフォーマンスチューニングなどビックデータに関する業務に従事しています。 日頃から、データに関わる業務が多く、Webフロントエンドやバックエンドの技術に触れる機会が少ないため、意図的に学んで行こうと思います。 今回は、Webアプリケーションの認証やユーザ管理のサービスであるAmazon Cognito（以降、Cognitoと言います。）を学んでいこうと思います。 まとめ Cognitoは、簡単な設定でユーザ認証の仕組みを提供する。 既存のシステムや他のIdPで管理しているユーザIDを使用することが可能。 概要 Cognitoとは？ Amazon Cognito を使用すれば、ウェブアプリケーションおよびモバイルアプリに素早く簡単にユーザーのサインアップ/サインインおよびアクセスコントロールの機能を追

背景・目的 以前、こちらの記事でAthenaのパーティションインデックスの効果を検証した際に、パーティションをMSCK REPAIR TABLEで作成しました。 MSCK REPAIR TABLEの場合には、6時間9分46秒もの時間を要したので、Glue Crawlerで作った場合にはどれくらいの時間がかかるか検証したいと思います。 まとめ 9万弱のパーティションを作成するのに、MSCK REPAIR TABLEとGlueのCrawlerでおおよそ、5時間44分46秒（93.23%の削減率）もの差がありました。 Glue Crawlerが圧倒的に速かったです。 Glue Crawlerがどのようなアルゴリズムで実行されているのかは不明だが、プロダクション等で利用する場合はCrawlerを選択したほうが良いと思います。 実践 事前準備 前回同様の条件で実施するため、事前に確認します。 S3パ