はてなブックマーク

・IDE ・GitHub CLIを使用したコマンドライン上 ・Copilot Enterproseのサブスクリプションがある場合、GitHub.com 概要 GitHub Copilotについて GitHub Copilotを基に簡単に整理します。 GitHub Copilot は AI コーディング アシスタントであり、コードをより速く楽に記述できるため、問題解決とコラボレーションにより多くのエネルギーを集中できます。 Copilot では、入力時にコーディングの提案が提供されます。現在の行の補完である場合もあれば、まったく新しいコードのブロックである場合もあります。 提案のすべてまたは一部を受け入れることも、提案を無視して入力を続けることもできます。 チャット機能を使用して、Copilot に問題を解決する最善の方法を尋ねることができます。 また、Copilot に他人が書いたコードに

概要 AWS Batchとは？を元に整理します。 AWS Batch を使用すると、AWS クラウド でバッチコンピューティングワークロードを実行できます。バッチコンピューティングは、開発者、科学者、エンジニアが大量のコンピューティングリソースにアクセスするための一般的な方法です。AWS Batch は、従来のバッチコンピューティングソフトウェアと同様に、必要なインフラストラクチャの設定および管理に伴う、差別化につながらない力仕事を排除します。このサービスでは、送信されたジョブに応じてリソースを効率的にプロビジョニングし、キャパシティー制限の排除、コンピューティングコストの削減、および結果の迅速な提供を行うことができます。 AWS Batch はフルマネージドサービスであり、あらゆるスケールのバッチコンピューティングワークロードを実行できます。AWS Batch は、コンピューティングリソ

AWS Direct Connect仮想インターフェイス AWS Direct Connect仮想インターフェイスを元に整理します。 AWS Direct Connect 接続の使用を開始するには、次の仮想インターフェイス (VIF) のいずれかを作成する必要があります。 プライベート仮想インターフェイス: プライベート IP アドレスを使用して Amazon VPC にアクセスするには、プライベート仮想インターフェイスを使用する必要があります。 パブリック仮想インターフェイス: パブリック仮想インターフェイスは、パブリック IP アドレスを使用してすべての AWS パブリック サービスにアクセスできます。 トランジット仮想インターフェイス: Direct Connect ゲートウェイに関連付けられた 1 つ以上の Amazon VPC トランジット ゲートウェイにアクセスするには、トラン

概要 スタースキーマからスノーフレーク、ギャラクシー、そしてデータボールトやアンカーモデリングまで、各スキーマの特徴、利点、そして適用シナリオを掘り下げます。 スタースキーマ スタースキーマを元に整理します。 スタースキーマ または 星型スキーマ はデータウェアハウスに利用される最も単純なスキーマである。スタースキーマには唯1つもしくは少数のファクト表と複数のディメンション表が含まれる。スタースキーマはスノーフレークスキーマの一種であるが、多くの用途で利用されている。 DWHに利用される最も単純なスキーマ 唯一または少数のファクトテーブルと、複数のディメンションテーブルが含まれる スノーフレークスキーマの一種 モデル ファクト表はデータウェアハウスでの解析で利用され、複数の異なるディメンションに区分される。ファクト表は主要なデータを持つ一方、ディメンション表は相対的にサイズが小さくディメン

背景・目的 以前、「【DMBOK】データマネジメントについて整理する（第12章.メタデータ管理）」で、メタデータについて整理しました。 メタデータを管理するデータカタログについて、どのようなものが世の中にあるのか整理します。 まとめ 以下に、代表的なデータカタログの特徴を整理します。 なお、TBDの箇所については、ドキュメントを読む限り不明でしたので、今後、動作確認を通じて確認したいと思います。 OpenMetadata Amundsen DataHub

背景・目的 AWSが2023年9月26日にAmazon DynamoDB(DDB)からAmazon S3(S3)へのインクリメンタルエクスポート機能を発表いたしました。この新機能により、どのようにデータ管理が変わるか、実際に手を動かしながら基本的な挙動を確認してみます。 まとめ AWSの増分エクスポート機能により、挿入、更新、または削除されたデータを少量ずつエクスポートでき、数メガバイトからテラバイトのデータ範囲に対応しています。 ポイントインタイムリカバリが有効なDDBテーブルが対象です。 指定した期間の増分データをS3バケットにエクスポートします。 この機能はフルマネージドであり、DDBの容量を消費せず、定期的なデータ更新が容易になります。 サポートされているデータ形式はDynamoDB JSONとAmazon Ionです。 これにより、テーブル全体を毎回エクスポートする必要がなく、変

背景・目的 Glueのジョブブックマークについて、簡単に利用したことはありましたが詳細を調べたことはありませんでした。あらためて整理し簡単に動作確認をしてみます。 まとめ Glueのジョブブックマークは、下記の特徴があります。 目的は、新しいデータのみ処理する（古いデータを処理しない）ための仕組み。 対応可能なデータソースは、S3とJDBC。 概要 ブックマークの概要 こちらのAWSのドキュメントを元に整理します。 古いデータを処理しない。新しいデータを処理するための仕組みです。 ジョブのブックマークが対応可能なデータソースは下記のとおりです。 S3 JDBC S3のジョブブックマークについて Glueのバージョンにより、対応可能なソース形式（ファイルフォーマット）が異なります。バージョン1.0以上であれば下記が対応可能です。バージョン0.9以下をご利用の場合は、カラムナーフォーマット（P

背景・目的 Amazon ERMは使用したことありますが、どのような機能があるか仕様など細かいところを把握してないため整理します。 まとめ 以下の特徴があります。 ビッグデータアプリケーション、PBスケールのデータ分析をオンプレの半分以下のコストで高速に実行できます。 カスタマイズされたEC2クラスタ、EKS、Outposts、EMR Serverlessで実行するオプションを備えた、最新のOSSフレームワークを使用してアプリケーションを構築する。 パフォーマンスが最適化されたOSSのAPI五感バージョンでSpark、Hive、Prestoを使用してインサイトを導き出すまでかかる時間を最大2倍高速 EMR NotebooksとEMR Studioの使い慣れたOSSを使用してアプリケーションを簡単に開發、視覚化、デバッグできる。 下記のユースケースで利用できます。 ビッグデータ分析 スケーラ

顧客離れの予測 製品消費と購入に関する履歴データを使用し、顧客離れのパターンを明確に示しながら、将来に離脱するリスクがある消費者を推定します。 価格と収益を最適化 需要と価格、および季節的な傾向の履歴を通じて、商品やサービスの価格を予測し、収益を最大化しながら顧客にとって最良の価格を設定します。 配送時間の正確さを向上 受注、満足度、運搬状況、および休日データを利用して配送時間を予測し、サプライチェーンの最適化と、より効率的な商品配送を実現します。 効率的な在庫計画の作成 過去の売上と需要のデータを、関連するウェブトラフィック、料金、製品カテゴリー、天候、休日の情報と組み合わせることで、必要な在庫数を予測します。 トレーニングデータセットの品質向上 Amazon SageMaker のデータラベリング製品は、合成データ生成などの手動によるエラーの発生が少なく、トレーニングデータセットの品質

背景・目的 先日、AWS Glue Data Quality（プレビュー版）が発表されたので、仕様の理解と簡単に試してみました。 なお、現在プレビュー版であるため、GAまでに仕様が変わる可能性があります。 まとめ 2022/12/14現在、プレビューである。 Data Qualityは、OSSのDeequを利用している。 データの品質評価には、DQDLという独自の言語を書いて実装する。 Glueでは、Transformの一つのノードとして実装されている。 概要 AWS Glue Data Qualityとは？ 自動的にデータを分析、データの統計情報を収集 推奨されるデータ品質ルールを設定し、それに基づき検証を開始する。推奨されたデータ品質ルールは変更することも、新しいルールを追加することも可能。 データ品質が低下した場合に、ユーザに警告するアクションを設定することも可能。データ品質ルールと

以下に対応できるSageMakerの機能も利用できる データラベリング データの前処理 モデルトレーニング モデルのデプロイ 予測パフォーマンスの評価 本番におけるモデルの品質のモニタリング 実践 チュートリアルに基づき試します。 以下について学習する。 SageMaker セッションと自動的にペアリングされたデフォルトの Amazon S3 バケットにデータセットを保存する方法 ML モデルのトレーニングジョブを Amazon EC2 に送信する方法 ホスティングまたはバッチ推論で予測用にトレーニングされたモデルを Amazon EC2 を介してデプロイする方法 チュートリアル概要 SageMaker 組み込みモデルプールから XGBoost モデルをトレーニングする詳細な ML フローの紹介。 米国成人国勢調査データセットを使用し、個人収入の予測に関するトレーニング済み SageMak

背景・目的 Amazon Aurora supports cluster export to S3が発表されましたので、早速試してみました。 検証のポイントは、以下のとおりです。 エクスポートの実行時間 ファイル数とサイズ まとめ 今回、1000万レコード、1テーブルで試しましたが、以下の結果となりました。 エクスポート時間はトータルで20分程度 クラスタのクローン時間は15分程度 エクスポート時間は4分程度 ファイル数は41ファイル、1ファイルあたり1MB程度。 概要 S3 Exportとは Auroraから直接 S3 へのエクスポートができるようになりました。これにより、スナップショットを作成/保持する時間、コスト、および余分なオーバーヘッドが節約できるとのことです。以下の特徴があります。 Aurora クラスターから S3 にデータをエクスポートしても、Aurora データベースのパ

背景・目的 私は、現在データエンジニアリングを生業としています。普段は、データ基盤の構築や、パフォーマンスチューニングなどビックデータに関する業務に従事しています。 日頃から、データに関わる業務が多く、Webフロントエンドやバックエンドの技術に触れる機会が少ないため、意図的に学んで行こうと思います。 今回は、Webアプリケーションの認証やユーザ管理のサービスであるAmazon Cognito（以降、Cognitoと言います。）を学んでいこうと思います。 まとめ Cognitoは、簡単な設定でユーザ認証の仕組みを提供する。 既存のシステムや他のIdPで管理しているユーザIDを使用することが可能。 概要 Cognitoとは？ Amazon Cognito を使用すれば、ウェブアプリケーションおよびモバイルアプリに素早く簡単にユーザーのサインアップ/サインインおよびアクセスコントロールの機能を追

背景・目的 以前、こちらの記事でAthenaのパーティションインデックスの効果を検証した際に、パーティションをMSCK REPAIR TABLEで作成しました。 MSCK REPAIR TABLEの場合には、6時間9分46秒もの時間を要したので、Glue Crawlerで作った場合にはどれくらいの時間がかかるか検証したいと思います。 まとめ 9万弱のパーティションを作成するのに、MSCK REPAIR TABLEとGlueのCrawlerでおおよそ、5時間44分46秒（93.23%の削減率）もの差がありました。 Glue Crawlerが圧倒的に速かったです。 Glue Crawlerがどのようなアルゴリズムで実行されているのかは不明だが、プロダクション等で利用する場合はCrawlerを選択したほうが良いと思います。 実践 事前準備 前回同様の条件で実施するため、事前に確認します。 S3パ