Amazon Web Services ブログ Amazon OpenSearch Service (Amazon Elasticsearch Service の後継サービス) でのインデックスステート管理の自動化 本記事は Amazon Web Services, Big Data and Analytics Consultant である Gene Alpert、DevOps Consultantである Satya Vajrapu によって投稿されたものです。 時系列データでは、過去のデータより直近 (過去4時間〜1日) データへアクセスするのが一般的です。多くの場合、さまざまなデータワークロードをサポートするために、複数のインデックスを管理する必要があります。これにより、インデックスのライフサイクルを管理するためのカスタムソリューションが必要となります。インデックスが多くなるにつれて、

Amazon Web Services ブログ Amazon CloudWatch を活用した Amazon Kinesis Data Firehose 配信ストリームの状態の把握 本記事は Amazon Web Services, Startup Solutions Architect Manager である Alon Gendler によって投稿されたものです。 世界中で生成されるデータの量の増加がますます加速しています。データは、IoT、広告、ゲーム、セキュリティ監視、機械学習 (ML) など、増え続けるユースケースをサポートするために生成されています。これらのユースケースの発展がストリーミングデータの量と速度の両方を駆動させた結果、企業はデータをニアリアルタイムで取得、処理、変換、分析、さまざまなデータストアに取り込む必要が出てきています。 Amazon Kinesis Data

データウェアハウスやログ分析、機械学習といった進化する分析環境に柔軟に対応する 「データレイク」は今やデータ活用に欠かせないものとなりました。 一方で、現場では以下のような疑問や課題も多く出てきているのではないでしょうか？ 「データレイク向けの関連サービスとか多くてなんかよくわからない」 「最初からデー…