Amazon EMRを整理してみた - Qiita
背景・目的 Amazon ERMは使用したことありますが、どのような機能があるか仕様など細かいところを把握してないため整理します。 まとめ 以下の特徴があります。 ビッグデータアプリケーション、PBスケールのデータ分析をオンプレの半分以下のコストで高速に実行できます。 カスタマイズされたEC2クラスタ、EKS、Outposts、EMR Serverlessで実行するオプションを備えた、最新のOSSフレームワークを使用してアプリケーションを構築する。 パフォーマンスが最適化されたOSSのAPI五感バージョンでSpark、Hive、Prestoを使用してインサイトを導き出すまでかかる時間を最大2倍高速 EMR NotebooksとEMR Studioの使い慣れたOSSを使用してアプリケーションを簡単に開發、視覚化、デバッグできる。 下記のユースケースで利用できます。 ビッグデータ分析 スケーラ
Amazon EMR が Apache Ranger をサポートし、きめ細やかなデータアクセス制御を実現
Amazon EMR が Apache Ranger とネイティブに統合するようになり、きめ細やかなデータアクセス制御を定義、適用、監査することが可能になりました。この機能を使えば、(1) Hive Metastore を介してデータにアクセスする Apache Spark ユーザーおよび Apache Hive ユーザー向けに、データベースレベル、テーブルレベル、列レベルの認証ポリシーを定義して適用でき、(2) Amazon S3 内のデータに Amazon EMR ファイルシステム (EMRFS) を介してアクセスする際にプレフィックスレベルおよびオブジェクトレベルの認証ポリシーを定義して適用できるため、Amazon CloudWatch を活用して監査ログをキャプチャできます。 Apache Ranger は、Hadoop プラットフォーム全体の包括的なデータセキュリティを有効化、モ
Amazon EMR と Apache Ranger を統合する - Amazon EMR
Amazon EMR 5.32.0 以降では、Apache Ranger とネイティブに統合されるクラスターを起動できます。Apache Ranger は、Hadoop プラットフォーム全体で包括的なデータセキュリティを有効化、監視、管理するためのオープンソースフレームワークです。詳細については、「Apache Ranger」を参照してください。ネイティブ統合により、独自の Apache Ranger を導入して、Amazon EMR できめ細かなデータアクセス制御を実施できます。 このセクションでは、Amazon EMR と Apache Ranger の統合の概念的な概要を示します。また、Apache Ranger と統合された Amazon EMR クラスターを起動するために必要な前提条件と手順も示します。 Amazon EMR と Apache Ranger のネイティブ統合には、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Ranger – Introduction
