Apache Hive Metastore を Amazon Athena (プレビュー) と共にメタデータカタログとして使用
本日、Amazon Athena は Athena を Apache Hive Metastore に接続することを可能にする新しい機能をリリースしました。 ユーザーは、Hive Metastore をビッグデータ環境のための共通のメタデータカタログとして使用します。ユーザーは、Apache Spark、Presto、および Apache Hive を Amazon EC2 および Amazon EMR クラスター上でセルフホストされた Hive Metastore と共に共通のカタログとして実行します。AWS はまた、Hive Metastore の完全に管理されたカタログとドロップイン置き換えである AWS Glue Data Catalog も提供します。現在のリリースを採用することで、複数の Hive Metastore を Glue Data Catalog に加えて Athen
Big Data Governance: Hive Metastore Listener for Apache Atlas Use Cases
Big Data Governance: Hive Metastore Listener for Apache Atlas Use Cases At eBay, we are obsessed with data quality and governance. Because eBay's Hadoop platform hosts 500 PB of data running over 15,000 nodes, the focus on governance is of utmost importance. This article discusses our experiences handling data governance at scale. Data governance helps ensure that high data quality exists througho
Spark-sqlでHiveのメタストアを使う - Qiita
Amazon EMRとかだと最初から設定されているので手間が無いのですが、Azure HDInsightとかでは紐付けされてないので、その方法。 設定 とは言え簡単です。 基本的には、\$HIVE_HOME/conf/hive-site.xmlの中のhive.metastore.urisプロパティをコピーして、\$SPARK_HOME/conf/hive-site.xmlとして保存するだけ。 情報によってはhive-site.xmlをまんまコピーすればよい的な記述もあるのですが、HDInsightではいろいろな記述がhive-site.xmlにされており、そのままコピーしただけでは、無理でした。 hive.metastore.urisの確認 HDInsightで\$HIVE_HOMEは、/usr/hdp/current/hive-client/になりますので、/usr/hdp/curren
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Use an external Hive metastore - Amazon Athena
Hive Metastore · The Internals of Spark SQL
