DWH/RDBMSとHadoopの特徴比較
RDMSとHadoopの相違点を知る 本記事では、DWH(RDBMS)とHadoopとの特徴について比較解説することにしたい。 まずお伝えしたいのは、時代が進み、よりデータを活用したいビジネス上のニーズが出現し、データがビッグデータ化した。 そのデータを活用するデータ基盤がRDBであり、Hadoopであるという点だ。 RDBは秀逸なテクノロジーであり、実際何十年にもわたりトランザクショナルな処理からアナリティカルな目的にまで利用されてきた。 しかし、前述のようにビッグデータの時代となって分析やデータ活用にはRDBだけで対処するには難しい「新しい」要望がデータ基盤に求められるようになり、それに合わせた新テクノロジーが登場してきた。 それがHadoopである。 ゆえに、ここで比較している特徴はどちらが良い悪いではなく、適材適所だということをご理解いただきたい。 いくつかのクライテリアがあるが、
エンタープライズEMR!! 使って分かったオレオレプラクティス - Qiita
設計にあたってすごく考えたこと いざEMRを導入して設計するぞとなると、やっぱり特有の癖があるわけです。 Hadoopの特性もあるのですが、設計にあたっては以下のようなコンセプトを置きました。 壊れることを前提とした設計 マネージドの恩恵をうける 以降で一つずつ説明していきます。 壊れることを前提とした設計 エンタープライズだとオンプレミスでのサーバ運用というのもまだまだ主流です。 私自身も長くオンプレ環境のエンジニアだったこともあり、壊れることを前提とした設計や運用というとどこか後ろめたさがあります笑 ただ、技術検証をしているとEMRのコアノードがしれっとお亡くなりになっていることもちょいちょいあったのと、 SAの方も業務上重要なデータをEMR上で永続化しておくのはおすすめできないという話も伺ったので、以下のような考え方で設計してみました。 あくまでEMRは処理エンジン EMR上にはクリ
【AWS】EC2をリソースレベルでアクセス許可してみた | DevelopersIO
まずはマネージメントコンソールのIAMのページで2つのユーザを作成します。 マネージメントコンソールにログインできるようパスワードも設定しておきましょう。 次にユーザAのポリシーを設定します。 カスタムポリシーで下記JSONをテキストエリアに貼り付けて"Apply Policy"します。Resourceで arn を指定することで node-A のみをStartInstance/RebootInstance/StopInstance 操作できます。arnの"123456789012"はAWSアカウントIDです。（"::"でアカウントID省略記法が使えるか試したのですが、省略はできないようです） { "Version": "2012-10-17", "Statement": [ { "Action": [ "ec2:describe*" ], "Sid": "Stmt137337989500
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
