DWH/RDBMSとHadoopの特徴比較
RDMSとHadoopの相違点を知る 本記事では、DWH(RDBMS)とHadoopとの特徴について比較解説することにしたい。 まずお伝えしたいのは、時代が進み、よりデータを活用したいビジネス上のニーズが出現し、データがビッグデータ化した。 そのデータを活用するデータ基盤がRDBであり、Hadoopであるという点だ。 RDBは秀逸なテクノロジーであり、実際何十年にもわたりトランザクショナルな処理からアナリティカルな目的にまで利用されてきた。 しかし、前述のようにビッグデータの時代となって分析やデータ活用にはRDBだけで対処するには難しい「新しい」要望がデータ基盤に求められるようになり、それに合わせた新テクノロジーが登場してきた。 それがHadoopである。 ゆえに、ここで比較している特徴はどちらが良い悪いではなく、適材適所だということをご理解いただきたい。 いくつかのクライテリアがあるが、
エンタープライズEMR!! 使って分かったオレオレプラクティス - Qiita
設計にあたってすごく考えたこと いざEMRを導入して設計するぞとなると、やっぱり特有の癖があるわけです。 Hadoopの特性もあるのですが、設計にあたっては以下のようなコンセプトを置きました。 壊れることを前提とした設計 マネージドの恩恵をうける 以降で一つずつ説明していきます。 壊れることを前提とした設計 エンタープライズだとオンプレミスでのサーバ運用というのもまだまだ主流です。 私自身も長くオンプレ環境のエンジニアだったこともあり、壊れることを前提とした設計や運用というとどこか後ろめたさがあります笑 ただ、技術検証をしているとEMRのコアノードがしれっとお亡くなりになっていることもちょいちょいあったのと、 SAの方も業務上重要なデータをEMR上で永続化しておくのはおすすめできないという話も伺ったので、以下のような考え方で設計してみました。 あくまでEMRは処理エンジン EMR上にはクリ
Apache Spark で分散処理入門 - Qiita
Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.0 /_/ 2016年7月末にApache Spark 2.0.0がリリースされ、始めてみたので色々メモ メモなのでご容赦ください🙇 また、この記事中にサンプルで載せているコードはjavaがメインですがscala、pythonの方がすっきりかけている気がじます。 これからも随時編集していきます Apache Spark とは 上の画像はhttps://spark.apache.orgから、場合によってはHadoopのMapReduce100倍速いらしいです、強い、Spark Sparkは巨大なデータに対して高速に分散処理を行うオープンソースのフレームワーク。 (Java Magazin
KVS系NoSQLのまとめ（Hibari、Dynamo、Voldemort、Riak編）
序 章 ビッグデータの時代 第1章 NOSQLとは何か? 第2章 NOSQLのデータモデル 第3章 アーキテクチャの基本概念と技術 第4章 HadoopはNOSQL? 第5章 主なNOSQLデータベース製品 第6章 NOSQLデータベースの選択基準 第7章 NOSQLを使うビジネス 本連載は書籍『NOSQLの基礎知識』（リックテレコム刊、ISBN：978-4897978871）で解説されている内容から一部を抜粋し、本連載向けに一部再編集して掲載したものです。 書籍では、一般にNoSQLと呼ばれている各種データベース技術について、基本概念から主要なプロダクトの特性、ベンチマーク結果までを紹介しています。データモデルやアーキテクチャの違いといった基本概念から、各プロダクトの特徴を理解できる内容になっています。 本連載では、この書籍の内容から、主要プロダクトを紹介している第5章を抜粋し、そのエッ
AWSチーム社内勉強会「EMRおじさんに聞いてみよう」レポート | DevelopersIO
弊社AWSチームでは最近「◯◯おじさんに聞いてみよう」というタイトルで各分野について詳しそうなメンバーを講師としてQA形式の社内勉強会を開催しています。今回はその中でもAmazon Elastic MapReduce（Amazon EMR）に関する勉強会のレポートになります。QA形式の勉強会ですので、どんな質問が出て、どんな回答があったかをお楽しみ頂ければと思います。なお、EMRということもあり、社内でも利用経験がないメンバーもいたため、まずはHadoopの概要から説明しつつ、オンプレHadoopとEMRの違いなどについて駆け足で説明する勉強会となりました。 Q. そもそもEMR（Hadoop）が分からない かなり古いのですが、前述のスライドを元に以下の点について説明しました。 Hadoopは並列分散処理基盤。スケールアウトする。 バッチ処理用に開発された。とはいえ、最近は対話処理用に利用
AWS Glue（分析用データ抽出、変換、ロード (ETL) ）| AWS
この図は、AWS Glue のユーザーが、複数のデータ統合エンジンを使用したジョブワークロードを作成するために、インターフェースオプションを選択する方法を示しています。左側に 1 つ、真ん中に 2 つ、右側に 1 つ、計 4 つのセクションを表示します。 左側の最初のセクションは、「データソース」と呼ばれています。 「Amazon S3」、「Amazon DynamoDB」、「Amazon EC2 上で実行するデータベース」、「データベース」および「SaaS」の、データソースが含まれます。 最初のセクションに、「インターフェースの選択」という図の上部にある真ん中のセクションを指す矢印があります。 この 2 番目のセクションには、3 つのセクションが含まれています。「AWS Glue Studio」、「Amazon SageMaker ノートブック」、「ノートブックと IDE」の 3 つです
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
株式会社ビズリーチにおける、簡易レコメンデーションシステムを構築する際に利用したElastic MapReduce（EMR）の活用事例について、簡単にまとめたスライドです。 ※2013年9月27日 AWSJapan様主催のセミナーで発表したもの This document provides an overview and agenda for an AWS webinar on AWS Glue. It introduces AWS Glue as a fully managed and serverless ETL service that can manage metadata for various data sources. The webinar will cover the background of AWS Glue, its key features including b
Hadoopとリレーショナルデータベースは「何」が違うのか
書籍の中から有用な技術情報をピックアップして紹介する本シリーズ。今回は、秀和システム発行の書籍『Hadoopファーストガイド（2012年9月20日発行）』からの抜粋です。 ご注意：本稿は、著者及び出版社の許可を得て、そのまま転載したものです。このため用字用語の統一ルールなどは＠ITのそれとは一致しません。あらかじめご了承ください。 はじめに 近年、データサイズは増加傾向にあり、Webサイトを運営しているエンジニアやプログラマーにとって大規模データというのは身近なものになりつつあります。あなたの運営しているWebサイトではいかがでしょうか。たとえ今はリレーショナルデータベースで十分だとしても、今後も同じやり方で大丈夫だという保証はどこにもありません。 データサイズが増えてくると最初に問題となるのはバッチ処理です。データサイズが小さいうちは問題にならなくても、データサイズが増加してくると処理時
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Sparkに手を出してヤケドしないための基本 ～「Apache Spark入門より」～ （デブサミ 2016 講演資料）
高速バッチ処理フレームワーク｜ビッグデータ利活用フレームワーク｜東芝デジタルソリューションズ
Amazon EMRを使用する際のベストプラクティス
ビッグデータ処理データベースの全体像と使い分け
RDB技術者のためのNoSQLガイド NoSQLの必要性と位置づけ