mumumu-tanのブックマーク / 2018年5月28日

ビッグデータ処理基盤とRDBの連携の必要性およびPostgreSQL FDWの概要

はじめに過去の連載（「ユースケースで徹底検証！ HBaseでIoT時代のビッグデータ管理機能を試す」）で説明したように、RDBとNoSQLやHadoop上のデータの扱いは、データ構造やアクセス方法、トランザクション有無など大きく異なるため、用途ごとに使い分ける必要があります。しかし、使い分けるという事は複数のデータ格納場所ができるという事であり、実際の業務システムで使うにはそれぞれの間のデータ連携を考える必要があります。本連載では、データ連携の方法を調査・検証した結果と、そこから得られたデータ連携のノウハウを紹介します。今回は連携の必要性と懸念点、連携先となるRDBについて説明します。「はじめに」でご説明したように、トレース情報やライフログ、センサー情報等のIoTデータは、画像や音声、ログ等の構造化されていない多種多様（Variety）、かつ、大量のデータ（Volume）が、高頻