はじめに 本記事では、AWSにおいてデータレイクを構築してデータ分析に活用するためのサービスを紹介します。AWSにおいては基本的にS3がデータレイクにおける基盤となるため、以下の記事も併せて参照ください データレイクとは データレイクとは構造化、非構造化を問わず様々な形式のデータを大量に保管するための仕組みで、主にビッグデータ分析に用いられます。 ビッグデータ分析用のデータ保管方法には、他にもデータウェアハウス（DWH）が挙げられますが、DWHは構造化されたデータベース形式でデータを保持するのに対し、データレイクはCSVやテキストファイル、画像のような非構造化データも保存できる事が特徴です。 ビッグデータ分析の特徴として、数千万行（レコード）以上の大容量データを分析対象として扱う事が挙げられます。このような大容量データを扱うことで、以下のようなメリットとデメリットが生じます。 データレイク

最近読んだ書籍の中で非常に良質な内容でしたので紹介したいと思います。少しでも多くの方に興味を持ってもらえることを期待しています。 O’Reilly Japan はじめに私自身がデータ管理（データマネージメント）という観点でここ数年様々な検討を行ってきていますので前提としてその背景について簡単にまとめてみます。 かつてオンプレミスで運用を行っていた時は企業内のデータは完全に管理されていました。データウェアハウスを導入してデータの集約・加工は行われていましたが、専門チームがデータ仕様確認やデータ提供までもすべての責任を担っていました。品質は高いのですが利用者からの要望（新しいデータの提供、仕様の変更）の対応についてはスピード大きな制約がありました。また大規模なデータを扱うためには多大なコストが必要という制約もあります。 クラウド技術による「スモールスタートを可能とするインフラ」「大規模なデータ

次のイベントの投影資料です。 https://studyco.connpass.com/event/251782/

The Data Validation Tool is an open sourced Python CLI tool based on the Ibis framework that compares heterogeneous data source tables with multi-leveled validation functions. Data validation is a critical step in a data warehouse, database, or data lake migration project where data from both the source and the target tables are compared to ensure they are matched and correct after each migration

データウェアハウスやログ分析、機械学習といった進化する分析環境に柔軟に対応する 「データレイク」は今やデータ活用に欠かせないものとなりました。 一方で、現場では以下のような疑問や課題も多く出てきているのではないでしょうか？ 「データレイク向けの関連サービスとか多くてなんかよくわからない」 「最初からデータレイクの構築は、ハードル高くて時間もコストもかかるでしょ？」 「手軽に始めたいけど、将来的にスケールできるようにもしておきたい・・・」 「とりあえず今はMySQLとかにデータ入れてるけど、次は何をすればいい？もっといいやり方ないの？」 この度そんなスタートアップのお客様向けに、データレイクセミナーの開催を決定いたしました！ これからデータレイクを始めたい方にも、データレイクをさらに効果的に活用したい方にもおすすめです。

Centrally discover, manage, monitor, and govern data and AI artifacts across your data platform, providing access to trusted data and powering analytics and AI at scale.

企業にとってデータ分析が重要であることは言うまでもないが、大量のデータを分析する上で、従来の「DWHとデータレイク」というアーキテクチャでは限界が生じている。そこで、登場したのが「データ仮想化」だ。本連載では、「データ仮想化」の登場の背景や需要、ユースケースについて説明する。

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 新型コロナウイルス感染症が人工知能／機械学習（AI/ML）の導入にどのような影響を与えることになるのか、結論はまだ出ていません。しかし、これまでの兆候を見る限り、企業は変化した世界で事業を継続するためにAI/MLへの依存度を高めており、導入は増加の一途をたどることになりそうです。 AIへの投資を実のあるものにするためには、データレイクによるデータの集約、生データを分析可能な形にする自動変換、データの信頼性を高めるためのガバナンスという、データ管理の3つの課題を考慮すべきです。 IDCの調査にあるように、パンデミック以前、AI/ML市場は力強い成長を続け、2023年には世界の支出額が1000億ドル近くにまでなると見られていました。この予測

先日2020年07月09日、書籍『AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門』が発売されました！個人的に興味関心の強いテーマを取り上げた内容がてんこ盛りの書籍でしたので、簡単ではありますが書籍の内容について紹介させて頂きたいと思います。 「AWSではじめるデータレイク」がついに https://t.co/FvuHWrYlwH 上で予約可能になりました！7月9日発売予定です。どうかよろしくお願いいたします。 - https://t.co/do0ZeLrlrn #aws #datalake — Akira Shimosako (@simosako) June 23, 2020 テッキーメディア - BOOTH 【電子書籍版】AWSではじめるデータレイク - テッキーメディア - BOOTH AWSではじめるデータレイク - テッキーメディア - BOOTH 目

Data Engineering Study #1 の発表資料です。 https://forkwell.connpass.com/event/179786/ 当日の動画はYoutubeで閲覧可能です。 https://www.youtube.com/watch?v=hFYNuuAaiTg 参考文献 『Software Design (ソフトウェアデザイン) 2020年7月号』 https://amzn.to/30YueL7 『データマネジメントが30分でわかる本』 https://amzn.to/3fmz8Gw

Amazon Web Services ブログ 「AWSではじめるデータレイク」出版記念データレイク解説セミナーの資料公開 去年よりAWSのメンバー４名（志村、上原、関山、下佐粉）でデータレイクの基礎からアーキテクチャ、構築、運用管理までをカバーした書籍「AWSではじめるデータレイク」を執筆してきたのですが、7月出版の目処がたったことを記念して、5月末から毎週木曜にデータレイクに関するWebセミナーを開催してきました。 幸いにも大変多くの方にご参加いただくことができました。ご参加いただいた方にはあらためてお礼申し上げます。 一方で、以前の回に出られなかったので資料だけでも公開して欲しい、というご要望をたくさん頂いていました。そこで今回第1回から第3回の資料を公開させていただく事になりました。 ※ 2020/06/25更新：第4回の資料を追加公開しました 以下よりご覧いただけます。(PDFフ

こんにちは。AWS Glue & Lake Formation 開発チームの関山です。 この「データレイク解説シリーズ」では 2020 年 6 月出版予定の書籍「AWS ではじめるデータレイク」をベースに、全 4 回でデータレイクのエッセンスをお伝えしています。最終回となる今回は、実践的なデータレイク構築方法とそのポイントについて解説していきます。 今回は例として、図のような構成の一般的なウェブシステムのログデータをもとに、データレイクを構築していきます。 AWS ではデータレイクのストレージとして、Amazon S3 をオススメしています。そこで、ログデータを何らかの方法で収集して S3 にアップロードする必要があります。 ログデータはその性質上、いろんなところに点在しがちです。AWS で構築したシステムでも、EC2 インスタンスのローカルディスクにあったり、S3 にあったり、Cloud

こんにちは、AWS 上原です。私を含めた AWS 社員 4 名で執筆準備中のデータレイクの書籍をベースに、全 4 回でそのエッセンスをお伝えする連載の第 3 回をお届けします。今回のテーマは「データレイクを作ってみよう」です。 書籍の後半部分はハンズオンの構成になっています。その中で私が担当した 5 ~ 9 章は、初めての方にも簡単にデータレイクが作れるように、わかりやすさに重点を置きなるべく画面キャプチャをふんだんに載せて執筆しました。どなたでも迷わずデータレイクを初めて行けます。 前回はデータレイクのアーキテクチャーについて説明しました。データレイクは以下図のように「収集」「保存」「変換」「分析」の処理パートがあります。データレイクへの「保存」とデータレイクを中心とした「収集」「変換」「分析」の処理を切り離すことで、ストレージと処理能力を別々に最適化することができ、柔軟なクラウドリソー

Qlik StaigeBring your AI strategy to life with a trusted data foundation and actionable predictions Learn More

こんにちは。AWS でアナリティクス領域のソリューションアーキテクトをしている志村です。普段は AWS をご利用いただいているお客様に対して、特にデータ活用や分析に関わる技術的な支援をさせていただいております。私を含めた AWS 社員 4 名で出版準備中のデータレイクの書籍をベースに、全 4 回でそのエッセンスをお伝えする連載の第 2 回をお届けします。今回のテーマは、データレイクのアーキテクチャです。 前回はデータレイクがどういうものか、一般的なデータベースやデータウェアハウスとどう違うのかについて説明しました。その中で、データレイクは「多様なデータを一元的に、大量に保存しておける場所」と言い表しました。しかし実際問題、データレイクを作るとしてどのようなアーキテクチャにすれば良いでしょうか ? またその上でどのような形でデータを活用することができるでしょうか ? そこで今回は、データレイ

こんにちは。今回から 4 回の予定でデータレイクについての連載をスタートします。現在データレイクの書籍を 4 名で執筆中なのですが、そこからエッセンスとなるポイントを抜き出し、builders.flash を読んでいただいている皆様にコンパクトにお届けします。第一回は「データレイクってなに？」です。 データレイクを一言で表すならば、多様なデータを一元的に、大量に保存して置ける場所です。データベースに入っているような構造化されたデータも、ソーシャルメディアのメッセージも、画像や音声ファイルも一箇所に集めたデータ置き場という意味です。 これを読んでいる皆様は「データベースでは駄目なの ?」と思われるかもしれませんね。巨大なデータを扱うという意味ではデータウェアハウスもありますが、これとはどう違うのでしょうか？ 今回はデータレイク理解の最初の一歩として、データレイクは、データベースやデータウェア