Developers.IO 2019 Tokyoで「Effective Datalake 〜基礎からわかるデータレイクの定義と実践〜」というタイトルで発表してきました #cmdevio | DevelopersIO
クラスメソッドの石川です。 先日開催いたしましたDevelopers.IO 2019 in TOKYOにお越し頂きましてありがとうございました。 表題の通り、データレイクについてお話をさせて頂きました。 スライド こちらがスライドになります。 こんな事を話してた はじめに データレイクとは AWS Glue Aamzon Athena / Redshift Spectrum データ設計のベストプラクティス Redshiftからデータレイクの移行 AWS Lake Formation まとめ まとめ Glue/Athena/Redshift Spectrumで始まったAWSのデータレイクは、Lake Formationによって統合され大きな進化を遂げました。その過程を私なりの解釈と定義に基づいて、現在に至る基礎的なサービスとその動作原理、データ設計のベストプラクティスについ
【初データレイク体験】AWS Loft Osakaで DataLake ハンズオンを受けてきた（公開資料URLあり） | DevelopersIO
大阪オフィスのちゃだいんです。 本日はAWS Pop-Up Loft Osakaにて、ハンズオンに参加してきました。 今回はそのハンズオンの内容をご紹介したいと思います。 その前に、 AWS Pop-Up Loft Osakaは期間限定でオープンしており、本日が最終日でした...（涙） 大阪のど真ん中一等地に、無料でコーヒーももらえるコワーキングスペース。中之島の高層ビル２６階からの眺めを楽しみながら、優雅にパソコンパチパチできる稀有な場所でした。 どんな場所だったのかは、このブログをご覧ください。 【AWS Loftが大阪に期間限定オープン！】オープンしたてのAWS Pop-Up Loft Osakaで早速リモートワークしてみた #awsloft ハンズオン概要 DataLake ハンズオン OCT 31,2019 About the event（上記ページより抜粋） 幅広いデータソース
JAWS DAYS 2021-03-20の登壇資料。 株式会社JMDCのデータレイクの取扱いについて紹介します。 https://jawsdays2021.jaws-ug.jp/timetable/track-d-1100/
amazon-s3-datalake-handson/JP at master · aws-samples/amazon-s3-datalake-handson
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
amazon-s3-datalake-handson/JP/README.md at master · aws-samples/amazon-s3-datalake-handson
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
AWSJ大阪が増床されて2019年10月限定でAWS pop-up loftというコワーキングスペースを解放されていて、そこでデータレイクハンズオンが開催されていましたので行ってきました。 10/31の最終日でしたので、最後に来られてよかったです。 Still Day One!! DeepRacerな席もあります。 さて、ハンズオンです。 期間限定ロフトなのでステッカーはレアになるかもしれないですね。 いただきました。 ハンズオンの前に少しセミナーがありました。 すごく参考になりました。 以下は、気になったことのメモとか感想を書いています。 登壇者、発表者、主催企業などの意図とは異なる可能性がありますことをご了承ください。 なぜ、データレイクか？ 何をどう分析するか？ データをどうためていくべきか？ まずはAWSの王道アーキテクチャを使って構成してみるハンズオン。 使ってみて、自社課題に対
GitHub - aws-samples/amazon-s3-datalake-handson: This provides the contents for AWS Data Lake Handson in both Japanese and English.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
この記事はエイチーム引越し侍 / エイチームコネクトの社員による、Ateam Hikkoshi samurai Inc.× Ateam Connect Inc. Advent Calendar 2021 3日目の記事です。 はじめに 今日は、最近のお仕事で触ることになる可能性が高いEmbulkについて書きます。 触ることになるとあるようにEmbulkを使い始めるソフトウェアエンジニアによる記事です。説明に至らない点があったり間違っていたりするかもしれません。その際は編集リクエストなりコメントなりでご指摘いただけたら幸いです。 何に使うかですが、データ分析基盤、DataLake作成におけるETL処理のために使います。ちなみにETLはExtract、Transform、Loadの略でデータを抽出、変換・加工、ロード(Output)する処理のことです。 ETL処理ツールとしては過去Pentaho
Aurora ClusterからのDatalake連携で、Cluster Cloneという仕組みを活用すると非常に便利だったので紹介します。 この記事では、Aurora Clusterをbatch連携でDataLakeに流し込む設計の話を扱います。他にもDMSを用いてstream連携する方法などがありますが、ここではscope outします。 そもそも「DataLake連携」とは？ チームや書籍によって少しずつ定義が異なると思いますが、ここでは「データ分析環境を構築するために本番DBからデータを抽出してくる仕組み」を指します。 データ分析では複雑なSQLやpython scriptを用いてデータを処理していくことが多いですが、これを本番DBに直接実行してしまうと負荷が大きくサービス運用に支障が出ます。 そこで、AWSではS3 bucketにデータを吐き出すことでそこにAthenaを通してア
概要 Python 用のこのプレビュー パッケージには、Storage SDK で使用できる ADLS Gen2 固有の API サポートが含まれています。 これには次のものが含まれます 階層型名前空間対応 (HNS) ストレージ アカウントの新しいディレクトリ レベル操作 (作成、名前変更、削除)。 HNS が有効なアカウントの場合、名前の変更/移動操作はアトミックです。 階層型名前空間が有効な (HNS) アカウントのアクセス許可関連の操作 (ACL の取得/設定)。 ソースコード | パッケージ (PyPi) | パッケージ (Conda) | API リファレンス ドキュメント | 製品ドキュメント | サンプル 作業の開始 前提条件 このパッケージを使用するには、Python 3.7 以降が必要です。 詳細については、 Azure SDK for Python バージョンのサポー
データ分析基盤の3層構造（Datalake / DWH / Datamart）について | Hakky Handbook
はじめに データ分析基盤とは、ビッグデータを統合して活用するためのシステムです。このデータ基盤において、闇雲にデータを入れたり変換したりしていると、すぐに「どこにどのようなデータがあるのか」がわからなくなってしまいます。 そういった問題を解決するための一つの手段として「データをレイヤーごとに切り分ける」といったものがあります。そのデータレイヤーの切り分け方として最もシンプル且つ代表的な方法としてデータレイク、データウェアハウス、データマートの 3 層構造があります。 この記事では、その 3 層構造について、それぞれの層でどのような役割を持っているのか、どういったデータを格納するべきなのかについて解説します。 データ分析基盤の全体像 データ分析基盤の全体像を以下の図に示します。 各レイヤーの定義は次のようになります。 データレイク：生データをそのまま配置する層 データウェアハウス：変換処
以前、Synapse SQLプールへPolyBaseを使って、DataLakeからデータのロードを行いました。 PolyBaseでSynapse SQLプールにデータを投入してみた 今回はその逆でSynapse SQLプールからPolyBaseをつかってDataLake Storageへデータを出力します。 全体の流れ 以下の流れでデータの出力を行います。 1. 認証情報の作成（CREATE MASTER KEYとCREATE DATABASE SCOPED CREDENTIAL） 2. 外部データソースの作成 3. ファイルフォーマットの作成 4. CREATE EXTERNAL TABLE AS SELECTでデータを出力 また、1、2に関しては以前に紹介した記事に記載したものをそのまま利用していますので、今回は説明は割愛します。 ファイルフォーマットの指定 ファイルフォーマットを指定
Datalake Creation In AWS (S3, AWS Glue, Athena) | DevelopersIO
In this blog we will create a Datalake using Amazon S3 and use AWS Glue to crawl the data from S3 to build a metadata store. Finally, query the data in Amazon Athena using standard SQL. Introduction A Datalake is the most popular way to store and analyse the massive amount of data. A data lake allows organisations to store all their data—structured and unstructured—in one centralised repository. A
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
医療データレイクで分析基盤の構築 / JAWS DAYS 2021 JMDC DATALAKE
AWS DataLake 構築ハンズオンに行ってきました - ヤマムギ
データ分析基盤・DataLakeを作成するツールとしてのEmbulk - Qiita
Aurora Cluster Cloneを使ったDataLake連携 - Qiita
Python 用 Azure DataLake サービス クライアント ライブラリ
PolyBaseを使ってDataLakeへデータをEXPORTしてみた - Qiita