タグ

2021年5月10日のブックマーク (2件)

  • データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog

    こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイクに生のままに入れること— Takuro SASAKI (@dkfj) 2021年5月1日 データレイクとDWHの分離について呟いたら、それなりの反響を頂きました。せっかくの機会なので、もう少ししっかりと解説してみます。何故、データレイクとDWHを分離する必要があるのか、格納するデータの構造と、データレイク・DWHの役割の観点から考えてみましょう。まずは、データの種類として、構造化データや非構造化データの説明をします。その次に、データレイクとDWHなどの用語・役割の説明をし、最後にアーキテクチャを考えてみます。 構造化データと半構造化データ、非構

    データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog
    dkfj
    dkfj 2021/05/10
    データ分析基盤を作る必要がある時に、これだけは考えておいて欲しいこと。データレイクとDWHは分離しようと。何故ならば、DWHは構造化データを扱うもので、非構造データが持っていた情報で欠損する部分があるから
  • AWSのグローバルIPの空間はインターネットなのか? - NRIネットコムBlog

    こんにちは佐々木です。 先日、VPCのFAQに追加された項目が話題となっていました。2 つのインスタンスがパブリック IP アドレスを使用して通信する場合、トラフィックがインターネットを経由するかどうかという問いに対して、AWSがノーと言っています。これは、どういうことなのでしょうか? これがプライベートネットワークの通信と明示された意味は大きい 『Q:2つのインスタンスがパブリック IP アドレスを使用して通信する場合、またはインスタンスが AWS のサービスのパブリックエンドポイントと通信する場合、トラフィックはインターネットを経由しますか?』https://t.co/uy26KyCZKn— Takuro SASAKI (@dkfj) 2021年4月22日 このことを起点に、インターネットとは何か、AWSのネットワークの現状について考察してみます。難しい事を言っていますが、みんな疑問に

    AWSのグローバルIPの空間はインターネットなのか? - NRIネットコムBlog
    dkfj
    dkfj 2021/05/10
    AWSの2つのパブリック IPアドレスの間の通信が、AWSのプライベートネットワークのみで完結している言い切れるのは何故か?その辺りの解説しています。意外に知らない話が出てくると思います