次世代データ基盤：データレイクハウスを Google Cloud で実現する
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、次世代データ基盤であるデ
データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog
こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイクに生のままに入れること— Takuro SASAKI (@dkfj) 2021年5月1日 データレイクとDWHの分離について呟いたら、それなりの反響を頂きました。せっかくの機会なので、もう少ししっかりと解説してみます。何故、データレイクとDWHを分離する必要があるのか、格納するデータの構造と、データレイク・DWHの役割の観点から考えてみましょう。まずは、データの種類として、構造化データや非構造化データの説明をします。その次に、データレイクとDWHなどの用語・役割の説明をし、最後にアーキテクチャを考えてみます。 構造化データと半構造化データ、非構
OLTPとは？OLAPやDWHとの違いをわかりやすく解説
データ処理の基本として、あるいは主流として挙げられるのが“OLTP(OnLine Transaction Processing)”です。 また、OLAP(OnLine Analytical Processing)やDWH(Data WareHouse)といった処理方法やデータ管理方法もありますね。 正直、非エンジニアの方からすれば「何がどう違うの？」といったところでしょう。 しかしそんなことも言っていられないのが事実。 ビッグデータ時代に突入してからというもの、専門家以外でも当たり前のようにデータ分析や処理が任されるようになってきています。 本稿を読まれている方の中にも会社の上長からいきなり「データ分析担当よろしく」と言われた方がいらっしゃるのではないでしょうか。 「そんなこと言われていない」という方でも、今後データ分析や処理に関わるシーンは必ず訪れます。 そこで今回は、OLTP・OLAP
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
