緩やかに変化するディメンション変換 - SQL Server Integration Services (SSIS)
適用対象:SQL Server Azure Data Factory の SSIS Integration Runtime 緩やかに変化するディメンション変換は、データ ウェアハウスのディメンション テーブル内にある、レコードの更新および挿入を調整します。 たとえば、この変換を使用すると、AdventureWorks OLTP データベースの Production.Products テーブルにあるデータを使って AdventureWorksDW2022 データベースの DimProduct テーブルに挿入や更新を行う変換出力を構成できます。 緩やかに変化するディメンション変換には、緩やかに変化するディメンションを管理するための、次の機能が用意されています。 受信した行を参照テーブル内の行と照合し、新しい行および既存の行を識別します。 変更が許可されていない場合に、変更が含まれる受信行を識別
スロー・チェンジ・ディメンション(Slowly Changing Dimensions)
スタースキーマ(基礎) の記事の知識を前提としています。 ディメンションテーブルのソースとなるデータは、運用している業務システムのものである。これらのデータは、データウェアハウスに移され、それぞれのディメンションテーブルに格納される。 しかし、この情報は運用の過程で変更されることがある。例えば、会員の生年月日を直したり、住所変更などである。この時に運用システム側は、変更履歴を追うようにする。または素直に上書きしてもよい。いずれにしても、ディメンションテーブルは、どのように分析をしたいかによって、変更に対応することが必要になる。 ディメンションの設計において、ソースデータの変更をどのように表現するかを決めることは重要で、これらを「スロー・チェンジ・ディメンション」と呼ぶ。これはファクトに比べるとディメンションはゆっくりと変更されることから由来している。 データ変更がされた場合、様々な対応が考
データマートとは？（データウェアハウスとの違い）
データマートの3つのタイプデータマートには、従属型、独立型、ハイブリッド型の3種類があります。これらのタイプは、データウェアハウスとの関係や、システムの作成に使用されるデータソースに基づいて分類されます。 1. 従属型データマート従属型データマートは、既存のエンタープライズデータウェアハウスから作成されます。これは、すべてのビジネスデータを中央に一元化して格納したうえで、分析の必要に応じて明確に定義された一部のデータを抽出するというトップダウンのアプローチです。 データウェアハウスからデータマートを作成するには、ウェアハウスから特定のデータセットを集約（クラスター化）して再構成し、データマートにロードしてクエリを実行可能にします。これは、データウェアハウスの論理ビューまたは物理サブセットとなります。 論理ビュー - 物理データベーススキーマの一部ではない仮想テーブル。物理サブセット - デ
データマート - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "データマート" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL（2016年2月） データマート (Data Mart) は、データウェアハウスの中から特定の目的に合わせた部分を取り出したもの。通常は利用部門が利用目的に合ったデータのみを所持するものである。 利点[編集] 利用部門ごとに使用するデータや分析内容が異なることが多いため、その利用部門が必要とするデータのみをデータウェアハウスから抽出したり、その利用部門が必要とする分析データをあらかじめ集計することにより、分析レスポンスを向上できる。これは、データ容量が小さくなることやリクエストの
マテリアライズドビュー - Wikipedia
データベース管理システムは関係モデルに従うため、ビュー は仮想的な テーブル であり、データベースに対するクエリの結果を表す。ビューを参照または更新すると、その処理はビューの対象となった実際のテーブルへの参照または更新へ変換され、実行される。 マテリアライズドビュー (Materialized View; 体現ビューともいう)はこれとは異なるアプローチを取り、クエリの結果を実際のテーブルにキャッシュする。キャッシュされたデータは元のテーブルが変更されるたびに更新される。そのため、最新でない状態を取得する可能性はあるが、効率的なアクセスが可能になる。特にデータウェアハウスでは実際のテーブルに対して頻繁にクエリを実行することは非常にコストが高いため、マテリアライズドビューが有効である。 さらに、マテリアライズドビューは実際のテーブルとして実体化されるため、実際のテーブルに対して適用可能な操作は
Snowflake schema - Wikipedia
This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed. Find sources: "Snowflake schema" – news · newspapers · books · scholar · JSTOR (October 2012) (Learn how and when to remove this message) The snowflake schema is a variation of the star schema, featuring normalization
STV_SESSIONS - Amazon Redshift
Use the STV_SESSIONS table to view information about the active user sessions for Amazon Redshift. To view the session history, use the STL_SESSIONS table, rather than STV_SESSIONS. STV_SESSIONS is visible to all users. Superusers can see all rows; regular users can see only their own data. For more information, see Visibility of data in system tables and views. Some or all of the data in this tab
Slowly changing dimension - Wikipedia
This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources in this article. Unsourced material may be challenged and removed. Find sources: "Slowly changing dimension" – news · newspapers · books · scholar · JSTOR (March 2015) (Learn how and when to remove this message) A slowly changing dimension (SCD) in data management and
Digdag + EmbulkによるTSVファイルのS3→Redshiftロード #digdag | DevelopersIO
はじめに こんにちは、yokatsukiです。 先日6月18日、第五回ゲームサーバ勉強会に参加してきました。 そこで、トレジャーデータのサポートエンジニアマネージャー高橋様から、直前の6月15日にオープンソース化されたばかりのDigdagの説明がありました。その時の発表スライドは下記です。 Digdagは弊社でも何名かが既に触ってブログで公開(下記)しているので、名前と目的は知ってましたが、説明とデモを見るうちに自分でも試してみたくなりました。 Embulk界隈で話題になっている分散ワークフローエンジン「DigDag」について調べてみた #digdag Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag｜Developers.IO という訳で、簡単ではありますが共有します。 テーブル定義の無いTSVファイルをRedshiftへロードする 通
既存の行を置き換えてマージ操作を実現する - Amazon Redshift
手順で説明しているマージオペレーションを実行するときは、一時的なステージングテーブルの作成と削除のステップを除き、すべてのステップを 1 つのトランザクションにまとめます。いずれかのステップが失敗した場合でも、トランザクションはロールバックされます。トランザクションを 1 つにすると、ほかにもコミットの回数が減るため、時間とリソースの節約になります。 既存の行を置き換えてマージ操作を実現するには、以下の手順を実行します。 次の疑似コードに示すように、ステージングテーブルを作成し、マージの対象となるデータを移します。 create temp table stage (like target); insert into stage select * from source where source.filter = 'filter_expression'; MERGE を使用してステージングテ
Amazon EC2 以外から接続するファイアウォールタイムアウトの問題 - Amazon Redshift
問題の例 COPY コマンドなどの長いクエリを実行すると、データベースへのクライアント接続がハングまたはタイムアウトしているように見えます。この場合、Amazon Redshift コンソールにはクエリが完了したと表示されますが、クライアントツール自体はまだクエリを実行しているように見えることがあります。接続がいつ停止したかに応じて、クエリの結果がないか、不完全になる可能性があります。 考えられる解決策 この問題は、Amazon EC2 インスタンス以外のマシンから Amazon Redshift に接続するときに発生します。この場合、アイドル状態の接続は、一定期間非アクティブになった後、ファイアウォールなどの中間ネットワークコンポーネントによって終了します。このような動作は、Virtual Private Network (VPN) やローカルネットワークからログインした場合によく発生し
Redshift の Interleaved Sort Key について解説してみる - Qiita
はじめに Redshift における Sort Key の１つである Interleaved Srot Key について解説をします。公式ドキュメントにはさらっとしか記述がないのですが、私が確認した公開された情報のなかでは AWS Blog が一番詳しく解説されていました。本稿はこちらの Blog を理解することを目的とします。 Sort Style 大きく分けて 3 つあります。 Single-column Sort Key column 単位で設定された Key。 Compound Sort Key table 単位で設定されたもので、2つ以上の column に対してセットされた Key。いわゆる複合 Key で Primary, Secondary と Key 間に優先順位があります。 Interleaved Sort Key table 単位で設定されたもので、1つ以上の col
クラスターのサイズ変更 - Amazon Redshift
データウェアハウスの容量とパフォーマンスのニーズが変わるため、クラスターサイズを変更して、Amazon Redshift のコンピューティングとストレージオプションを最大限に活用することができます。 サイズ変更操作には次の 2 つのタイプがあります。 伸縮自在なサイズ変更 - クラスターにノードを追加または削除できます。DS2 ノードから RA3 ノードなど、ノードタイプを変更することもできます。伸縮自在なサイズ変更は、通常は短時間で完了し、平均で 10 分かかります。このため、最初のオプションとしてお勧めします。伸縮自在なサイズ変更を実行すると、データスライスを再分配します。データスライスは、各ノードにメモリとディスク領域に割り当てられるパーティションです。伸縮自在なサイズ変更は、次のような場合に適しています。 既存のクラスターにノードを追加または削減するが、ノードタイプは変更しない場合
hdfsにsqoopとembulkでmysqlからロードする手順 | takemikami's note
このエントリでは、Mac上でhdfsにmysqlからデータをロードする手順を記載します。 sqoopを利用する手順とembulkを利用する手順を示します。 Apache Sqoop: http://sqoop.apache.org/ embulk: https://github.com/embulk/embulk この手順の前提として、 homebrew及びjdk, hadoop, hdfsのセットアップは完了し、hdfsのnamendeは起動しているものとします。 hadoopとhdfsのセットアップについては、 以下エントリの「Hadoopとhdfsのセットアップ」を参考にしてください。 Mac上でのhiveセットアップ手順（mysql上にmetastoreを作成）: http://takemikami.com/2016/04/20/Machivemysqlmetastore.html
【AWS】Redshiftの分散キーとソートキー - TASK NOTES
Redshiftのパフォーマンスで重要になる分散キーとソートキーについてまとめました。 分散キー（DISTKEY） テーブルにデータをロードすると、そのテーブルの分散スタイルに従って、テーブルの行が各ノードスライスに分散されます。Redshift では1ノードの中で実際に処理を行うプロセスが複数動いており、このプロセスをノードスライスといいます。並列処理の単位はノードではなくノードスライス単位です。スライスの数は、次のようにノード上のプロセッサコアの数と同じになります。 均等分散 均等分散はデフォルトの分散スタイルです。リーダーノードは、特定の列の値に含まれている値にかかわらず、ラウンドロビン方式によって複数のスライス間で行を分散させます。例えば 8スライスのテーブルに 8行 insert した場合、各ノードスライスへ順番に 1行ずつ配布されます。均等分散は、テーブルが結合に関与していない
データウェアハウス再入門 | DevelopersIO
４月入社の川崎です。Redshiftに取り組むにあたり、改めてデータウェアハウス（DWH）の基本について確認しておこうと思います。 DBA（データベース管理者）歴20年の私の経験から言えるのは「同じデータベースでも、データウェアハウスはOLTP系とはまったく違う」ということです。ところが、DWHの教科書みたいな書籍が日本語ではほとんど無いので、書籍の代わりにSlideshareなどネット上のリソースを中心に検索してみます。 「10年戦えるデータ分析入門」青木峰郎 著 http://www.sbcr.jp/products/4797376272.html 著者はクックパッドの方で、元テラデータ出身のようです。（どうりでDWHに詳しい訳ですね）ネットの書評によると「分析の本ではなく分析のためのSQLの入門書」だそうですが、この「分析のためのSQL」が仕事の役に立ちそうな気がしています。（対象デ
相関性のあるサブクエリ - Amazon Redshift
次の例の WHERE 句には、相関性のあるサブクエリが含まれています。このタイプのサブクエリには、サブクエリの列と他のクエリが生成した列の間に相関性があります。この場合、相関は where s.listid=l.listid となります。外部クエリが生成する各行に対してサブクエリが実行され、行が適正か適正でないかが判断されます。 select salesid, listid, sum(pricepaid) from sales s where qtysold= (select max(numtickets) from listing l where s.listid=l.listid) group by 1,2 order by 1,2 limit 5; salesid | listid | sum --------+--------+---------- 27 | 28 | 111.00
カタログテーブルへのクエリの実行 - Amazon Redshift
通常、カタログテーブルとビュー (名前が PG_ で始まる関係) を Amazon Redshift テーブルとビューに結合できます。 カタログテーブルは、Amazon Redshift がサポートしない多数のデータ型を使用します。クエリでカタログテーブルを Amazon Redshift テーブルに結合するときは、次のデータ型がサポートされます。 サポートされないデータ型を持つ列を明示的または暗黙的に参照する結合クエリを記述すると、クエリはエラーを返します。カタログテーブルの一部で使用される SQL 関数も、PG_SETTINGS および PG_LOCKS テーブルで使用されるものを除いてサポートされません。 例えば、PG_STATS テーブルに対し、Amazon Redshift テーブルとの結合でクエリを実行することはできません。これは、関数がサポートされていないためです。 次のカタ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ParAccel - Wikipedia
Snowflake Inc. - Wikipedia