NewSQLのコンポーネント詳解 - Qiita
4.2.1 Shardingの手法 先ほどの表1を理解するにはSharding手法の列にあげられた各用語の理解が必要となる。 YugaByteDBのブログ「Four Data Sharding Strategies We Analyzed in Building a Distributed SQL Database」には、非常に詳しくShardingの手法が紹介されている。この記事では、大きく以下4つの分類があるという。 Algorithmic Sharding (例: Memcached/Redis) Linear Hash Sharding (例: 過去のCassandra) Consistent Hash Sharding (例: DynamoDB、Cassandra) Range Sharding (例: Spanner、HBase) 詳細は割愛するが、1つ目のアルゴリズム・シャー
再帰SQL -図解- - Qiita
まえがき 再帰SQLを使うと、テーブルに一時的に名前を付けることで、再帰処理(ループ)を実現できます。どのように実行されるのか難しかったため図解してみます。 with句 メインクエリの中で同じサブクエリを何度も呼び出している場合に使われるのがwith句です。with句を使うとサブクエリに名前をつけることができるので、メインクエリから何度でも呼び出すことができます。便宜上、with句によって作られる一時テーブルをwithテーブルと呼ぶことにします。with句を利用したクエリは、以下のように評価が進みます。 with句を評価し、withテーブルを作成する メインクエリを実行する。 まずは簡単な例でwith句の使い方を見てみましょう。営業マンたちの月別売上を表す営業成績テーブルを考えます。 【営業成績テーブル】 名前 月 月次売上
【SQL】サブクエリはWTIH句が最強。可読性こそ現場での正義。｜sampling2x
本記事概要 対象者 SQLでのデータ分析を勉強されている方 特に非エンジニアのマーケティング担当者やPMの方 【SQL練習】サンプルデータベースを用意するでMySQL公式のデータベースをローカルに作成されている方には特におすすめです。 目的 サブクエリとは何か理解する。 WITH句を使って可読性の高いサブクエリを作れるようになる！ 筆者 コインチェックという暗号資産の会社でマーケティング部の部長をしてます（https://twitter.com/sampling2x） そもそも「サブクエリ」とは？ 完結に説明すると、クエリの中にクエリを作ることです。 クエリの中にクエリを作ることで、より複雑なデータを取得することができます。 言葉だけではイメージが湧かないと思うので、以下が具体例になります。 使用テーブルはpaymentテーブルとcustomerテーブルです。 ■paymentテーブル ■
【SQL入門】外部キーとは？主キーとの関係や作成方法について解説 | 侍エンジニアブログ
をCREATE TABLEの最後に追加します。 従業員テーブルの部署番号(department_no)に、外部キーを作成するサンプルコードを確認して見ましょう。はじめに親テーブルの部署テーブルを作成します。 CREATE TABLE sample1_departments ( department_no char(5), -- 部署番号 department_name varchar(255), -- 部署名 PRIMARY KEY (department_no) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; -- テストデータ INSERT INTO sample1_departments VALUES('A0001', 'アプリ開発部'); INSERT INTO sample1_departments VALUES('A0002', 'データベース開発部
ウェビナー「Lookerはじめの一歩」で登壇しました | DevelopersIO
奈良県でリモートワークしてる玉井です。 5月15日（金）のお昼時に、弊社が開催した下記ウェビナーで登壇しました。 本記事では、ウェビナーの資料の共有、それと、ウェビナー中にあったQ&Aの補足等についてご紹介します。 資料 登壇内容に関する各種リンクなど 顧客環境へのセルフインストール Amazon Redshiftの管理 Lookerから直接EC2を停止 Amazon SageMakerとの連携 Snowflake内の半構造化データにLookerから直接アクセス SnowflakeのデータシェアリングのデータにLookerから直接アクセス 紹介したTableau PublicのViz https://public.tableau.com/views/BrianDennehy/Dashboard1?:display_count=y&:origin=viz_share_link Brian D
27. 論理削除とは何か？どのような解法があるのか？ w/ twada | fukabori.fm
話したネタ 論理削除とはそもそも何か？ 物理削除とは？ なぜ、論理削除が生まれてくるのか？ SQLアンチパターン 幻の第26章「とりあえず削除フラグ」 理由1: 心理的なハードルの高さ、怖さがある 理由2: 削除したデータを検索対象に入れたい場合がある 理由3: ログとしての用途 理由4: 誤操作をすぐに戻したい アンチパターンとは何か？ なぜ、論理削除はアンチパターンとして捉えられるのか？ 全てのSQL文のWHERE句に削除フラグが必ず入る LIMIT 1などが蔓延していく 論理削除に気づくきっかけは何か？ テーブル設計や、規約から気づく 論理削除というアンチパターンをどのように解いていくか？ 論理削除という概念は世の中にまずなく、お客様は論理削除という言葉を使っていない 要件をどのように設計すればいいのか？ ORMの論理削除プラグインはあまり良くない 状態遷移として捉える方法 Soft
「SQLアンチパターン」を避けるためのチェックリスト（サマリー版） - log4ketancho
これまで「SQLアンチパターン」本のまとめを書いてきました。 「SQLアンチパターン」を避けるためのチェックリスト①（DB論理設計編） - log4ketancho 「SQLアンチパターン」を避けるためのチェックリスト②（DB物理設計編） - log4ketancho 「SQLアンチパターン」を避けるためのチェックリスト③（SQLクエリ設計編） - log4ketancho 「SQLアンチパターン」を避けるためのチェックリスト④（アプリケーション設計編） - log4ketancho この記事は、自分用のチェックリストとして、これまでの記事をサマライズしたものになります。本にこのチェックリストが書かれているわけではなく、個人的に解釈したものになりますが、もしよろしければ DB 設計の一助にしていただければ幸いです。 SQLアンチパターン 作者: Bill Karwin,和田卓人,和田省二,
Snowflake マイクロパーティションとデータクラスタリングの解説 | Snowflake Advent Calendar 2019 #SnowflakeDB | DevelopersIO
Snowflake マイクロパーティションとデータクラスタリングの解説 | Snowflake Advent Calendar 2019 #SnowflakeDB Snowflakeの速さの秘訣はプルーニングであり、効果的にプルーニングするにはデータクラスタリングが必要です。クラスタ化したデータを効率的に扱えるデータファイルがマイクロパーティションとなります。今日はSnoflakeの基礎の基礎、マイクロパーティションとデータクラスタリングの解説します。 Snowflake Advent Calendar 2019 - Qiita Snowflake Advent Calendar 2019 ｜ シリーズ ｜ DevelopersIO マイクロパーティション マイクロパーティションとは マイクロパーティションは、Snowflakeのテーブルのデータを格納するファイルです。例えば、Stageに
Snowflake SQLパフォーマンスチューニング 7 Tips #SnowflakeDB | DevelopersIO
SnowflakeのSQLは、ANSI準拠のSQLであり、実際に使った印象も標準的なSQLです。本日は、Snowflakeをフルに活用するためのSQLパフォーマンスチューニングについて解説します。 まずはクエリ実行の流れを理解する Snowflakeのクエリ実行の流れは「レコード操作 > グループ操作 > 結果出力」となります。そのため可能な限り最初の段階でスキャンのサイズ、結合対象のレコード数を減らした後、グループ操作をすることが最も重要です。 レコード操作は、グループ操作の前に実行されます。FROM句に指定したテーブルをWHERE句でフィルタした後、GROUP BY句やHAVING句で集約、最終的にSELECT句、DISTINCT句、ORDER BY句、LIMIT句にて結果出力します。クエリ実行の順は以下のとおりです。 この考えに基づき後述のTipsを紹介します。 Tips1: スキャ
複数のデータソース(Redshiftや主要RDBMS等)及びOS(Mac/Windows/Linux)対応の無償SQLクライアントツール『DBeaver』 | DevelopersIO
当ブログでは、これまでに『Amazon Redshiftに対応している事・繋がる事』を1つの評価軸として幾つかのツールを紹介して来ましたが、その一覧に新たに加えても良さそうなツールの情報を先程目にしましたので、当エントリでその内容についてご紹介してみたいと思います。それがこちらの『DBeaver』です。 DBeaver | Free Universal SQL Client これまで紹介してきたDB関連ツール 参考までに、これまでに紹介して来たDB関連ツールの一覧を以下に纏めます。 Intellij IDEA(Ultimate Edition) Amazon RedshiftのMac OS X向けGUIツールとして『Intellij IDEA Ultimate Edition』のDatabase Toolsを使う ｜ Developers.IO 0xDBE → DataGrip Mac/W
階層構造データへの挑戦 - Qiita
＜この記事は「Money Forward Advent Calendar 2015」の8日目の記事です＞ みなさんSQL書いてますか？ 今回は、RDBでSQLを使って階層構造データをうまく扱う(ことに挑戦しようとする)方法に関するお話です。 数年前に出た「SQLアンチパターン」という本に書かれている内容で、大勢の方の記事でも取り上げられている話なのでだいぶ今更感が強いですが、私自身の忘備録としてまとめました。 というのも、実は私はこの記事の後半に書いた内容を使ってとあるシステムを設計していたのですが、諸事情あって結局そのシステムは日の目を見ずにお蔵入りになり、そのための供養を兼ねていたりもします。 身近な例で言えば、ファイルシステムのディレクトリ構造がまさに階層構造になっていますね。 このような階層の概念は、いろいろなところで出てくるもので、なんらかのシステムを作る際には大なり小なり関わっ
DBエンジニアのミックさんが語る、RDBで階層構造データを扱う「入れ子集合モデル」の将来性
これまで階層構造データはリレーショナルデータベースでうまく扱えませんでしたが、その解決策としてジョー・セルコが提案したのが「入れ子集合モデル」です。この手法を紹介した『プログラマのためのSQLグラフ原論』の刊行にあたり、翻訳されたDBエンジニアのミックさんに入れ子集合モデルの将来性についてうかがいました。 なぜRDBで木と階層構造を扱う手法が1冊の書籍に？ ――『プログラマのためのSQLグラフ原論 リレーショナルデータベースで木と階層構造を扱うために』についてミックさんにうかがいます。最初に、本書がどういう本なのか教えていただけますか？ ミック：内容としては、リレーショナルデータベース（RDB）でグラフ構造の一つである木と階層構造を扱うための方法論「入れ子集合モデル」をメインに解説しています。RDBには大きな問題があり、入れ子集合モデルがそれを解決しうる手法だと見込まれています。その問題と
階層構造をＳＱＬで簡単に操作する
となります。「パス」列にノードまでのフルパスを保持している訳ですね。 この方式のメリットはなんといっても検索が楽なことです。 まぁ、逆に間に追加するような更新は大変なんですけどね どんなことができるか、とにかく次で例をあげていきます。 経路列挙型を使ったデータ取得 サンプルデータ 以下のＳＱＬで作ったテーブルを利用するものとします。 postgreSQLで試しています。 -- create CREATE TABLE department ( departmentcode character varying NOT NULL, departmentname character varying, path character varying, CONSTRAINT department_pkey PRIMARY KEY (departmentcode ), CONSTRAINT departm
手作業になりやすい「踏み台サーバ経由でMySQLを実行するプロセス」をコードで完結させてみた ｜ DevelopersIO
割とよくありがちな「踏み台サーバ経由でMySQLを実行するプロセス」を自動化してみました。検証時に動作を正確に理解していなかった為にハマったSSHTunnelForwarderについても少し触れています。 データベースを利用する、割と日常的に発生しやすい作業の一つに「踏み台サーバ経由でDBに向けてクエリを投げる」というものがあります。 作業自体は特に大したこともなく、淡々とSSH経由で踏み台サーバにログインすることが殆どだと思われます。結果をファイルに落としこむという手順が増えても、恐らくはさほど手間ではないはずです。 ただ、以下の様な条件が挟まった場合、案外そうとも言い切れません。 一定期間中に頻度高めで行う 結果を元にして別のシステムからデータを参照する 今回、そんなわりとよくある作業にある程度手間な条件が挟まったとしても、変わらず少ない手数で完遂することを目的にコードへ落としてこんで
PostgreSQLでUPDATE。 | DevelopersIO
はじめに 業務で使用するのはRedshiftが中心ですが、ローカル環境でちょっと試したい場合は元になっているPostgreSQLを使っています。 基本INSERTばかりであまりUPDATEを使ってませんでしたが、調べたので書いておきます。 環境 Mac OSX 10.10.5 Yosemite PostgreSQL 9.5.1 使用するテーブル /*スキーマ作成*/ CREATE SCHEMA blog; /*テーブルＡ*/ CREATE TABLE blog.table_a ( id SERIAL ,val INTEGER ,PRIMARY KEY(id) ); INSERT INTO blog.table_a VALUES (1, 101), (2, 102), (3, 103); /*テーブルＢ*/ CREATE TABLE blog.table_b ( id SERIAL ,val
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【SQL入門】PRIMARY KEY(主キー)制約とは？追加や削除についても解説 | 侍エンジニアブログ
外部キー制約について
SQLアタマアカデミー 記事一覧 | gihyo.jp
ビジネスデータ解析のためのSQL入門一覧
SQLでやるこの操作ってpandas.DataFrameではどうやるの！ - Qiita
