Queryparser, an Open Source Tool for Parsing and Analyzing SQL
You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more In early 2015, Uber Engineering migrated its business entities from integer identifiers to UUID identifiers as part of an initiative towards using multiple active data centers. To achieve this, our Data Warehouse team was tasked with identifying every foreign-key relati
Apache Kafkaに対応したSQLエンジン「KSQL」リリース、ストリームデータをSQLで継続的に処理。Confluentがオープンソースで
Apache Kafkaを用いたリアルタイムデータ処理の商用サービスを提供しているConfluentは、Apache Kafkaに対応したオープンソースのSQLエンジン「KSQL」のデベロッパープレビューをリリースしました。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理できるソフトウェアです。さまざまなアプリケーションから送られてくるログや大量のセンサーなどから生成されるデータなど、リアルタイムに送信されてくるストリームデータをいったんKafkaで受け止め、それをまとめてHadoopなどの分析エンジンに渡してデータの分析を行う、といった形で使われます。 KSQLは、このKafkaに対応したSQLエンジン。これによりJavaやPythonで複雑な処理を記述しなくとも、ストリームデータを柔軟に加工できるようになります。 SQLとKSQLの違いとは？ 一般的
Literate SQL using the WITH clause
Literate programming is an approach to programming introduced by Donald Knuth that, among other ideas, aims to arrange source code in order of human logic so that it can be understood by reading it like a novel: from the beginning to the end. SQL works in the opposite way: due to the nesting of subqueries we must find and understand the innermost query and then start working from inside out. Not e
Hot Chips 28 - Baiduのソフトウェア定義のSQLアクセラレータ
Hot Chips 28において、Baidu(百度)のJian Ouyang氏がソフトウェア定義のSQLアクセラレータについて発表を行った。 ビジネスの規模が拡大し、データ量が増加するのに加えて、データを解析するアルゴリズムも複雑になるので、ビッグデータの処理に必要となる計算パワーは加速度的に伸びて行くという。このビッグデータの処理を効率的に行うため、Baiduはソフトウェア定義のアクセラレータを開発した。 Ouyang氏らの分析では、約40%のアナリティックの処理はSQLで記述されており、残りのものも、多くはSQLで書き直すことができる。この分析から、アナリティック用のソフトウェア定義のアクセラレータを作ることが解であると考えたという。 約40%のデータアナリティックはSQLで記述されており、残りの大部分もSQLで書き直せる。このため、ソフトウェア定義のデータアナリティックのアクセラレー
Azure SQL Databaseの「Always Encrypted」が一般提供開始へ
7月11日(現地時間)、MicrosoftはMicrosoft Azure上で動作する「Azure SQL Database」の機能「Always Encrypted」を一般提供開始したと公式ブログで発表した。 Always encryptedは、データベースに格納する個人情報などを暗号化した状態で保持し、エンド・トゥ・エンドの暗号化を実現するソリューション。2016年6月にリリースしたSQL Server 2016でも使用できていたが、オンプレミスとクラウドを組み合わせたハイブリッド環境での利用シナリオを踏まえて、Azure SQL DatabaseでのGA(一般提供)版の提供が待たれていた。 SQLクライアント側からAzure Key VaultやWindows証明書ストアのキーストア内の鍵を使用し、データの復号化を行うため、Microsoft Azureの負荷軽減と同時に、データベー
クエリチューニング: GROUP BY から LATERAL への書き換え - Qiita
「ユニークキーの GROUP BY」 を 「LATERAL」 に書き換えることで、クエリを性能改善できる可能性があります。 ここでは、非常にシンプルな書き換えの例を示します。 テーブルの準備 まずは、以下のような「部署」、「書籍」、「部署ごとの書籍在庫数」を管理する3つのテーブルを準備します。 なお、「書籍」テーブルは、データベースの状況をイメージしやすいように用意しているだけで、以降のクエリ書き換えでは特に使いません。 -- 部署のIDと名前を管理するテーブル department を作成 CREATE TABLE department (dept_id INTEGER PRIMARY KEY, name TEXT); -- 部署の情報を5件登録 COPY department (dept_id, name) FROM stdin; 1 総務部 2 開発部 3 財務部 4 企画部 5 購
Modern SQL in PostgreSQL
SQL has gone out of fashion lately—partly due to the NoSQL movement, but mostly because SQL is often still used like 20 years ago. As a matter of fact, the SQL standard continued to evolve during the past decades resulting in the current release of 2016. In this session, we will go through the most important additions since the widely known SQL-92. We will cover common table expressions and window
第10回 結合大全 （1）クロス結合 | gihyo.jp
はじめに SQLを使っていて、結合（join）という演算を使わないことはありません。リレーショナルデータベースでは、設計のセオリーとして正規化というプロセスを踏む場合が多いため、必然的にテーブルの数は複数になります。そうすると、複数のテーブルに散在するデータを統―いわば「逆正規化」―したり、あるいは結果として得たいデータのフォーマットを作るために、私たちはさまざまな種類の結合を利用します。 結合演算は、SQLの演算の中では比較的イメージをつかみやすいものです（少なくとも、相関サブクエリとかCASE式に比べれば）。しかし他方、結合は種類のバリエーションがかなり多く、どういう場合にどういう結合を使うのが適切なのか、迷うことも少なくありません。本稿では、SQLで利用される結合について、どのような種類の結合がどういう動作を行うか、理論的な整理を行いたいと思います[1]。そして、結合という演算
Big Data Benchmark
Click Here for the previous version of the benchmark Introduction Several analytic frameworks have been announced in the last year. Among them are inexpensive data-warehousing solutions based on traditional Massively Parallel Processor (MPP) architectures (Redshift), systems which impose MPP-like execution engines on top of Hadoop (Impala, HAWQ), and systems which optimize MapReduce to improve per
最終回 OLAP関数で強力な統計処理を実現！―手続き型から理解するSQL （1）OLAP関数とは何か | gihyo.jp
SQLアタマアカデミー 最終回 OLAP関数で強力な統計処理を実現！―手続き型から理解するSQL （1）OLAP関数とは何か はじめに この連載では、SQLの独特な考え方に慣れてもらうため、その集合指向的な側面を強調して取り上げてきました。これはほかの言語が持たない特性のため、慣れないうちはそのパラダイムが奇妙に感じられます。その違和感を軽減することが、本連載の目的の一つでした。 一方最近では、SQLの側でも時代のニーズに対応するため、さまざまな機能を追加しています。その一端で、実はかなり手続き型言語の考え方を取り入れるようになっています。そのため、むしろ新機能のほうが一般的なプログラマにとっては「とっつきやすい」と思えるところがあります。 今回取り上げるのは、そうした新機能の一つで、OLAP関数と呼ばれるものです（分析関数とかウィンドウ関数という名前でも呼ばれます）。標準SQLでは2
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Reasoning in the presence of NULLs
QueryScope - SQL query visualization tool | SQLdep
Studio 3T：MongoDBのためのSQLによる探索
SQL on MongoDB - Apache Drill
Home - QueryStorm
Baidu Takes FPGA Approach to Accelerating SQL at Scale
GitHub - anse1/sqlsmith: A random SQL query generator
SQL for Aggregation in Data Warehouses