SQLのコーディング規約について - Leverages データ戦略ブログ
データ戦略室で使用しているSQLのコーディング規約をご紹介します はじめに こんにちは。データ戦略室の森下です。今回はデータを使う際に切っても切り離せないSQLについて、レバレジーズのデータ戦略室で作成および運用しているコーディング規約についてお話します。 レバレジーズのデータ戦略室では今回ご紹介する規約を策定していますが、データ活用のフェーズや環境によって多分に変わる部分でもありますので、とある一社の運用方法として参考にしていただければ幸いです。 レバレジーズのSQL実行環境について Google BigQueryを初めとするカラムナデータベースにデータを格納し、SQLを用いてデータを抽出することが多いです。そのため、今回ご紹介するSQLコーディング規約には、RDBに対するパフォーマンスチューニングに関連するようなことは規約に入っていません。 コーディング規約について コーディング規約は
高性能分散SQLエンジン「Trino」最速ガイド - NTT Communications Engineers' Blog
こんにちは。なんの因果かNTTコミュニケーションズのエバンジェリストをやっている西塚です。 この記事は、NTT Communications Advent Calendar 2021 22日目の記事です。 5分でわかる「Trino」 「Trino」は、異なるデータソースに対しても高速でインタラクティブに分析ができる高性能分散SQLエンジンです。 以下の特徴を持っており、ビッグデータ分析を支える重要なOSS(オープンソースソフトウェア)の1つです。 SQL-on-Anything: Hadoopだけでなく従来のRDBMS(リレーショナルデータベース)やNoSQLまで、標準SQL(ANSI SQL)に準拠したアクセスをワンストップに提供 並列処理でビッグデータに対して容易にスケールアップ しかも高速(hiveの数十倍) Netflix, LinkedIn, Salesforce, Shopif
Impala 4.0 とPresto 350によるSQLレシピ本の検証（１）
Distributed computing (Apache Spark, Hadoop, Kafka, …) Advent Calendar 2021 23日目です。 今年も Hue について書こうかと考えていましたが、最近 SQL(Presto)やEmbulk,Digdagを使う機会が増えているので趣向を変えてみます。 Hueについて興味がある方は[公式ブログ（日本語）](http://https://jp.gethue.com//posts/ “公式ブログ（日本語）”)をご覧ください。翻訳サボってます・・・ ———— SQLレシピ本とは？ ビッグデータ系の良書の一冊でもある「ビッグデータ 分析のためのSQLレシピ本」、出版から4年経過しても色あせることはありません。 この書籍では、SQLの記述方法から分析手法まで広く扱われおり、写経するだけでも大きな知見が得られるでしょう。一方、扱われ
WHERE句でMySQLのLEFT JOINが "NULL"レコードを返すのはなぜですか?
今日私はいくつかの複雑なMySQLクエリを試してみましたが、MySQLのLEFT JOINがWHERE句で動作していないことに気付きました。つまり、いくつかのレコードが返されますが、右側に空のレコードは返されません。 たとえば、テーブルがあるとします。 albums ; albums_rap id artist title tracks ; id artist title rank ---- -------- ---------- --------------- ; ---- --------- ----- -------------- 1 John Doe Mix CD 20 ; 3 Mark CD #7 15 2 Mark CD #7 35 ; そして、このクエリを実行すると: SELECT t1.artist as artist, t1.title as title, t1.trac
ポケモンを題材に「SQLアンチパターン」を実践してみる - kanayamaのブログ
@tkanayama_です。「SQLアンチパターン *1」 という本を読みました。「ポケモンを題材に因果推論を実践してみる」のように、仮想的なストーリ上で実際に使ってみた感を出すことにより、自分の記憶に定着させることを狙います。 前提として、何をアンチパターンとするかは状況（ベンダーフリーである必要があるかどうか、どの程度の頻度で更新されるか・・・など）によって大きく異なるので、下記で紹介するアンチパターンは実は状況によっては問題にならないケースもあるかと思います。この投稿はあくまで「SQLアンチパターン」に忠実に従うことが目的です。 www.oreilly.co.jp 追記 登場人物 ストーリー フシギダネへの対応 ヤミカラスへの対応 ディグダへの対応 誤登録でポケモントレーナーになってしまったユーザーの削除 最後に 謝辞 追記 このブログを公開後、「外部キー制約はレコードロック周りのト
HeidiSQL - MariaDB/MySQL, MSSQL, PostgreSQL, SQLite and Interbase/Firebird made easy
What is HeidiSQL? HeidiSQL is free software for people who work with databases, and aims to be intuitive to use. "Heidi" lets you connect to a variety of databases, like MariaDB, MySQL, Microsoft SQL, PostgreSQL, SQLite, Interbase and Firebird. Once you are connected, you can edit data and structures in these databases. Invented in 2002 by Ansgar, HeidiSQL is still a popular tool for MariaDB and M
SQLスタイルガイド · SQL style guide by Simon Holywell
概要 全般 推奨 非推奨 命名規則 通則 表 列 別名、相関名 ストアド・プロシージャ 統一的接尾辞 問合せ文 予約語 空白類 インデント 望ましい形式 Create文 データ型の選択 デフォルト値の指定 制約とキー 非推奨設計 付録 予約語リファレンス SQLスタイルガイド（日本語訳） 日本語訳について 日本語訳は誤訳や原文の最新版に追随していない恐れがあります。誤訳や改善点があれば、GitHubのissueまたはpull requestを使用するか、Twitterでお知らせください。 翻訳: 久利史之 @nkuritw 概要 このガイドラインは利用の他、forkしたり、自分自身のものに改変したりすることができます。ここで大事なのはスタイルを選択しそれを踏襲することです。変更の提案やバグの修正にはGitHubのissueまたはpull requestを使用してください。 このガイドライン
Ibis: Python Data Analysis Productivity Framework
An open source dataframe library that works with any data system Use the same API for 20+ backends Fast local dataframes with embedded DuckDB (default), Polars, or DataFusion Iterate locally and deploy remotely by changing a single line of code Compose SQL and Python dataframe code, bridging the gap between data engineering and data science Ibis: the portable Python dataframe library Ibis offers a
INNER JOINとCROSS JOINの違い - 豆無日記
今までJOIN構文をなんとなくで使ってきたので、INNER JOINとCROSS JOINの違いがよくわからないでいる今日この頃。 いまさらながら調べてみた。 CROSS JOIN: ON, USING を指定しない場合、左右のテーブルの直積を返します。 つまり、左右のテーブルにそれぞれ2行のレコード、3行のレコードが格納されている場合、結果は全てのレコードの組合せになり合計 2x3=6 行のレコードになります。 PostgreSQL や MySQL では ON, USING を指定すると INNER JOIN と等価になります。 SELECT * FROM table1 CROSS JOIN table2 は次の SQL 文と等価です。 SELECT * FROM table1, table2 また、PostgreSQL, MySQL では SELECT * FROM table1 CR
SQL Pivot in all databases: MySQL, MariaDB, SQLite, PostgreSQL, Oracle, …
Pivoting data is a rather common problem that comes in many different flavors. At its heart, the requirement is to transpose data from multiple rows into columns of a single row. This requirement is particularity common in a reporting context. The following explanation is therefore based on a query that reports monthly revenues: SELECT EXTRACT(YEAR FROM invoice_date) year , EXTRACT(MONTH FROM invo
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策｜ハイクラス転職・求人情報サイト AMBI（アンビ）
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ
CSV に SQL でお手軽に問い合わせたい - 2016 年、冬（JOIN なども交えつつ）
お手元の CSV ファイルを手軽に加工しようと思った場合、EXCEL 等のアプリケーションに取り込んで利用するのが一般的かと思います。 まぁ、ほとんどの場合はそれで十分なのですが。 「65,536 行までしか扱えない古いバージョンを考慮しなくてはいけない環境なので、そもそも EXCEL に取り込む為のデータを CSV から必要な分だけ抽出したい」 ですとか、 「こっちとあっちの CSV を結合した結果を加工して出力したい」 ですとか、 「てゆうか、 直接 CSV に SQL で問い合わせたいんじゃー」 みたいな欲求が、この記事を開いたような方には稀に良くあるのだと思います。 そこで、今回は CSV に SQL で問い合わせる方法について、JOIN 等も考慮しつつ、なるべく色々なケースを見た上で、最後に簡単な比較をしてみようと思います。 また、GUI アプリケーションを使った方法も、少しです
HAWQ を CDH で動かす - Qiita
HAWQとは HAWQはPivotalが開発したHadoop上で動作するSQL実行エンジンです。 現在はApacheに寄贈され、Apache HAWQとして公開されています。 HAWQに近い位置付けのものには、Clouderaが主導するImpalaがあります。 HAWQの中身はPostgreSQLをベースに分散環境に対応したGreenplumをHadoopに対応したものと考えればよいと思います。 PostgreSQLをベースにしていることから、数あるSQL on Hadoopの中でもSQLへの準拠レベルが高いことが特徴になっています。 詳細はEnterprise SQL on Hadoop with Pivotal HDBが参考になります。 PivotalとODPi ODPiはHadoopの相互運用性を目的としてHortonworks、Pivotalを中心に設立された団体です。 Hadoo
A5:SQL Mk-2 - フリーのSQLクライアント/ER図作成ソフト (松原正和)
特徴・機能 様々なデータベースへの接続 Oracle Database へはOCI接続（オラクルクライアント経由）、直接接続（オラクルクライアント不要）で接続出来ます。 PostgreSQL, MySQLへは直接接続（クライアントライブラリ不要）で接続出来ます。 Microsoft SQL Server へは NativeClient 経由で接続できます。 それ以外のデータベースへはADO(OLE DB)または、ODBCで接続出来ます。 SQL入力支援機能 Ctrl+SpaceでSQL文を解析しテーブル名やテーブルカラム名の入力補完が行えます。 共通表式や副照会も解析する強力な機能です。 GUIでのクエリーの設計と分析機能 GUIを使いクエリーの設計と分析を使ってクエリーを作成することができます。 実行計画取得機能 RDBMSがSQLを実行する際の実行計画（アクセスプラン）を表示します。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The Mother of all Query Languages: SQL in Modern Times | Markus Winand
え?SQLで入門?する
ElasticsearchとElastic Stack / Getting started Elastic Stack with SQL - Speaker Deck
Visualizing SQL Joins and Building on the Classic Venn Diagrams
サービス終了のお知らせ
SQLで基本のデータ解析に挑戦する
GitHub - xo/usql: Universal command-line interface for SQL databases
