WITH句で変換後に目的のテーブルへINSERT SELECTしてみた | DevelopersIO
みなさんこんにちは、クルトンです！ INSERTする時に、テーブルの値を変換する必要があったのですが、タイトルの内容でズバリそのものな情報が見つからなかったので備忘録として今回は書いてみます。 やること まず3つのテーブルを作成します。 テーブルAとテーブルBにデータが入っており、それらのデータをWITH句を使って処理した後に、テーブルCにINSERTする処理を走らせる、という事をします。 動作検証環境 実行環境がすでにあったため、DBeaver上でRedshiftに繋いでSQLを実行しています。 お好みの環境でも動くかと思います。 テーブル作成 今回は動作検証のため、変換元のテーブル2つは簡単なものを作成します。 まずは一つ目です。blog_table_aという名前で作成します。 create table <スキーマ名>.blog_table_a( ID integer identity
Google Colab上でSQLを使って基本統計量を確認してみた | DevelopersIO
みなさん、こんにちは。 クルトンです！ 今回は、前回ブログの流れから、「基本統計量をSQLで把握するのはどうしたら良いのか」という疑問を持ったので、確かめる意味でやってみました。 基本統計量とは、本ブログで以下のものを指します。 最大値 最小値 平均値 中央値 最頻値 分散 標準偏差 SQLの実行環境を準備 前回ブログと同じ内容ですので、知っている方は飛ばしていただいて大丈夫です。 実行環境はGoogle Colabで、ランタイムはCPUです。 まずは必要なモジュールとデータをダウンロードします。 # IPython用のモジュールをダウンロード !pip install jupysql duckdb-engine # データ（csvファイル）のダウンロード !wget https://raw.githubusercontent.com/mwaskom/seaborn-data/master
BigQuery ML で SQL クエリを使って機械学習モデルを作成、トレーニングし結果の予測をやってみた | DevelopersIO
BigQuery ML で SQL クエリを使って機械学習モデルを作成、トレーニングし結果の予測をやってみた こんにちは、yagiです。 Google Cloud の BigQuery ML を使って、SQLクエリベースで機械学習のモデル作成からトレーニング、モデルの評価、結果の予測までをやってみました。 SQLクエリベースでMLの実装の知識がなくても一連の流れ（モデル作成〜結果の予測）までができます。 BigQuery ML とは BigQuery ML を使用すると、BigQuery で SQL クエリを使用して機械学習モデルを作成して実行できます。このチュートリアルでは、SQL のユーザーが簡単に機械学習を利用できるようにすることを目標としています。使い慣れたツールを使用してモデルを構築でき、データ移動の必要もないため、開発スピードを向上させることができます。 BigQuery ML
試験で使える!!Cloud SQLの基礎知識（Google Cloud） | DevelopersIO
今回も資格試験、初級者向け用にCloud SQLを解説していきます。試験や初学者の知識として、特に求められることは「そのリソースの特徴を理解できているか」に尽きると思います（個人的に）。Cloud SQLの概要を掴み、ぜひ学習に役立ててください。 初めに Cloud SQLとはGoogle Cloud（旧GCP）内でMySQL、PostgreSQL、SQL Serverを運用できるマネージドサービスになります。 オンプレミスからの移行の選択肢としても多く採用され、機能も豊富なためRDBMS（リレーショナルデータベース管理システム）としては、まず最初に考える第一選択肢となります。 今回はその基本的な仕組みと機能について、解説していきます。 まず初めにRDBMSの簡単な解説をするので、Cloud SQLの構造から知りたい方は、左にある目次メニューからバックアップ機能を選択して、RDBMSとはを
『データ分析のためのSQL勉強会』資料公開｜高橋 光 | 著書『データ分析力を高める ビジネスパーソンのためのSQL入門』
この本では、無料で公開しているnoteの内容をさらに丁寧に分かりやすく、体系化させてアップデートした内容となっています。 noteの内容を立ち読みだと思ってもらい、より丁寧に学びたい場合は是非書籍を読んでもらえると嬉しいですmm これからSQLを学びたいと思っている方向けに作成したSQL勉強会の資料を公開します！(以下の方向けの勉強会資料です) SQLをこれから学びたい人 仕事でSQLを触り始めたけどイマイチよくわからない人 データ集計やデータ分析をエクセル使ってやってる人 資料こちらから最新の資料をダウンロードして下さい。 (※「Source code (zip)」からダウンロードして下さい) 資料の構成は以下の通りです。 docs PDF資料 演習問題など含めて全部で約200ページくらいあります data ハンズオン用テストデータ csvファイル3つ script ハンズオン用テストデ
SQLクエリを実行、クエリ結果を可視化できるウェブアプリ「SQLPad」を試してみた | DevelopersIO
こんにちは！DA(データアナリティクス)事業本部 サービスソリューション部の大高です。 SQLクエリをローカル環境でウェブアプリとして実行できるものが無いか少し探していたのですが、「SQLPad」というアプリケーションを見つけたので実際に試してみたいと思います。 SQLPadとは SQLクエリを実行、クエリ結果を可視化できるセルフホスティング型のウェブアプリケーションです。2022年1月現在では以下の15個のデータベースに対応しており、ODBCにも対応しているのでODBC接続を利用すれば、これ以外のデータベースにも接続可能なようです。 Postgres MySQL SQL Server ClickHouse Crate Vertica Trino Presto Pinot Drill SAP HANA Snowflake BigQuery SQLite TiDB 公式サイトでの解説は以下の
Pythonで利用できるSQLのリネージュ分析ツール「SQLLineage」を試してみた | DevelopersIO
こんにちは！DA(データアナリティクス)事業本部 サービスソリューション部の大高です。 データウェアハウスにおいて、データを「あるテーブル」から「あるテーブル」へSQLで投入するときに「データの流れを知りたい」というケースがあります。これは一般的に「データカタログ」と呼ばれる製品の中の機能として存在する「データリネージュ」と呼ばれるものになります。 この「データリネージュ」に関して、Pythonで利用できるSQLリネージュ分析ツールとして「SQLLineage」というツールを見つけたので、試してみたいと思います。 前提 今回利用する環境は以下のような環境です。 MacOS Python 3.9.7 pyenv と Poetry を導入済み 事前準備 まずは適当なフォルダを作成して、Pythonの仮想環境を作成します。 私はpoetryを利用しているので、以下のように作成していますが、適宜必
【新機能】Amazon Athenaでパラメータ変更できるSQLを実行可能になりました！ | DevelopersIO
Amazon Athenaで、SQLの再利用性・シンプル化・セキュリティの向上を強化するParameterized Queriesが新しく追加されました！ 本記事で、概要と使ってみた様子をご紹介していきます。 Parameterized Queriesとは？ Parameterized Queriesとは、よく使用されるSQLをパラメータのみ変更して実行できる新機能です。これによって、Athena上で実行されている日々のワークロードを単純化できる他、SQLインジェクションに対する保護としても有効します。 Parameterized Queriesの実行には、事前にPrepared Statements（準備ステートメント）を作成する必要があります。Prepared Statementsには、パラメータ用のプレースホルダーが含まれ、PREPARE、EXECUTE、DEALLOCATE PRE
社内SQL研修のために作った資料を公開します | 株式会社AI Shift
こんにちは、Development Teamの三宅です。 先日、社内（AI事業本部内）でSQL研修の講師を担当したので、今回はその内容について簡単に共有したいと思います。 はじめに 例年、AI事業本部では、新卒エンジニアの育成のためにソフトウェアエンジニア研修を行っております。今年はフルリモートでの実施となりました。研修期間は2週間ほどで、内容は前半が講義、後半が実践（チーム開発）でした。私が担当したのは、講義パートの一部であるSQL研修です。SQLやRDBにあまり慣れていない人でも、できるだけ体系的な学びが得られるようにすることを目標に、様々な資料をまとめて提供する方針で準備しました。結果的には、ハンズオン込みで4時間ほどのやや長い講義となりましたが、勉強になったという声も頂けたのでやって良かったと思っています。 研修資料 研修内容 SQL研修の内容は、基本的には大学のデータベース講義で
GitHub - lana-k/sqliteviz: Instant offline SQL-powered data visualisation in your browser
Sqliteviz is a single-page offline-first PWA for fully client-side visualisation of SQLite databases or CSV files. With sqliteviz you can: run SQL queries against a SQLite database and create Plotly charts and pivot tables based on the result sets import a CSV file into a SQLite database and visualize imported data export result set to CSV file manage inquiries and run them against different datab
SQLが重いときに見るお気軽チューニング方法
SQLのチューニング方法 昔Qiitaで書いたものをzennにうつして、若干の修正、追加をしてみました。 ORACLEでの経験を元に書いていますがコストベースのリレーショナルデータべースなら大体共通の考え方だと思うので他にも使えると思います。 SQLのチューニングといえば比較的容易に済むインデックスをとりあえず作成する。といった対応を取られがちですが、数万レコード程度でのデータ量ではあまり効き目がなく（自分の経験則）、どちらかといえば、結合順が大幅に狂ってたりすることが原因のことが多かったりします。よって本当にインデックスがないことが原因なのか？を熟考する必要があります。（例えばID以外のフラグとかコードに単項目indexを貼ってるのもみたことがあります。怖いけど実話） また、インデックスを作りすぎるとオプティマイザが狂いやすくなって他のSQLにも悪影響を及ぼしたりするので結構熟慮して追加
SQL パイプライン開発に便利な Dataform 7つのお気に入りポイント - FLINTERS Engineer's Blog
こんにちは。河内です。 最近はデータ基盤の構築も取り組んでいたりします。 社内では他の DWH が使われている事例がありますが、今回の基盤ではデータソースとの親和性や価格面などを考慮し BigQuery で行くことにしました。 BigQuery 上で多くのデータを順次変換してデータを生成するために何らかのワークフローエンジンが必要でした。 社内の他のシステムではワークフローエンジンとして Digdag を採用している例が多いですが、このシステムでは Kubernetes 上でサービスを運用しているため、当初(2020年12月)は Argo Workflow 上でクエリを順次実行することを構想していました。構想中に Dataform が Google に買収され、無料で使えるようになったというニュースが飛び込んできたため、触って感触が良いことを確かめた後、Dataform を使っていくことに
[小ネタ]SQL – EXCEPTを利用した重複排除インサート | DevelopersIO
こんにちは！DA(データアナリティクス)事業本部 インテグレーション部の大高です。 SQLでテーブルへのデータINSERT時にデータ重複を除外する方法はいくつかあります。 その中で、集合演算子EXCEPTを利用した重複除外の方法を始めて知ったのでまとめたいと思います。 参考）集合演算子 — Snowflake Documentation さきに結論 結論から書くと、以下のようなクエリを利用すると「データ登録元テーブルsrc_tblに重複データがあった場合に、データ登録先テーブルdest_tblが空テーブルであってもデータ重複無しで登録できる」という話です。 -- EXCEPTを利用してデータ登録先テーブルへ登録 INSERT INTO dest_tbl SELECT id FROM src_tbl EXCEPT SELECT id FROM dest_tbl; 直感的なEXCEPTの利用方
![[小ネタ]SQL – EXCEPTを利用した重複排除インサート | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/27236b4079f04ffedf17631b7343b30199eadd39/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F03%2Ffutago-coodinate-eyecatch.png)
SQL Style Guide
A set of conventions and guidelines for writing SQL at GitLab SQL Style Guide This guide establishes our standards for SQL and are enforced by the SQLFluff linter and by code review. The target code changes that this stile guide apply to are those made using dbt. If you are not on the Data Team or you are developing SQL outside of dbt, keep in mind that the linting tools may be more difficult to a
「分析SQLスタイルガイド」をかなり真面目に考えた - Qiita
目次 なぜSQLのスタイルガイドが重要なのか この記事の目的 この記事の対象者 分析SQLスタイルガイドの指針 基本ルール 命名規則 インデントルール 別名ルール joinルール クエリ分割ルール ⭐ コメント欄で「いや私はこう思う！」という意見をたくさんいただきました！ぜひそちらも御覧ください！（決して揶揄ではないです） なぜSQLのスタイルガイドが重要なのか SQLはプログラミング未経験者でもとっつきやすい言語と言われ、エンジニアや分析を本業としていない人でもSQLを使う機会が増えてきていると思います。 そんなSQLですが、こちらのブログでも指摘されている通り、一般的なスタイルガイドが定まっていません。スタイルガイドとはコードの書き方マナーようなもので、どこで改行するか、空白はいくつ入れるか、大文字を使うかなどの諸々を指します。 もしスタイルガイドが無いとこんな事が起こります コードに
[レポート] SQL用リンター「SQLFluff」 #dbtcoalesce | DevelopersIO
大阪オフィスの玉井です。 12月7日〜11日の間、Fishtown Analytics社がcoalesceというオンラインイベントを開催していました（SQLを触っている方はピンとくるイベント名ではないでしょうか）。 「Fishtown Analytics社って何やってる会社？」という感じですが、dbtというツールを開発しているベンダーです。dbtについては、下記をご覧ください。 今回は、その中からPresenting: SQLFluffセッションを受講したので、レポートを記します。 イベント概要 公式 Coalesce 2020 online - December 7-11, 2020 Presenting: SQLFluff - Coalesce 2020 online - December 7-11, 2020 登壇者 Alan Cruickshank, Head of Data wi
![[レポート] SQL用リンター「SQLFluff」 #dbtcoalesce | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/85281d1589a19c5d28bff75bb55314b9cd7de5f4/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F12%2FCoalesce_2020_online_-_December_7-11__2020.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Working with NULL Values in SQL | DatabaseJournal.com
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
非エンジニアのSQL学習ことはじめ 〜1日1時間・3か月でSQLがそこそこできるようになる勉強方法とおすすめ書籍〜
Reimagining the SQL Curriculum: Why and how we need to change how SQL is taught