GitHub - PRQL/prql: PRQL is a modern language for transforming data — a simple, powerful, pipelined SQL replacementYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
『データ分析のためのSQL勉強会』資料公開｜高橋 光 | 著書『データ分析力を高める ビジネスパーソンのためのSQL入門』
この本では、無料で公開しているnoteの内容をさらに丁寧に分かりやすく、体系化させてアップデートした内容となっています。 noteの内容を立ち読みだと思ってもらい、より丁寧に学びたい場合は是非書籍を読んでもらえると嬉しいですmm これからSQLを学びたいと思っている方向けに作成したSQL勉強会の資料を公開します！(以下の方向けの勉強会資料です) SQLをこれから学びたい人 仕事でSQLを触り始めたけどイマイチよくわからない人 データ集計やデータ分析をエクセル使ってやってる人 資料こちらから最新の資料をダウンロードして下さい。 (※「Source code (zip)」からダウンロードして下さい) 資料の構成は以下の通りです。 docs PDF資料 演習問題など含めて全部で約200ページくらいあります data ハンズオン用テストデータ csvファイル3つ script ハンズオン用テストデ
BigQueryでPreviewになったPIVOTとUNPIVOTを試す | DevelopersIO
データアナリティクス事業本部、池田です。 2021/05/10のリリースでBigQueryでPIVOTとUNPIVOTがPreview（執筆時点）となりましたので、 動かしてみました。 【 Release notes 】 以前のブログ ではSQLでPIVOTできなかったので、pandasを使っていました。 （2021/07/20追記） 07/19のリリース で generally available（GA） になりました。 掲載のSQLはそのままで動くことを確認済みです。 PIVOT PIVOTを使ってみます。 【 PIVOT operator 】 ※執筆時点ではドキュメントは英語のみ 対象は BigQuery の一般公開データセット から出生データの natality サンプルテーブルです。 まずは普通に年・月・性別でGROUP BYして、新生児の平均体重を見てみます。 （今回はPIVO
BigQueryでTIMESTAMPを５分単位で丸める - Qiita
timestampを5分単位に丸める 例 2018-04-07 03:17:42 → 2018-04-07 03:15:00 SQL SELECT my_timestamp AS org_timestamp, TIMESTAMP_TRUNC(TIMESTAMP_SUB(my_timestamp, INTERVAL MOD(EXTRACT(MINUTE from my_timestamp), 5) MINUTE) ,MINUTE) AS rounded_timestamp FROM `table` MOD(EXTRACT(MINUTE from my_timestamp), 5) → 分を抜き取り、5で割った数 TIMESTAMP_SUB(my_timestamp, INTERVAL N MINUTE) → ${N}分前。つまりこれで「5分で割ったあまりの数」分前のTIMESTAMPになる
Advanced SQL Templates In Python with JinjaSql
In A Simple Approach To Templated SQL Queries In Python, I introduced the basics of SQL templates in Python using JinjaSql. This post further demonstrates the power of Jinja2 within JinjaSql templates using presets, loops, and custom functions. Let’s consider an everyday use case when we have a table with some dimensions and some numerical values, and we want to find some metrics for a given dimen
DjangoのORMを使わないでクエリを実行する方法 - utamaro’s blog
ORM（object relational mapper）を使うべきか、使わざるべきかの議論を時々目にします。 Author.objects.all()←こういうやつです。 今回は、DjangoでORMを使わずにクエリを書いてDBからデータを取得する方法を紹介します。 クエリの生成にはjinjasqlというpythonのライブラリを使用します。 ライブラリは↓のようにインストールが可能です。 pip install jinjasql jinjasqlはjinja2というテンプレートエンジンを基にしているので、柔軟にクエリを書くことができます。 github.com 紹介 まずはModelについてです。 class Data(models.Model): title = models.TextField(max_length=400) is_deleted = models.BooleanF
Splitting array/string into rows in Amazon Redshift or MySQL
We've worked with a lot of customers who writes SQL on a regular basis. And from time to time they come to us with SQL question - that we thought would be interesting to share with others! Today, one of our customers came to us with a question - They were having problems unnesting a string/array into rows in Amazon Redshift. Question - Splitting comma-delimited string into rows in Redshift Suppose
SQL と Pandas の対応表 - Qiita
トピック SQL のクエリと、Pandas のメソッドの対応表を作成する。 SQL 勉強中のため、備忘録代わりに箇条書き（殴り書き）で書いていく。 Udemy のこちらのコースで勉強していました。 DBやテーブル自体の更新・操作に関するものはこちらにまとめている。（SQL のクエリだけを書き散らかしているだけ） 順序 記述順序 select from join系(+on) where group by having order by limit 実行順序(※) from join系(+on) where group by select having order by limit (※)追記 @nora1962jp さんからご指摘をいただきましたので、コメント内容を追記します。 実行順序 from join系(+on) where SQLについてなら実行順序はonとwhereの順序はonが先
Redshiftで任意個数の文字列を扱う - 青木ブログ
最終的には縦持ちにしちゃえばどんなRDBでも扱えるんだけど、 某MySQLとか某Hadoopとかだと配列で持ってるじゃないですか。 ああいうのをどうやってとりこむか1年くらい考えてたんだけど ついに決定版を思いついた。 扱える個数の上限はあるんだけど、現実的にはほぼ上限を考えなくて済むと思う。 1. 文字列配列をJSONとしてRedshiftに取り込む => select * from slog order by 1; id | words ----+--------------- 1 | ["a","b","c"] 2 | ["xxx","yyy"] 2. 連番 1 カラムだけのテーブルを用意する この連番テーブルのサイズが扱える個数の上限になってしまうので注意 => select * from sseq order by 1; x --- 1 2 3 4 5 3. ジョインする 不等号
Learn GraphQL Fundamentals with Fullstack Tutorial
GraphQL is a new API standard that provides a more efficient, powerful and flexible alternative to REST. It was developed and open-sourced by Facebook and is now maintained by a large community of companies and individuals from all over the world. APIs have become ubiquitous components of software infrastructures. In short, an API defines how a client can load data from a server. At its core, Grap
マーケターもクエリ言語をやりましょう！2017初夏 「ビッグデータ分析・活用のためのSQLレシピ」 - マーケティングメトリックス研究所/MARKETING METRICS Lab. – コミュニケーションの最適化を考える。マーケティングメトリックス研究所
今回は以下の本の紹介をいたします。 加嵜 長門 田宮 直人 丸山 弘詩 マイナビ出版 2017-03-27 「ビッグデータ分析・活用のための」と描かれている通り、文中は大規模データを想定したSQL文が並びます。このビッグデータな時代、色んなSQL本が出版されていますが、ここまで実用的で、かつサンプル例が揃った本に初めて出会いました。 著者はDMM.comラボに勤められているエンジニアの方だそうですが、この書籍の元ネタは現場で実際に使っているSQL文か著者の個人的なメモなのではないでしょうか。それくらい「痒い所に手が届く」「困った時に知っておきたい」サンプル例ばかりです。 今回は、この本で着目すべき3つの注目点を簡単に纏めてみました。 その1：非エンジニア向けの易しい解説書スタンス そもそもビッグデータと一口に申しても、データを管理しているエンジニア、データを分析するデータサイエンティスト、
複数のデータソース(Redshiftや主要RDBMS等)及びOS(Mac/Windows/Linux)対応の無償SQLクライアントツール『DBeaver』 | DevelopersIO
当ブログでは、これまでに『Amazon Redshiftに対応している事・繋がる事』を1つの評価軸として幾つかのツールを紹介して来ましたが、その一覧に新たに加えても良さそうなツールの情報を先程目にしましたので、当エントリでその内容についてご紹介してみたいと思います。それがこちらの『DBeaver』です。 DBeaver | Free Universal SQL Client これまで紹介してきたDB関連ツール 参考までに、これまでに紹介して来たDB関連ツールの一覧を以下に纏めます。 Intellij IDEA(Ultimate Edition) Amazon RedshiftのMac OS X向けGUIツールとして『Intellij IDEA Ultimate Edition』のDatabase Toolsを使う ｜ Developers.IO 0xDBE → DataGrip Mac/W
『ビッグデータ分析・活用のためのSQLレシピ』はデータ分析でSQLクエリを叩く人なら必読の黒魔術大全 - 渋谷駅前で働くデータサイエンティストのブログ
こちらの本をご恵贈いただきました。 ビッグデータ分析・活用のためのSQLレシピ 作者: 加嵜長門,田宮直人出版社/メーカー: マイナビ出版発売日: 2017/03/27メディア: Kindle版この商品を含むブログを見る 一般的なSQLの本というのはDB管理の一環としてのインフラエンジニア向けの技術書であることが多く、意外にもデータ分析を主目的としたSQLの使い方やクエリの工夫の仕方について書かれた本というのはあまり多くないんですよね。故に、多くのデータ分析者は難解なテーマを実現するクエリを書きたくても参考になる資料が乏しく、途方に暮れるわけです。僕もHive / Redshift / BigQueryのクエリを書きながら「こんな分析がしたいんだけど、それを実現できるクエリってないよなぁ。。。」と何度天を仰いだことか。 そんなところに突然降って湧いてきたのがこちらの新刊書。もう目次を見ただ
Apache Drill 1.0がリリースされたのでAmazon S3と連携してみた | DevelopersIO
はじめに Apache Drill 1.0がリリースされました！ Drill 1.0 Released Apache Drillは、NoSQL向けのSQLクエリエンジンで、ファイルシステム上のJSON/CSV/Parquetなどのファイル、Hiveソース、HBase、MongoDBなどに直接SQLクエリを投げることが出来ます。 何はともあれ、触ってみないとどんなモノなのかわかりません。早速試してみました！ やってみた 試した環境はEC2(on Amazon Linux 2015.03)です。 セットアップ Drillの動作にはJDK 7が必要になりますので、インストールされていることを確認します。 $ java -version java version "1.7.0_79" OpenJDK Runtime Environment (amzn-2.5.5.1.59.amzn1-x86_64
CSV形式のデータをSQLを使って解析する - Qiita
q を利用すると、CSVやTSV形式のファイルに対して直接SQLを発行できます。 インストール手順 http://harelba.github.io/q/ qを使ったデータ解析の例 以下の様な受注データのCSV (ファイル名はorders.csv) が手元にあった時。 OrderId,OrderDate,ProductID,UserID,Quantity,TotalPrice 10000005,2015/2/13,100,10000,1,10000 10000006,2015/2/13,101,10001,2,2000 10000007,2015/2/13,102,10002,3,6000 10000008,2015/2/13,100,10003,1,10000 10000009,2015/2/13,101,10004,2,2000 10000010,2015/2/14,100,10005
Oracle SQL（データの更新 :UPDATE文の基礎、クエリー結果やEXISTS句を用いた更新処理）
UPDATE文の構文 UPDATE <表名> SET <列名1> = <値の式1> [,<列名2> = <値の式2> ] [,<列名3> = <値の式3> ] ... [ WHERE <検索条件> ] UPDATE文では、WHERE句の検索条件に合致する行に対して、指定された列に指定された値を 設定します。WHERE句は必ずしも必要ではなく、その場合には指定された表の全ての行が更新 対象となります。 簡単なUPDATEの実行の例を示します。 SQL> SELECT * FROM TT_売上明細 WHERE 売上番号 = 6; 売上番号 明細番号 商品コード 売上数量 備考 ---------- ---------- ---------- ---------- ---------------------------------------- 6 1 8 1 6 2 9 1 6 3 10 1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://dev.classmethod.jp/articles/bigquery-create-table-by-ddl/
GitHub - kayak/pypika: PyPika is a python SQL query builder that exposes the full richness of the SQL language using a syntax that reflects the resulting query. PyPika excels at all sorts of SQL queries but is especially useful for data analysis.
Introducing JinjaSQL — Generate SQL Using Jinja Templates
SQLでパラメーターを使う方法