S3にあるALBログの調査はAthenaよりDuckDBのほうが簡単 - road288の日記
AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成する - Amazon Athena 私も従来はその方法を使っていたが、Athenaはブラウザから使うと動作がもっさりしているし、決まったクエリを1回きり実行して結果を取得したいだけのときならまだしも、探索的にクエリを何発も実行したいときには使い勝手が悪い。 最近他のプロジェクトでDuckDBを使うようになって、使い勝手の良さに感動していたが、DuckDBはALBのログを探索的に調べたいときにもめっちゃ使えると思った
カーディナリティについてまとめてみた - Qiita
カーディナリティとは テーブルにカラムがあるとして、カラムに格納されているデータの種類がどのくらいあるのか(カラムの値の種類の絶対値)を、カーディナリティという。 具体例 カーディナリティが低い場合 例えば性別なら、男と女の二種類である。 カラムのデータの種類が、テーブルのレコード数に比べて二種類と少ない。このことを カーディナリティが低い という。 カーディナリティが高い場合 一方顧客番号ならたくさんの種類(番号)が存在することになる。 カラムのデータの種類が、テーブルのレコード数に比べて多い場合、 カーディナリティが高い という。 カーディナリティを踏まえたインデックスの張り方 基本的に、 カーディナリティの高い列に作成する 必要がある。 はじめに、カーディナリティは カラムの値の種類の絶対値と書いたが、先程の例で言うと性別のカーディナリティは2になる。他にも例えば１年間の日付なら1〜
【新人教育 資料】SQLへの道 〜DB編〜 - Qiita
では、今回もはじめていきましょう！ DB(データベース)とは 今回からはSQLへの道題して、DB周りを勉強しSQLを学びましょうという内容でお送りします。DB、DBって当たり前のように会話が出てくるようになるので、業務で会話についていけるように勉強していきましょう。 DB（DataBase:データベース）とは、データの集まりです。以下のようなアイコンで表現されたりします。 データファイルが整理整頓されて格納されていて、DBMS（データベース管理システム）によって管理されています。 DBとDBMSをまとめてデータベースシステムという。 DBMSで管理されるデータとしては、大きく分けて以下の3つで構成されています。 データ・ファイル ログ・ファイル コントロール・ファイル 難しい言葉がたくさん出てきますが、最終的にはデータの集まりだと認識してくれればいいと思います。 データベースは基本的に以下
Pronouncing SQL: S-Q-L or Sequel? | patorjk.com
I know, I know, tomato-tomahto, but I’ve had people tell me I say it wrong when said each way, which has left me rather confused, so I decided to do some research and figure out how SQL is actually pronounced. SQL is the language used for querying and managing data in a relational database system. Some people say S-Q-L and some people say “sequel”. This difference in pronunciation also effects the
q - Text as Data
q - Run SQL directly on CSV or TSV files¶ Overview¶ q's purpose is to bring SQL expressive power to the Linux command line by providing easy access to text as actual data, and allowing direct access to multi-file sqlite3 databases. q <flags> <sql-query> q allows the following: Performing SQL-like statements directly on tabular text data, auto-caching the data in order to accelerate additional quer
union allがデフォルト。unionは特殊な場合のみ使う - 極北データモデリング
重複行を削りたいならunionを使う。重複行を生かしたいならunion allを使う。 ここまではよいとして、どっちでもよい場合、例えば 重複行があり得ない場合 IN句のサブクエリなので重複行があってもなくても結果に影響しない場合 にどうするか。 以前はunionをデフォルトにして、重複行を生かしたいときだけunion allしていたが、今は逆に、union allをデフォルトにして重複行を削りたいときだけunionする、という方針にしている。理由はいくつかあるが、allを付けると Sort->Unique の処理が走らないのでパフォーマンス上有利になるはず、というのが大きい。 絶対に重複行が発生しないことが分かっているクエリでも、unionを使うとSort->Uniqueの処理が走ってしまうDBMSは多い。 例えばPostgreSQL： UNION bench=# explain ana
一般的なDBに慣れてきた人がBigQueryを扱う際にハマりやすいポイント（Legacy SQL編） – marketechlabo
一般的なSQLに慣れてきた人がBigQuery(Legacy SQL)を使う際によくハマるポイント、 特にGoogleアナリティクス360（旧Googleアナリティクスプレミアム）が出力するログデータを扱う場合に直面する問題を中心に解説する。 Googleアナリティクス360のログデータはBigQueryの特徴的なところを嫌というほど満載している。 ということで、これを扱えれば大概の問題には対応できるようになるだろう。 なおLegacy SQLに限定した話。Standard SQLは未検証。 言語個別の仕様 ネストされたデータ形式 BigQueryでは各レコードの1個のカラムに複数の値、つまり複数行に相当するデータを入れることができる仕様になっているのが大きな特徴である。 1つのセルにスカラ値ではなくテーブルが入るイメージ。 データに親子関係があって一般的なリレーショナルデータベースでは子
rainbow_csv/README.md at master · mechatroner/rainbow_csv
Main features: Highlight CSV columns in different rainbow colors. Provide info about column under the cursor Provide SELECT and UPDATE queries in RBQL: SQL-like transprogramming query language. Consistency check for csv files (CSVLint) Align and Shrink CSV fields (add/remove trailing spaces in fields) Cell-level cursor navigation There are 4 ways to enable csv columns highlighting: CSV autodetecti
Blazer - SQLを使ってデータベースから有益な情報を引き出そう MOONGIFT
ビジネスの根幹にはデータベースがあります。日々の業務を通じて蓄積されていくデータをいかに検索し、有益なデータを抽出するかがビジネスの成否を決めると言っても過言ではないでしょう。 そのために必要なのがSQLを自由に実行できる環境です。今回はBlazerを紹介します。 Blazerの使い方 最初の画面です。データが一覧表示されています。 インクリメンタルサーチに対応しています。 任意のSQLを実行できる環境も用意されています。 SQLを実行し、そのまま保存もできます。 位置情報がある場合は地図にマッピングされます。 テーブルの構造も確認できます。 Blazerを使えば任意のSQLを実行して、それを保存しておけます。同じ条件であれば一度開発者が組み立てておくことでマーケターや営業の方はセルフサポートできるようになるでしょう。データベースをビジネスに活用するためには必須のソフトウェアです。 Bla
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluent
SQLpipe | Data engineering tools and services
Amazon.co.jp: プロとしてのSQLチューニング入門: 福田武志: 本
Amazon.co.jp: プログラマのためのSQL 第4版: すべてを知り尽くしたいあなたに: ジョーセルコ: 本
)
Cardinality (SQL statements) - Wikipedia
Information schema - Wikipedia
GitHub - harelba/q: q - Run SQL directly on delimited files and multi-file sqlite databases
MySQLで集合差を出す - Qiita
https://kloud.io/
Progate SQL day #1 (2018/01/08 13:00〜)
GitHub - mechatroner/rainbow_csv: 🌈Rainbow CSV - Vim plugin: Highlight columns in CSV and TSV files and run queries in SQL-like language