Demystifying JOIN Algorithms
Joins are an important class of operations in databases and data pipelines. There are many kinds of joins in SQL databases, but this post will focus only on the INNER JOIN. 1 It is possible to make the JOIN between two large tables very efficient if the result is going to be small. That being a common scenario in practice, makes JOINs an interesting topic of research. A naive JOIN algorithm can be
SQLCheck - 危ないSQLがないかチェックしよう
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました システム開発時においてデータベースは欠かせない存在です。しかしその際に利用するSQLはテクニックによってはもの凄いデータが取れる一方、誤ったコーディングによってデータを消失したり抜き取られるリスクがあります。 そこで使ってみたいのがSQLCheckです。問題、リスクあるSQLをあらかじめチェックしましょう。 SQLCheckの使い方 SQLCheckの実行結果です。SQLファイルを渡すだけです。 $ sqlcheck -f /path/to/tmp-publisher.sql ------------------------------------------------- > RISK LEVEL :: ALL ANTI-PATTERNS > SQL FILE NAME :: /
Amazon AthenaでELBのログを調査するときに使ったSQL | DevelopersIO
はじめに 今まではログの調査の際にはS3にあるELBのログをローカルに落としてgrepしたりしてましが、 Athenaを使ってログを解析してみましたので今回は調査のときに使ったSQLをご紹介します。 ご紹介するSQLを使えばあとは少し変えるだけでいろいろな調査が可能かと思います。 Athenaデータベース、テーブルの準備 Athenaを使用する際の手順は以下ブログを参考にしてください。 Amazon AthenaでELBログをSQLで解析する #reinvent 調査に使用したSQL ELB毎のリクエスト数を調べる SELECT elb_name, count(*) AS request_count FROM elb_logs GROUP BY elb_name ORDER BY request_count DESC; 特定の時間内でのリクエスト数を調べる SELECT elb_name,
uroboroSQLの紹介 (OSC2017 Tokyo/Spring)
This document compares query builders and Eloquent ORM in Laravel for database operations. Query builders allow building queries with PHP methods chained together and protect against SQL injections. They require understanding SQL and can result in unintended database actions if relations are not correctly understood. Eloquent ORM maps models to database tables, treating records as objects. It allo
Sessionization in SQL, Hive, Pig and Python — Dataiku Academy 7.0 documentation
Why sessionization?¶ Sessionization is the act of turning event-based data into sessions, the ordered list of a user’s actions in completing a task. It is widely used in several domains, such as: Web analytics. This is the most common use, where a session is composed of a user’s actions during one particular visit to the website. You can think of this as a buying session on a e-business website fo
MySQLのGROUP_CONCATがアツい - Qiita
http://qiita.com/advent-calendar/2015/gaiax 初めまして、GaiaxAdventCalender 4日目担当の技術開発部の金田と申します。 既に熱い記事ばかりなので後続の人たちのハードルを下げる為に小ネタで行きたいと思います。 GROUP_CONCATという関数がMySQLにあるんですがそれがアツいのでみんなに教えたいという記事です。 1対多の関係のとき 普通にテーブル設計してると1対多の関係(has many)になるリレーションシップをテーブル間で張ることが多いですよね。 まぁこんな感じで。 ざっくりと記事に対して複数のタグが設定できるような作りを想定してみます。 Entryから出た線がTagは複数に枝分かれしているのがhas manyの関係です。 で、こんなデータが入ってます。 取得するとき 記事と、それに付随したタグの一覧を取得したいときは当
The best way to log SQL statements with JDBC, JPA or Hibernate - Vlad Mihalcea
The best way to log SQL statements with JDBC, JPA or Hibernate Imagine having a tool that can automatically detect JPA and Hibernate performance issues. Wouldn’t that be just awesome? Well, Hypersistence Optimizer is that tool! And it works with Spring Boot, Spring Framework, Jakarta EE, Java EE, Quarkus, or Play Framework. So, enjoy spending your time on the things you love rather than fixing per
Common SQL clauses and their equivalents in Streams
Functional programming allows for quasi-declarative programming in a general purpose language. By using powerful fluent APIs like Java 8’s Stream API, or jOOλ’s sequential Stream extension Seq or more sophisticated libraries like vavr or functionaljava, we can express data transformation algorithms in an extremely concise way. Compare Mario Fusco’s imperative and functional version of the same alg
Discover Scaling Analytics at Amplitude | Amplitude | Amplitude
Scaling Analytics at AmplitudeLaying the foundation with pre-aggregation and lambda architecture. Update: In May 2016 we updated our analytics architecture to NOVA. Read the article here.Three weeks ago, we announced that we are giving away a compelling list of analytics features for free for up to 10 million events per month. That’s an order of magnitude more data than any comparable service, and
SQLを実行する時、SQLに実行場所を追記する - パルカワ2
ISUCONのPerlアプリでよく使用されているDBIx::Sunnyですが、便利な機能として、SQLがどこで実行されたかを実行されるSQLにコメントする機能があります。 こういう感じでスローログに表示されるので、どこでSQLが発行されているか探す必要がなくて便利です。 SELECT * FROM users /* lib/MyApp/Web.pm line 56 */ アプリケーションログではなく、SQL自体にコメントで入っている事が重要で、SQLを改善したい時に見るのは、アプリケーションログではなくスローログを見ます。スローログを見た時点で、どこで発行されたSQLなのかはっきりしていると無駄にそのSQLがどこで発行されたのか、探す必要がなくなり、実際に集中すべきSQLの改善に集中出来ます。というのを、Railsでもやりたかったので、ActiveRecordで作ってみました。github
RDB - 実例で学ぶ、JOIN (NLJ) が遅くなる理屈と対処法 - Qiita
"Nested Loop Joinしか取り上げて無いのにタイトルが大きすぎないか" と指摘を頂いたので、タイトルを修正しました。Merge JoinとHash Joinのことはまた今度書こうと思います。 「JOINは遅い」とよく言われます。特にRDBを使い始めて間がない内にそういう言説に触れた結果「JOIN=悪」という認識で固定化されてしまっている人も多いように感じています。 たしかに、JOINを含むようなSELECT文は、含まないものに比べて重たくなる傾向があることは事実です。また、本質的に問い合わせたい内容が複雑で、対処することが難しいものも存在します。しかし、RDBの中で一体どういうことが起きているのかを知り、それに基いて対処すれば高速化できることも少なくないと考えています。 本稿では、JOINの内部動作を解説した上で、Webサービスを作っているとよく出てくるJOIN SQLを例題に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EverSQL | Your Database, Just Faster
GitHub - Puchaczov/Musoq: Use SQL on various data sources
GitHub - jarulraj/sqlcheck: Automatically identify anti-patterns in SQL queries
ゼロから始めるSparkSQL徹底活用！
GitHub - Borisvl/bigbash: A converter that generates a bash one-liner from an SQL Select query (no DB necessary)
GitHub - arnaudroger/SimpleFlatMapper: Fast and Easy mapping from database and csv to POJO. A java micro ORM, lightweight alternative to iBatis and Hibernate. Fast Csv Parser and Csv Mapper
Inside Yellow Pages' SQL-on-Hadoop Journey
SQL+GPU+SSD=∞ (Japanese)
#jpoug ハイパフォーマンスを実現する設計方法とSQLチューニング実践講座@JPOUG> SET EVENTS 20151017のまとめレポ - もぐめぽろぐ
