PostgreSQL: 「OR」を避けてパフォーマンスを向上させよう（翻訳）｜TechRacho by BPS株式会社
概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: avoid OR for better PostgreSQL query performance - Cybertec 原文公開日: 2018/05/07 著者: Laurenz Albe サイト: CYBERTEC -- データサイエンス分野でのPostgreSQLサポートやコンサルティングを行っている企業です ※挿絵は原著者自らによるものです。 生きるべきか『OR』死すべきか、それが問題だ」 「帰れ！」「非効率！」「同義反復！」 © Laurenz Albe 2018PostgreSQLクエリのチューニングは私たちCybertecの日常的な業務ですが、チューニング中にクエリにORを1つでも見つけた瞬間、恐ろしさに身の毛もよだつ思いがします。たいていの場合、ORはクエリのパフォーマンス低下の原因となるからです。 言うまでもないこ
レコードが存在するかの条件判定 EXISTS 演算子の利用 (SQLの構文)
上記のテーブルが存在した場合 select * from products where exists (select null) のSQLを実行した場合、全ての行を返す結果となります。 "select null"はNULLの行を1つ返しますので、行は存在するため、existsは trueと判定されます。 すべての行で同じ結果(NULL)が返りますので、"select * from products"と同等のSQLとなり、全ての行が結果で返されます。 なお、以下のSQL文でもexists節内のselectで値が返るため、全行が結果で返されます。 select * from productsB where exists (select 1) select * from productsB where exists (select '') 結果 idmodelnamecategoryprice
Athenaでパーティション数が増えた時のパフォーマンスを計測してみた。 - Qiita
はじめに 弊社では、ビッグデータ分析のためにAWSのクエリサービスAmazon Athenaをよく利用しています。 簡単に使い始めることができて、本当に便利なサービスです。 SQL on Hadoopでは、パーティション数が多くなりすぎるとクエリ実行時間が長くなるので、 「パーティションの数は多くとも1万個くらいに抑えましょう」という定石があります1。 一方、Athenaではクエリ実行時に、スキャンしたデータ量に応じて $5/1TB 課金されます。パーティションを細分化しておけば、スキャンするデータ量が削減できます。 結局のところ、パーティションをどれくらい細分化すれば良いかは、定石だけではわかりません。 さて、我々のシステムでは、次々と送られてくる発生するログをS3に配置し、EMRで日次ETL処理した結果をAthenaで分析・集計します。 クエリ対象期間は1週間固定であるにもかかわらず、
MySQLで文字列の文字数をカウントする – 塩焼きブログ
CHAR_LENGTHを使えば文字数を数えることができる mysql> SELECT CHAR_LENGTH('ほげです'); +-----------------------------+ | CHAR_LENGTH('ほげです') | +-----------------------------+ | 4 | +-----------------------------+ 1 row in set (0.00 sec) 任意の文字数以上のレコードに処理を行う 期間毎に投稿されたツイートの文字数合計値を取る 任意の文字数以下のレコードを削除する などができる
【MySQL】ランダムにレコードを取り出す方法のひとつ at softelメモ
問題 MySQLで、ランダムに行を取り出したい。 order by rand() でいいの？ 答え よくあるのがこんな方法。 select * from t order by rand() limit 10; レコード数が少ない場合は問題ない。 レコード数が何万行とある場合は大問題。order by句にrand()を使うと、全レコード数分のrand()を算出して、全レコードでソートをかける。ものすごく大変そうなのは容易に想像できる。 そこでwhere句にrand()を使う方法。 10万レコードから100件欲しいときは、100/100000 = 0.001なので、こうすると理論上100件取れる。 select * from t where rand() <= 0.001; 理屈はそうだけど、実際はちょっと余裕を持たせて、こうするとよい。 select * from t where rand(
漢(オトコ)のコンピュータ道: InnoDBでCOUNT()を扱う際の注意事項あれこれ。
InnoDBを使うとき、MyISAMと比較して度々やり玉に挙げられるポイントとして「COUNT()が遅い」というものがある。確かにInnoDBにおいて行数を弾き出すのにはテーブルスキャンが必要なのだが、そもそもMyISAMのCOUNT()が速い（テーブルの行数を保持してる）のが特殊なのであって、InnoDBが遅いわけではないのである。とはいえ、高速なCOUNT()については需要が多く、この問題には多くの人取り組んでおられるようだ。しかしながら、COUNT()のチューニングについては未だ語られていない点があるように見受けられるので、今日はCOUNT()のチューニングについて解説しようと思う。 COUNT(*)、COUNT(col)、COUNT(1)の違い基本的なことではあるが、COUNT(*)とCOUNT(col)では意味が異なるため、異なる結果が返される場合がある。COUNT(*)はフェッ
MySQLで大文字小文字を区別させる
MySQLでは文字列の検索時に大文字小文字を区別しないWHERE句で条件を指定する時に、ユーザーの名前など文字列で検索する場合が多々ある。 Oracleでは気にしたことはなかったのだが、MySQLではデフォルトの状態では大文字小文字の区別をしない。 mysql> SELECT * FROM testtable; +------+------+ | no | name | +------+------+ | 1 | test | | 2 | TEST | | 3 | abc | | 4 | ABC | | 5 | tEsT | | 6 | tEst | | 7 | Test | +------+------+ こんな感じのtableからnameが’test’のユーザーだけ引っ張りたい場合は SELECT * FROM testtable WHERE name = 'test';といったクエリ
Querying nested and repeated fields in legacy SQL | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Querying nested and repeated fields in legacy SQL This document details how to query nested and repeated data in legacy SQL query syntax. The preferred query syntax for BigQuery is GoogleSQL. For information on handling nested and repeated data in GoogleSQL, see the GoogleSQL migration guide. BigQu
PostgreSQL Tutorial
Welcome to the PostgreSQLTutorial.com website! This PostgreSQL tutorial helps you quickly understand PostgreSQL. You’ll master PostgreSQL very fast through many practical examples and apply this knowledge to the development of applications using PostgreSQL. If you are… Looking to learn PostgreSQL fast.Developing applications using PostgreSQL as the back-end database management system.Migrating fro
論理削除フラグという名の死亡フラグ - @ledsun blog
RDB - DELETE_FLAG を付ける前に確認したいこと。 - Qiita 論理削除が云々について - mike-neckのブログ Kazuho's Weblog: 論理削除はなぜ「筋が悪い」か 流行っているので乗っかります。 結論 「データ制約の強力さと集合としての表現力を捨てながら、Relational Databaseを使うのはなぜか？」 論理削除フラグのデメリット 大体三つあると考えています。 ユーザーの言葉でない データ制約の弱さ 集合として認識できない ユーザーの言葉でない 私の経験上は、ユーザーから「論理削除」という言葉を聞いたことがありません。 次のような要件は、聞いたことがあります 社員が退職（・転属）する （売掛金の回収を諦めて）売上を打ち消す 「お知らせメッセージ」を公開日がくるまで非表示にする 既読メッセージを表示しない 保存期間が過ぎたアンケート結果をオペレ
MacにMySQLをインストールして触ってみる | DevelopersIO
はじめに Mac使いがデータベースを構築する設定をまとめました。 手順 １、Homebrewのインストール Homebrew "Press RETURN to continue or any other key to abort" と表示されたらキーボードを押下。 パスワードを聞かれるので、Macのユーザーパスワードを入力します。 ２、MySQLのインストール 今回はMySQLをインストール。 $ brew install mysql MySQLを起動させます。 $ mysql.server start 必要に応じてセキュリティ設定を行います。 後から変更できるので、質問されたら"y"(YES)で進めて大丈夫です。 パスワードを聞かれたら好きな言葉を設定。 その後、再度入力を促されるので設定したパスワードを入力します。 $ mysql_secure_installation パスワードを変
開発者のためのSQLパフォーマンスの全て
前書き - インデックスの作成はなぜ開発者のタスクなのか インデックスの 内部構造 - インデックスは何に似ているか インデックス リーフノード - 二重連結リスト 検索 ツリー(Bツリー) - バランス木 遅いインデックス パートI - インデックスを遅くする2つの原因 where 句 - 検索のパフォーマンスを改善するためにインデックスを作成 等価 演算子 - 一致するキーの検索 プライマリキー - インデックスの使い方を確認 複合インデックス - 複数列に対するインデックス 遅いインデックス パートII - 前の問題点が再び 関数 - where句の 中での関数 大文字・小文字を区別する 検索 - UPPERと LOWER ユーザ定義 関数 - 関数インデックスの制限 インデックスの作り過ぎ - 冗長性の排除法 パラメータ化 クエリ - セキュリティとパフォーマンスのために 範囲 検
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Mysql】COUNTを条件指定で | altplus
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
リレーショナル・データベースの世界
サービス終了のお知らせ
O/Rマッパーによるトラブルを未然に防ぐ