分析SQLのコーディングスタイル - クックパッド開発者ブログ
SQL、書いてますか？ こと大規模データ処理の分野においてはSQLはもはや標準インターフェイスであり、 分析やらバッチやらに関わっている皆様は日々大量のSQLクエリーを生産していることと思います。 そこでちょっと気になるのが、 SQLのコーディングスタイルってどうするのが一般的なんだっけ……？ という点です。 イマドキはSQLなんてO/R mapperに吐かせることが多いからなのか、 それともコードを広い範囲で共有することがそもそもないからか、 SQLのコーディングスタイルについて見聞きすることは他のプログラミング言語に比べるとだいぶ少なく、 いまいち決定版と言えるスタイルがないなと感じています。 そんなわけで本日は、SQLのコーディングスタイルについての意識を活発化させるべく、 クックパッドでわたし（青木）が使っているコーディングスタイルから特徴的な点を紹介したいと思います。 特に、分析
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
ORDER BYで、単純な昇順降順「以外」で並べる！ - なからなLife
いやー、知らないって怖いね。 なんだこのキモいSQLは、って思ってしまったけど、調べているウチに、これちゃんとSQL構文に則ってる！こちらが間違ってた！って事がわかっていきました。 あえて、知らなかった所から勢いで書いていたのを、そのままにしてみました。 キモいSQLコードを偶然見つけた SQLにおけるORDER BYって、その後にカラム（およびそのエイリアス）を並べてソート順として使用するわけですが、MySQL案件のお仕事の中で偶然こんなものを見つけて、絵に描いたような二度見リアクションしました。 SELECT * FROM tbl ORDER BY id = 23; -- (1) SELECT * FROM tbl ORDER BY FIELD( id, 23, 234, 543, 23 ); -- (2)こうした、「ORDER BYに、あたかもWHERE句で絞り込む条件指定のような使
クエリチューニング: GROUP BY から LATERAL への書き換え - Qiita
「ユニークキーの GROUP BY」 を 「LATERAL」 に書き換えることで、クエリを性能改善できる可能性があります。 ここでは、非常にシンプルな書き換えの例を示します。 テーブルの準備 まずは、以下のような「部署」、「書籍」、「部署ごとの書籍在庫数」を管理する3つのテーブルを準備します。 なお、「書籍」テーブルは、データベースの状況をイメージしやすいように用意しているだけで、以降のクエリ書き換えでは特に使いません。 -- 部署のIDと名前を管理するテーブル department を作成 CREATE TABLE department (dept_id INTEGER PRIMARY KEY, name TEXT); -- 部署の情報を5件登録 COPY department (dept_id, name) FROM stdin; 1 総務部 2 開発部 3 財務部 4 企画部 5 購
SQL: ナイーブツリーと経路列挙モデル - CUBE SUGAR CONTAINER
今回のエントリは以前かいた SQL のアンチパターン「ナイーブツリー」に関する記事の続き。 blog.amedama.jp 再帰クエリをサポートしていない RDBMS で再帰的な構造を表現するための解決策のひとつ経路列挙モデルを扱う。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.11.4 BuildVersion: 15E65 $ mysql --version mysql Ver 14.14 Distrib 5.7.12, for osx10.11 (x86_64) using EditLine wrapper 下準備 まずは下準備として MySQL にデータベースを作るところまで。 今回使ったのは Mac OS X なので MySQL は Homebrew でインストールする。 $ brew instal
10 SQL Tricks That You Didn’t Think Were Possible
Java, SQL and jOOQ. Best Practices and Lessons Learned from Writing Awesome Java and SQL Code. Get some hands-on insight on what's behind developing jOOQ. Listicles like these do work – not only do they attract attention, if the content is also valuable (and in this case it is, trust me), the article format can be extremely entertaining. This article will bring you 10 SQL tricks that many of you m
Wikipediaデータをxml2sqlを利用しMySQLにぶっこむ - Miningoo
2014-10-30 Wikipediaデータをxml2sqlを利用しMySQLにぶっこむ Wikipedia NLP Wikipediaコーパスってどう入手するの？ Wikipediaのコンテンツデータは、 http://dumps.wikimedia.org/にて公開されています。 （詳しくは、Wikipedia:データベースダウンロード - Wikipediaを参照してください）上記サイトは、英語版のWikipediaデータで、日本語版はhttp://dumps.wikimedia.org/jawiki/においてあります。Wikipediaではクローラを禁止している代わりに、全データがXML形式で公開されています。Wikipediaサイトで入手できるデータはXML形式なため、扱いしやすくするためMySQLに突っ込もうとしたのですが、つまづいたためそのときの備忘録です。 Wikip
巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 - クックパッド開発者ブログ
トレンド調査ラボの青木峰郎（id:mineroaoki）です。 好きなRubyのメソッドは10年前からString#slice(re, nth)ですが、 最近はRubyよりCoffeeScriptとSQLのほうが書く量が多くて悩んでいます。 今日はわたしが開発している「たべみる」の背後で働いている 巨大バッチの構成について話したいと思います。 たべみるのバッチは約3000行のSQLで構成されており、 処理時間が1日で4時間程度かかる、そこそこの規模のプログラムです。 このバッチ処理プログラムをBricolage（ブリコラージュ）というフレームワークで構造化する手法について説明します。 「たべみる」とは まず最初に、「たべみる」がどういうものなのかごく簡単にお話ししておきましょう。 「たべみる」は企業のみに提供しているB2Bの分析サービスで、 クックパッドのレシピ検索の分析をすることができま
SQL実践入門──高速でわかりやすいクエリの書き方 - kagamihogeの日記
俺は実務経験をある程度こなしたあと、RDBの知識不足を認識したクチである。改めてRDBを勉強し始めて困ったことの一つは、実行計画の読み方がよくわからないことだった。もちろん、ぐぐればNESTED LOOP JOINが何かとかは出てくるし、公式のマニュアルも参考になる。ただ、webの文献は体系だって解説があるとは限らないし、個人のブログなどは粒度がバラバラで、まとまった量の知識を得るには向いていない。マニュアルも膨大な量があるので慣れていないと目的の文書が書いてあるかどうかすら分からないし、あったとしても必要なレベルの解説があるかどうは分からない。 そこで本書の出番である。既存の書籍にもSQLとパフォーマンスを論じたものはあるにはあるのだが、それに特化した本の存在は、少なくとも俺は知らない。一冊だけ、データベースパフォーマンスアップの教科書 基本原理編 - kagamihogeの日記という極
データ調査を効率化！SQLとシェルを使って、データを自由に操作する方法 | ランサーズ（Lancers）エンジニアブログ
はじめまして。 4月からランサーズのエンジニアチームにジョインしました大平です。 好きな言語はPerl, ShellScript, JavaScriptです。 プロンプトはbashですが、個人的なShellScriptはzshです。 データ調査をしている時に、あと少しで欲しいデータが取れそうだけど、取れない。。。 そんなもどかしい経験ありませんか。そういった時どんな解決手段をとっていますか？ 複雑なSQLを書いてがんばる サービスで使っているプログラミング言語を介して SQLとExcelの合わせ技でがんばる 手作業（気合い）でがんばる 色々なアプローチがあると思いますが、今回はそういった時に役立つかも知れないオススメな方法をご紹介したいと思います！ mysqlコマンドさえ使えれば標準的なUNIXコマンドを組み合わせるだけでも強力なツールとなります。 MySQLにログインせずにSQLを発行す
「うらがみが Java まわりの ORM を知りたい会」 に参加してきた - ひだまりソケットは壊れない
うらがみがJavaまわりのORMを知りたい会 - connpass Java の O/R マッパーまわりの話を知りたかったので、6/14 に行われた勉強会 「うらがみが Java まわりの ORM を知りたい会」 に参加してきました。 会場は和室でした。 Java まわりの O/R マッパー、あんまり詳しくないのでいろいろ知れて良かったです。 メモを残しておきます。 発表内容 Java の ORM、Doma の話 +α (@backpaper0 さん) 発表資料: JavaのORM、Domaの話 +α — JavaのORM、Domaの話 1.0 documentation いろんな O/R マッパーについての簡単な紹介と、Doma の紹介。 紹介された O/R マッパーのうち、使うとしたら JPA か Iciql か Doma かなーという気持ちになった。 (個人の感想です。) ちなみに紹
【SQL入門】複数テーブルから一つの結果を出力する～集合演算子別(union・union all・minus・intersect)に紹介～ - 新卒から文系エンジニア→人材業界に転職した人のブログ
【今回の紹介】 ＳＱＬを勉強中なのでその内容をメモレベルで記載します。 ちなみに今回はこの書籍を使用しながら学習しています。 ＳＱＬに関する本は数冊みましたが、これが具体的でわかりやすかったです（初心者目線です） 現場で使えるSQL―Oracle/SQL Server対応 (DB Magazine SELECTION) 【内容】 複数のテーブルから一つの結果を取得したいときに どんなＳＱＬがあるかというのを紹介します 具体的な用途としてはこんなものがあるかと思います、、 例）4半期の売上を各商品の集計方法でだしときなど ※実際に業務で使用していたＳＱＬです。 集合演算子別に紹介していきます ■重複レコードは除き取得したい select A from Aテーブル union select B from Bテーブル 注意 ①結合テーブルのカラム数は同一にする ②結合カラムの型は同じか変換可能な
【SQL入門】group by,distinctどちらが性能がよいのか - 新卒から文系エンジニア→人材業界に転職した人のブログ
【今回の内容】 前回は基本的なＳＱＬを備忘録で簡単にまとめていたけど、 【SQL入門】基本的なSQLを目的別にまとめてみた - ＦＯＲ ＳＥ その中に気になることがあったので調べたものをメモとして紹介します。 今の自分の現場では、重複行を絞り込む時に、「distinct」と「group by」を使う人それぞれいました。 distinctとgroup byは同じように重複行を消すという意味では どちらでもいいのかなーと思っていたけど、 疑問に思ったので少し調べてみました。 【疑問】distinctとgroup by は重複行を消す目的ならどちらを使ってもよいのか？ 【結論】 結果としてはどちらも重複行を消すという意味では同じらしい。 だが、一般的にgroup byは集合関数（sumとかcountとか）と一緒に使うので、 そもそもの目的用途が違うのではという話があった。 また、どちらが性能が良
O/Rマッパー当たり前な時代だからこそSQLテクニックを磨こう·SQL Fiddle MOONGIFT
SQL FiddleはColdFusion製のソフトウェア（ソースコードは公開されていますがライセンスは明記されていません）です。 開発環境をセットアップするというのは意外に面倒で、せっかく学習しようと思ってもその時点で頓挫してしまいます。もしあなたがSQLを学んでみたいと思うならばSQL Fiddleを使ってみましょう。 こちらがメイン画面です。左に構造、右に実行するSQLを書きます。 実行例。結果はテーブルで下に表示されます。 SQLを変えれば実際に結果も変わります。 対応するデータベースは多様です。 SQL FiddleはJSFiddleに代表されるWebプレイグラウンドサービスで、SQLをWebブラウザ上で実行、確認ができます。最初のテーブルのCreate文からはじまり、任意のSQLを実行してその結果をテーブル表示で確認できます。MySQL/PostgreSQL/MS SQL Se
新著が出ます：ジョー・セルコ『プログラマのためのSQL 第4版』 - ミックのブログ
皆さん、お久しぶりです。長らくブログの更新が止まっていたのは、少し大きな仕事をしていたためです。ジョー・セルコ『プログラマのためのSQL 第4版』の翻訳。これに集中するため、ブログもやらずTwitterもやらず（こっちはちょっとやってしまった）頑張っておりました。 長かった。 本当に長かった。 原著が800ページ以上あるうえ内容も簡単ではないので、もともと楽な仕事とは思っていませんでしたが、いや大変でした。ですが無事今月刊行とあいなりました。すでにAmazonはじめオンラインショップでも予約受付を開始しています。あらかじめ言っておきますが「表紙のおっさん誰？」という質問は私にはしないように。私も答えられないので（笑）。 さて、本書の内容を紹介する代わりに、少し長くなりますが訳者前書きを引用します。購入するか判断の参考にしていただければと思います。なお、実行環境としては前書きでも書いています
SQL上級者こそ知って欲しい、なぜO/Rマッパーが重要か？
(PgDay2012発表資料) SQLにとって、なぜO/Rマッパーが重要かを説明した資料です。Read less
基幹系システムの基本構成とCloud SQLのCRUD処理
1 連載の概要 1.1 本連載の趣旨と概要 基幹系はソーシャル系などに比べて、誤解を招く言い方かもしれませんが保守的な面があり、先端的な機能などの取り込みも遅れがちです。また、実際問題として基幹系ではソーシャルWebなどに比べて、システム機能の要件のハードルが高くなる部分が多いです。しかしそのような基幹系だからこそ、クラウド他Webの先端機能を利用すればどのように変貌・効率化するかを考えてみるのも意味のあることと筆者は考えます。 本稿では8回程度のやや長期の連載を予定しています。内容としては、GoogleのPaaSクラウド（Google App Engine、以後GAE）上でRDBのMySQLを使用できるようにした「Google Cloud SQL」を中心に取り上げますが、その他にもさまざまなツールやサービスと組み合わせた内容にする予定です。 サービスの組み合わせで取り上げる内容としてはW
ポストグレスSQLチューニング メモ(Hishidama's PostgreSQL7.2.1 SQL tuning Memo)
S-JIS[2003-07-19] PostgreSQL7.2.1 SQL最適化メモ SQL実行の際は、PostgreSQLが実行計画を立て、最も効率のよい方法で実行される。 が、SQLの組み方によっては効率の悪い方法が選ばれることがあるので注意。 VACUUM ANALYZE PostgreSQL（プランナー）が実行計画を立てる際には、統計情報が使われる。 統計情報はVACUUM ANALYZEを実行していないと更新されない。SQLの実行が遅いと思ったら、まず真っ先にVACUUMすべし。 EXPLAIN SQLを実行する際に プランナーがどのような実行計画を立てるかについては、EXPLAINで確認できる。 検索方法の種類 ほとんどの場合はseq-scanよりindex-scanの方が速いが、EXPLAINでcostを見てみないと確かなことは分からない。 どちらを使うかはプランナーが統計情
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLでNULL同士の比較がfalseになるのは、何故ですか？
初級〜中級者のためのSQL特訓 - 忘れないようにメモっとく
