巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 - クックパッド開発者ブログ
トレンド調査ラボの青木峰郎（id:mineroaoki）です。 好きなRubyのメソッドは10年前からString#slice(re, nth)ですが、 最近はRubyよりCoffeeScriptとSQLのほうが書く量が多くて悩んでいます。 今日はわたしが開発している「たべみる」の背後で働いている 巨大バッチの構成について話したいと思います。 たべみるのバッチは約3000行のSQLで構成されており、 処理時間が1日で4時間程度かかる、そこそこの規模のプログラムです。 このバッチ処理プログラムをBricolage（ブリコラージュ）というフレームワークで構造化する手法について説明します。 「たべみる」とは まず最初に、「たべみる」がどういうものなのかごく簡単にお話ししておきましょう。 「たべみる」は企業のみに提供しているB2Bの分析サービスで、 クックパッドのレシピ検索の分析をすることができま
DISTINCTは駄目だ、EXISTSを使うのだ。 - あんにんにっき。
SQLの速度アップの話で、DISTINCTを使って重複排除するのは遅いので、EXISTSを使え、という話を聞いて知ってはいたのだけど、なんでEXISTSを使うと重複排除できるのか分らなかった。 どうやら、こんな感じ。 顧客マスタ A B C 商品マスタ X Y Z とあるとき、 販売テーブルが A-X A-Y A-X B-Y B-Z B-Z とあるとき、 販売テーブルの、一回でも売れたことのある商品、という意味で重複排除する場合、 SELECT DISTINCT 商品 FROM 販売テーブル って、感じでやるほかに、 SELECT 商品 FROM 商品マスタ WHERE EXISTS (SELECT 商品 FROM 販売テーブル, 商品マスタ WHERE 販売テーブル.商品 = 商品マスタ.商品) って感じにできるらしい。まず、商品マスタに検索に行って、EXISTSの対象が販売テーブル、っ
内包表記について、すごい合同勉強会で話した | そんなこと覚えてない
すごい合同勉強会2014 in 広島でセッションしたので内容を公開しておく。 今回は「私がモナドの内包表記という名前を知った時の感覚を伝えよう」というのが目的でした。 さりげなく「私がモナドに感じている効能を伝える」というのもしているのですが、そこは本当にさりげなく。 内包表記。その意味を知らずに5年前ぐらいにpythonで利用していて、forやif文字通りにうけとっており、その動作を正しく理解できてないときがありました。 現在とその間にHaskellを学び、その5年前の自分に内包表記を伝えるにはという観点で話を進めました。 まず、リストの内包表記ですが、リストを生成を簡単にしてくれる機能です。 内包表記は、どうやら数学の集合の記法である内包的記法に由来するそうで、「関数プログラミング入門 ―Haskellで学ぶ原理と技法―」か何かで読んだ記憶があります。 その対になる記法として外延的記法
Base « Menial
Base 2 Buy - £19.99 Download Requirements: Mac OS X, 10.14 or higher. Trial limitations: 15-minute sessions and custom queries only return 5 rows. Base is an application for creating, designing, editing and browsing SQLite 3 database files. It's a proper Mac OS X application. Fast to launch, quick to get in to and get the data you need. Yes, it has the basic features you need: Table schema? Check.
和田卓人×和田省二 データベースを巡る世代間闘争
2013/2/21収録 『SQLアンチパターン』（オライリー・ジャパン刊・オーム社発売） 刊行記念トークセッション データベースを巡る世代間闘争 和田卓人（監訳者・子）×和田省二 (監修者・父) リレーショナルデータベースを中心に据えたシステム開発には、様々な場面で陥りやすい失敗（アンチパターン）があります。本セッションではそのようなアンチパターンを避けるための指針となる新刊『SQLアンチパターン』の内容を紹介しつつ、監訳者親子の設計論議(データ中心設計とオブジェクト指向設計の間の世代間闘争)の再現を試みます。世代間のインピーダンスミスマッチは『SQLアンチパターン』を通じて解消されるのか、御期待ください。 ◆講師紹介◆ 和田 卓人（わだ たくと） 本書監訳者。タワーズ・クエスト株式会社 取締役社長、プログラマ、テスト駆動開発者。学生時代にソフトウェア工学を学び、オブジェクト指向分
Presto: Free, Open-Source SQL Query Engine for any Data
Calling our Presto community speakers – we want to hear from you! Fill out out community call for papers to speak at upcoming meetups and conferences. What is Presto?Presto is an open source SQL query engine that’s fast, reliable, and efficient at scale. Use Presto to run interactive/ad hoc queries at sub-second performance for your high volume apps.
[SQL] 11. トランザクション 3
SQL 11章 トランザクション 11.1. トランザクションの特性 11.2. コミットとロールバック 11.3. トランザクションの構文 11.4. 排他制御 11.5. ロック 11.6. トランザクションの定義 11.6. トランザクションの定義 ここでいうトランザクションの定義とは、SET TRANSACTION 文を用いて、次の項目について設定を行うということです。 アクセスモード トランザクションが読み取り専用であるのか、読み取り / 書き込み可能なのかを指定します。初期値は READ WRITE(読み取り / 書き込み可能) です。 隔離レベル ACID 特性の隔離性 (ISOLATION) のレベルを指定します。初期値は READ COMMITTED です。 診断域 SQL 文の処理結果に関する情報を格納する領域を指定します。 トランザクションは、暗黙的に開始された場合で
新著が出ます：ジョー・セルコ『プログラマのためのSQL 第4版』 - ミックのブログ
皆さん、お久しぶりです。長らくブログの更新が止まっていたのは、少し大きな仕事をしていたためです。ジョー・セルコ『プログラマのためのSQL 第4版』の翻訳。これに集中するため、ブログもやらずTwitterもやらず（こっちはちょっとやってしまった）頑張っておりました。 長かった。 本当に長かった。 原著が800ページ以上あるうえ内容も簡単ではないので、もともと楽な仕事とは思っていませんでしたが、いや大変でした。ですが無事今月刊行とあいなりました。すでにAmazonはじめオンラインショップでも予約受付を開始しています。あらかじめ言っておきますが「表紙のおっさん誰？」という質問は私にはしないように。私も答えられないので（笑）。 さて、本書の内容を紹介する代わりに、少し長くなりますが訳者前書きを引用します。購入するか判断の参考にしていただければと思います。なお、実行環境としては前書きでも書いています
SQL上級者こそ知って欲しい、なぜO/Rマッパーが重要か？
(PgDay2012発表資料) SQLにとって、なぜO/Rマッパーが重要かを説明した資料です。Read less
INとEXISTSの違い - SQLer 生島勘富 のブログ
INとEXISTSは違います。 BETWEENと、不等号の組合わせなど、等価になる記述法はあるのですけれど、INとEXISTSは基本的に同じ結果を返すことが可能ですが、意味は違います。 この違いが分かるにはインデックスを理解する必要がありますので、まずは、インデックスのイメージをつけてください。 まずはイメージ ここでも、まずはイメージで考えましょうね。 あなたは先輩の結婚式の司会を頼まれましたとします。イロイロと準備がありますが、余興で歌を歌う人がいるとき、予めカラオケの番号を調べておくでしょう。 食事の間のBGMについては、ラブソングの入ったiPodをつないでランダムで流すことにしましょう。しかし、新郎新婦にとって（過去の恋愛経験上）都合の悪い曲があり、チェックしてはじいておくことにしました（なかなか、そつがない司会ですな）。 これらの処理をSQLにするならば……。 ■カラオケの番号を
SQL関数coalesceの使い方と読み方
coalesceとは何か？ coalesce は、与えられた引数のうち、NULLでない最初の引数を返してくれます。データを表示する目的で取り出すシチュエーションなどで、NULL値の代わりにデフォルト値を使っている場合に便利です。CASE や NULLIF などを用いても同様の効果が得られますが、coalesce() を使えば、より完結に記述することができます。といっても実際に使ってみないとイメージがわかないと思いますので、以下、実験してみます。 coalesce実験用テーブル・レコード 以下のようなテーブル・レコードを用意しました。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ
SQLアタマアカデミー 記事一覧 | gihyo.jp
GitHub - kishida/sqlparser: tiny sql parser
SQLと名前とcomposabilityについての議論
RとSQLを対応付けてみた - あらびき日記
Amazon.co.jp: プログラマのためのSQL 第4版: すべてを知り尽くしたいあなたに: ジョーセルコ: 本
Underlaying Technology of Modern O/R Mapper
サービス終了のお知らせ
リレーショナル・データベースの世界