巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 - クックパッド開発者ブログ
トレンド調査ラボの青木峰郎（id:mineroaoki）です。 好きなRubyのメソッドは10年前からString#slice(re, nth)ですが、 最近はRubyよりCoffeeScriptとSQLのほうが書く量が多くて悩んでいます。 今日はわたしが開発している「たべみる」の背後で働いている 巨大バッチの構成について話したいと思います。 たべみるのバッチは約3000行のSQLで構成されており、 処理時間が1日で4時間程度かかる、そこそこの規模のプログラムです。 このバッチ処理プログラムをBricolage（ブリコラージュ）というフレームワークで構造化する手法について説明します。 「たべみる」とは まず最初に、「たべみる」がどういうものなのかごく簡単にお話ししておきましょう。 「たべみる」は企業のみに提供しているB2Bの分析サービスで、 クックパッドのレシピ検索の分析をすることができま
DBコマンド横断比較リファレンスを作りました - clock-up-blog
横断的にDB操作の類似コマンドを探すためのサイト 例えば MySQL を知っている人が 新しく他のデータベース、例えば Oracle を学習する際に MySQL でいうところのアレは Oracle ではどういうコマンドなんだろう という感じに情報を探す場面が多くあります。 そういう類の情報を探すときに役に立ちそうなリファレンスサイトを作りました。 xref.jp xref.jp - Database 追記: コンテンツ増やしました yum, apt-get, rpm 等々の横断比較リファレンス - clock-up-blog ソースコード GitHub に上げてあるので興味ある人は見てみると良いです。 kobake/xref.jp · GitHub PHP で書いてます。すんごい汚いです。謙遜じゃなくて本当に。 プルリク歓迎。 機能 マトリクス方向の切替 比較表の見出しの向きって、その組み
SQLデータベースに正しインデックスを作るのは 誰の役割？
SQLのパフォーマンス問題は、SQLそのものと同じぐらいの歴史がある―― ある人は、SQLはそもそも遅いものだとすら言うかもしれません。これは、SQLの歴史が始まった頃は正しかったかもしれませんが、今となっては全く 当てはまらないでしょう。にもかかわらず、SQLのパフォーマンス問題は今も一般的でよくあることです。どうしてそうなってしまうのでしょうか？ SQL言語は、恐らく最も成功した第4世代言語(4GL)でしょう。その最大の利点は、「何を」と「どのように」 を分離できることです。SQL文は、どのようにそれを実行するかを記述せずに、単純に 何を必要としているかのみの記述になっています。以下のような例を考えてみましょう。 SELECT date_of_birth FROM employees WHERE last_name = 'WINAND'SQLのクエリは、データを要求する英語の文として読
パフォーマンス比較 Cassandra、Mongodb、SQLite、H2、MySQL、Postgres - cypher256's blog
下記のようなシステムでパフォーマンスが良さげな SQLite を使用予定ですが、もっと速いものが無いか確認のため他のデータベースのパフォーマンスを計測してみました。SQL 利用前提ですが、NoSQL が圧倒的な性能を出す場合は検討する必要があるので KVS も確認しました。 データ件数は 1 億件程度、JDBC SQL 利用可能 INSERT、UPDATE はバッチ SELECT は主キーアクセス性能を重視 将来スケールアウトのための分散はありえるが、スタンドアロンで遅いのはだめ データベースのパフォーマンス比較 計測したデータベース データベース名 タイプ 形態 評判 計測についての備考 SQLite RDB 組み込み ※2 おもちゃ、Android標準 JDBC操作 ※1 H2 RDB 組み込み ※2 組み込み最速 JDBC操作 ※1 Derby RDB 組み込み ※2 Java標準で
Sequelのすすめ - とみたまさひろ - Rabbit Slide Show
Page: 1 Sequelのすすめ 〜私がSQLを嫌いな理由〜 とみたまさひろ RubyHiroba 2013 2013-06-02 Sequelのすすめ - 〜私がSQLを嫌いな理由〜 Powered by Rabbit 2.0.7 Page: 2 自己紹介 とみた まさひろ 長野県北部在住 プログラマー (Ruby & C) http://tmtms.hatenablog.com http://twitter.com/tmtms 好きなもの Ruby, MySQL, Linux Mint, Emacs, Git Sequelのすすめ - 〜私がSQLを嫌いな理由〜 Powered by Rabbit 2.0.7
Rails 3&4: Arel::Tableを使ってなるべく生のSQLを書かずに済ます方法｜TechRacho by BPS株式会社
Railsでプログラムを書いるとSQLを直接記述する機会が意外と多いので、 なるべくRubyらしく書く方法がないか調べてみました。 ORなどかなり基本的な構文でもarel_tableを使う必要があるのですね。 というわけで、Arel::Table を使ってみました。 動作確認環境は以下の通りです。 ruby: 1.9.3-p392 Rails: 3.2.13 arel: 3.0.2 MySQL: 5.1.65 検索条件をORで繋げたい 基本的な構文ですがSQLを直接記述する場合が多いのではないでしょうか？ User.where("name = ? OR name = ?", "太郎", "花子").to_sql #=> "SELECT `users`.* FROM `users` WHERE (name = '太郎' OR name = '花子')" なるべくRubyで書こうとするとこうな
かつて、私の隣にSQLの魔女がいた
今日プロジェクトの打ち上げがあったのだが、とあるサプライズ……三ヶ月前に寿退社した先輩との再会に思わず涙ぐんでしまい、ひどくばつが悪い思いをしている。今も顔の火照りが抜けてくれない。アルコールは抜けたのに。彼女はかつてSQLの魔女と呼ばれていた。 今から遡ること一年前、私は辞令を貰い、二年目にして事業部ごと変わるという波乱をようやく乗り切って、業務系のSEの仕事内容、特にWebのアプリレイヤーについてOJT形式で学んでいた。そこで先生にあたる方として付いたのが、ちょうど手待ちだった先輩である。初めてお会いした時の先輩に対し、私は正直ちょっと物足りなく感じていた。 初日に行ったPCのセッティングでは、これやってと先輩から資料を渡されたのだが、外部にネットが繋がらない。先輩に相談して弄ってもらったのだけど繋がらず、今日は社内ネットで我慢して、と言われてから二日後、資料が古かったことが判明。 与
Rails で、Controller に定義されている action を一度に取得する方法はありますか？ - QA@IT
平素よりQA＠ITをご利用いただき、誠にありがとうございます。 QA＠ITは「質問や回答を『共有』し『編集』していくことでベストなQAを蓄積できる、ITエンジニアのための問題解決コミュニティー」として約7年間運営をしてきました。これまでサービスを続けることができたのは、QA＠ITのコンセプトに共感をいただき、適切な質問や回答をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、エンジニアの情報入手方法の多様化やQAサービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年2月28日（金）15:00をもちましてQA＠ITのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知らせとなり、誠に心苦しく思っております。何とぞ、ご理解をいただけますと幸いです。 QA＠ITの7年間で皆さまの知識
ここまでやるか。SQLiteをJavaScriptに変換·SQL.js MOONGIFT
SQL.jsはSQLiteをEmscriptenを使ってJavaScript化したソフトウェアです。 SQL.jsはWebブラウザ上で使えるデータベースです。Emscriptenを使ってSQLiteをJavaScriptに変換した面白いソフトウェアです。 デモです。テキストエリアに書かれたSQLを実行できます。 実行した結果です。最終的な結果だけが出力されています。SELECTの結果はJSONデータとして取得されています。 もちろん普通にSQLが使えます。 日本語は出力時は化けてしまいましたがデータ上は問題ないと思われます。 SQL.jsはSQLiteがそのままJavaScriptになってしまったようなソフトウェアです。慣れた使い勝手でSQLを実行したり、データを取得できてしまうのは面白そうです。なお現状Google ChromeやFirefoxにしか最適化されていません。 SQL.jsは
カラムの値が重複しているレコードを抽出するSQL - おはようバッファロー
値が重複したレコードを抽出するSQLを結構頻繁に使うのでメモ SELECT 商品ID FROM 商品マスタ GROUP BY 商品ID HAVING COUNT(商品ID)<>1 HAVINGってこの時ぐらいしか使った事ないんだけど、 「集計関数の結果を条件とした絞込み」って事らしい。 売上が1000以上の商品IDを抽出するなんてのは、以下のようにやるようです。 SELECT 商品ID, SUM(値段) FROM 商品マスタ GROUP BY 商品ID HAVING SUM(値段)>1000
紛れもないデータベースである「SQL Server Compact Edition」：ITpro
米Microsoftが先日，「SQL Server Compact Edition」を完成させた。これは，モバイル・ユーザーや，「たまにしかデータベースを利用しないユーザー」をターゲットとした組込型のSQL Serverである。 シェイクスピアの言葉に，「バラは他のどんな名前であろうと，その香りの素晴らしさに変わりはない」というのがある。それならSQL Server Compact Editionはどんな名前であろうと，紛れもないデータベース製品であり，Microsoftが「たまにしかデータベースに接続しない」ようなユーザーも含めて，あらゆるデータベース・マーケットを攻略しようとしている姿勢の表れだと言える。 Microsoftが携帯機器向けに初めてリリースしたデータベース・エンジンは「SQL Server 2000 Windows CE Edition（SQL Server CE）」だっ
極小SQL Server Compactでデータベース・アプリをお手軽作成（1/3） - ＠IT
皆さん、こんにちは。ロブです。 今回は、SQL Server Compact 3.5を利用したWindowsアプリについて解説します（アプリは「アプリケーション」の略）。 SQL Server Compact 3.5とは、Windowsアプリや、モバイル・アプリでの利用に向いた小さなデータベース（DB）です。本来は組み込み用途で作られたものなのですが、スタンドアロンのWindowsデスクトップ・アプリなどでこのデータベースを利用すると、とても簡単にデータベース・アプリが作成できます。手軽なデータベース・アプリ開発を楽しんでみませんか？ ぜひ本稿を読みながら実際にプログラムを作り、自分の手で動かしてみてください。 プログラミング言語は、C#とVB（Visual Basic）を使用します。今回は、特別にVBのコードも用意しました。これは、SQL Server Compact 3.5のターゲット
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
xRef - Database
Doma SQLテンプレートのしくみ
GitHub - r7kamura/scheman: SQL schema parser.
ふつうのWeb開発者のためのクエリチューニング