なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策｜ハイクラス転職・求人情報サイト AMBI（アンビ）
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ
【 SQL 】ロジスティック回帰モデルの定義式 を SQLに べた打ちして、「予測〇〇率」カラムを SQL 定時バッチ処理 実行時に クエリ内算出して、DBに自動格納するクエリの書き方 - Qiita
前回の記事では、以下の課題設定で、ユーザが30日後にデイリー・アクティブ・ユーザである確率（値域：0～1）を目的変数にとったロジスティック回帰モデルの係数を推計しました。 【正解データ】L回帰の目的変数 30日後の DAILY_ACTIVE_FLAG カラムの値 (1 or 0) 【説明変数】 ※各種調査の結果、手持ちの仮説は以下である。 (1) ある日のカード・ガチャ引いた合計回数（有償、無償合計）CARD_GACHA_COUNT (2) ある日の自己ステータス（体力、ユーザ中の相対順位、所属同盟・連合チーム全体の状況、保有カード数など）閲覧画面アクセス回数 STATUS_CHECK_COUNT (3) ある日に、連合仲間、同盟仲間とアイテム交換、激励アクション、メッセージ交換などを行った回数FRIEND_ACTION_COUTNT ロジスティック回帰を推計した結果、ユーザーアクティブ確
SQLでロジスティック回帰を実装するTips - Thinking out loud
SQLでロジスティック回帰を実装するTipsを発見。 Deep Data Mining Blog: Logistic Regression Model Implemented in SQL SQLしか変更できない本番環境という背景のため、decode()とnvl()を用いてロジスティック回帰を実装、とのこと。 スコアリングの実装の方法 現行プロダクションへのインパクトを抑えて、さくっとモデルを実装するような場面を考えると、実はこういった小手先テクニックも大事だったりする。 （例えばフィージビリのための一時的な実装をコストを費やさずに行う、とか。） ある程度の規模となるならば、Scoring Engineを導入するとか、スコアリングの結果をDB内の別カラムで持たせて、計算ロジックと疎結合な仕組みを作る方が、後々のことを考えるとシアワセになれるけれども。 Scoring Engineによっては
PREPARE文と，PL/pgSQL の入門 （PostgreSQLで「動的に」SQLを実行するために，プリペアド・クエリやストアドファンクションを定義しよう） - 主に言語とシステム開発に関して
複数のINSERT文を「動的に」発行するには，どうしたらよいか？ 例えば，都合のいいサンプルデータをDBに大量投入したいとか。 その場合，INSERT文を大量に発行することになる。どうやって？ （案１）SQLをExcelで大量生成 （案２）PREPARE文をExcelで大量生成 （案３）PL/pgSQLを使って，手続き型の処理を実行 できれば，「forループ」のような制御構文と「INSERT文」を組み合わせたい。 そのためには，上記（案３）のPL/pgSQLを使うとよい。 本稿では，そこまでの道のりを，順を追って解説する。 （案１）SQLをExcelで大量生成 「大量のSQL文を生成して実行するのが面倒だ！」という時，一番安直なのは， Excelのフィル機能を使う方法。 手順： （１）DBの列の値を，Excelのシート上にコピペ （２）Excelのセル上で， & 演算子やCONCATINA
PostgreSQLウィンドウ関数のTips | POSTD
大変そうに見えるが簡単 ウィンドウ関数を使用するためには、OVER()句で”ウィンドウ関数の構文”を用いる必要があります。サンプルテーブルを作成し、それを使って全てのウィンドウ関数に対する例を挙げてみましょう。 この例では、14名の学生が居るクラスを管理しています。 -- Creating the table CREATE TEMP TABLE students ( id serial, name text, grade int DEFAULT NULL, last_seen_in_class date ); -- Adding some students INSERT INTO students (name, grade, last_seen_in_class) VALUES ('Jacob', '9', '2014-08-16'), ('Michael', '6', '2014-08-
『ビッグデータ分析・活用のためのSQLレシピ』はデータ分析でSQLクエリを叩く人なら必読の黒魔術大全 - 渋谷駅前で働くデータサイエンティストのブログ
こちらの本をご恵贈いただきました。 ビッグデータ分析・活用のためのSQLレシピ 作者: 加嵜長門,田宮直人出版社/メーカー: マイナビ出版発売日: 2017/03/27メディア: Kindle版この商品を含むブログを見る 一般的なSQLの本というのはDB管理の一環としてのインフラエンジニア向けの技術書であることが多く、意外にもデータ分析を主目的としたSQLの使い方やクエリの工夫の仕方について書かれた本というのはあまり多くないんですよね。故に、多くのデータ分析者は難解なテーマを実現するクエリを書きたくても参考になる資料が乏しく、途方に暮れるわけです。僕もHive / Redshift / BigQueryのクエリを書きながら「こんな分析がしたいんだけど、それを実現できるクエリってないよなぁ。。。」と何度天を仰いだことか。 そんなところに突然降って湧いてきたのがこちらの新刊書。もう目次を見ただ
データベース実装勉強会で読んだプログラムのメモ - あかん村日記
先日、池袋バイナリ勉強会でのデータベース実装勉強会（http://connpass.com/event/13447/）に参加しました。 select * from testをH2で実行する時に通るプログラムを読むという内容でした。 忘れてしまうのはもったいないので、少し読みなおしてメモ。 かなり憶測まじりな所があります。 /** * クエリ(select文)を実行し、result setを返す。 * もしこの文に他のresult setがある場合、これは閉じられるだろう（たとえこの文は失敗するとしても）（訳） */ @Override public ResultSet JdbcStatement.executeQuery(String sql) throws SQLException { try { int id = getNextId(TraceObject.RESULT_SET); /
Golangでparserをつくって、SQLを解析してみよう！ - Qiita
Golangで、sqlとか、プログラムとか、DSLのパースってできないのかな、と調べていたら下記を見つけました。 2014年時点ですでにできていたんですね。。 上記では、github.com/benbjohnson/sql-parserというリポジトリで説明してくれています。 おおまかな流れは、 Token作成 Lexer作成 Parser作成 といったところです。 で、それらを呼び出す、mainがない。。。ということで、フォークして、main.goを実装してみました。 package main import "strings" func main() { query := "select * from my_table" println(query) r := strings.NewReader(query) //parser生成。queryをくわせる。 parser := NewPar
SQL関数
関数とは？ SQL99 では、特殊なコマンドとして関数と呼ばれる機能を提供します 実際に関数はひとつのコマンドであり、何らかの値を返します 関数の役割は、特殊な値の取得や計算のパッケージ化です データベースの性質上、列の合計や平均を取得するのは重要な機能です しかし、SQL文にプログラミング言語のような機能を持たせるのはやや冗長です そこで、基本的な集計機能や文字列操作機能を関数として提供するのです 関数は、関数名、入力値、そして結果の3つから構成されます 関数の中には、入力値を必要としないものが存在しますが SQL の性質上、結果の無い関数というものは存在しません また、一般的に関数に渡す値を引数と呼びます 関数名( 引数 ) これが、一般的な関数の呼び出し方法です 関数コマンドが実行されると、入力された値に基づいて何らかの結果を返します そのため、関数は式のオペランドとして指定すること
[SQL]データの縦持ち、横持ちを入れ替える | DevelopersIO
はじめに 弊社のデータ分析案件において、RedshiftにてSQLを実行してデータを抽出することが増えてまいりました。SQLはデータの抽出には強力なのですが、JavaやRubyなどのプログラミング言語と比べると独特であることも事実です。 例えば(PL/SQLなどは除いてですが) ループがない 変数に代入して次の処理に行くことができない メソッドやクラスに処理を分割できない などです。 これらの特徴からSQLでデータ抽出を行う為には、JavaやRubyなどとは異なった手法を取る必要があります。そこで「JavaやRubyとかでは・・・というやり方でやるのだけど、SQLではどうやるのだろう」というケースについて、シリーズ形式で何回かに分けて取り上げたいと思います。 尚、SQLの基本的な構文(select、join、group byなど)については説明しません。またデータベースの種類に関わらず使用
![[SQL]データの縦持ち、横持ちを入れ替える | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9d7a9e19a3c5979fc0b83efa7beeec666f705bb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F07%2Fsql.png)
Oracle Database SQL言語リファレンス -- 目次
ヘッダーをスキップ Oracle Database SQL言語リファレンス 11g リリース1（11.1） E05750-03 索引 目次 タイトルおよび著作権情報 はじめに 対象読者 ドキュメントのアクセシビリティについて 関連ドキュメント 表記規則 サポートおよびサービス このリリースの新機能 このマニュアルでのOracle Database 11g リリース1の新機能 1 概要 SQLの歴史 SQL規格 SQLの特長 すべてのリレーショナル・データベースに共通の言語 最新の機能拡張 Enterprise Managerの使用方法 字句規則 ツール製品のサポート 2 Oracle SQLの基本要素 データ型 Oracleの組込みデータ型 CHARデータ型 NCHARデータ型 NVARCHAR2データ型 VARCHAR2データ型 VARCHARデータ型 NUMBERデータ型 FLOA
Oracleでテーブルの別名指定にASを使ったらエラーになった - deamu’s blog
Oracle11用にSQLを書いてプログラムから実行したら 以下のエラーが出た。 ORA-00933: SQL command not properly ended 別に複雑なSQLでも無かったのですが、 エラー内容で検索してもそれっぽい情報が見つからなかったので 再び自分がハマらないようにメモを以下に残しておきます。 結論 ： Oracleはテーブルの別名指定に as が使えない プログラムからはこれ以上エラーが辿れなかったので SQL developerから直接クエリを実行してエラーの具体的な箇所を 探ったら、テーブルの別名を付けている辺りでエラーになった。 もしやと思って、from指定のテーブル名の別名の所に使っていた ASを取っ払ったら、エラーが消えた。 NGなパターン select * from table_name as t where t.id = 1 OKなパターン sel
SQLの観点から「Oracle Database」「PostgreSQL」「MySQL」の特徴を整理しよう！ | アシスト
SQLの観点から「Oracle Database」「PostgreSQL」「MySQL」の特徴を整理しよう！ 企業の情報システムで利用されているRDBMSでは、近年は商用データベースだけでなくオープンソース・データベースを併用するケースも増えており、選択肢は多様化しています。ご存じの通り、SQLはRDBMS共通の言語ですが、実際は細かな記述の違いやRDBMS独自の機能が多数存在します。そのため、例えば商用データベースからオープンソース・データベースに移行したり併用したりすると、アプリケーションの改修コストや、意図した通りに動作しないといった問題が発生する場合があります。本記事では、SQLの視点からRDBMSの主な差異を紹介し、異なるRDBMSに移行する際の注意点やRDBMS選定のポイントに迫ります。
ITエンジニアはSQLアンチパターンを読むべし！ 軽いまとめ
もうこれだけでBad smellしかしませんね。検索とか考えると頭が痛いです。重複考慮した更新や削除とかも同じくきついですね。 従属テーブル作って対応しましょう。 8. メタデータトリブル（メタデータ大増殖） 全く同じテーブルなのに年や月で分かれていたり、同じような列が連続しているやつです。 CREATE TABLE LOG_2013 ( ... ); CREATE TABLE LOG_2014 ( ... ); CREATE TABLE LOG_2015 ( ... ); データが多すぎるから分けた、というケースが多いと思います。古いデータは使わないし、かといってテーブル１つにするとクエリが遅くなるし、みたいな。 上記のようなケースならOKだし、実際そういう経験はありますが。LOG_2014テーブルの2014/12/31のデータが間違ってたので、UPDATEして2015年のデータにしよう
SQLアンチパターンをパッと思い出すための一覧 - 無印吉澤
SQLアンチパターン 作者: Bill Karwin,和田卓人,和田省二,児島修出版社/メーカー: オライリージャパン発売日: 2013/01/26メディア: 大型本購入: 9人 クリック: 698回この商品を含むブログ (41件) を見る SQLアンチパターン読みました。非常に面白かったです。アンチパターンについて事例を交えてわかりやすく書かれており、プログラマとして何年か仕事したことがある人なら、「あの案件のデータベースはこのアンチパターンだった」とか「このテーブル定義書いたことある」とか、過去の色々を思い出しながら楽しく読める本だと思います。 この本の良いところは、「アンチパターンを用いるのは絶対駄目」と言うのではなくて、アンチパターンを用いてもよい場合や、アンチパターンを見つけた場合の解決策のバリエーションにも十分なページ数を割いているところです。アンチパターンに遭遇したり、アンチ
分析SQLのコーディングスタイル - クックパッド開発者ブログ
SQL、書いてますか？ こと大規模データ処理の分野においてはSQLはもはや標準インターフェイスであり、 分析やらバッチやらに関わっている皆様は日々大量のSQLクエリーを生産していることと思います。 そこでちょっと気になるのが、 SQLのコーディングスタイルってどうするのが一般的なんだっけ……？ という点です。 イマドキはSQLなんてO/R mapperに吐かせることが多いからなのか、 それともコードを広い範囲で共有することがそもそもないからか、 SQLのコーディングスタイルについて見聞きすることは他のプログラミング言語に比べるとだいぶ少なく、 いまいち決定版と言えるスタイルがないなと感じています。 そんなわけで本日は、SQLのコーディングスタイルについての意識を活発化させるべく、 クックパッドでわたし（青木）が使っているコーディングスタイルから特徴的な点を紹介したいと思います。 特に、分析
グループ中で最大値を含む行を抽出するSQLはどう書けば良いでしょうか
列A,Bでグループ化し、グループ中で列Cが最大値の列を取得したいのです。 数百万件あるので極力低コストにしたく、 副問合せはINDEXが効かないと聞いたのですが、 それ以外思いつきませんでした。 副問合せしない方法はないでしょうか？ また、副問合せの中でコストの低いSQLはどんなものでしょうか。 ■テーブルです 名前 型 CUST_ID CHAR(8) BRANCH_ID CHAR(4) VALID_DATE DATE MYDATA VARCHAR2(20) CUST_ID BRAN VALID_DA MYDATA 19740704 0000 06-01-01 comment0001 19740704 0000 05-12-01 comment0000 19740704 0000 06-02-01 comment0002 19740704 0001 06-01-01 comment0011
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pandas + Jupyter notebookで分析を便利に - Qiita
データベースエンジニアへの道
Oracle Database SQL言語リファレンス, 12cリリース1 (12.1)