マーケター自身がデータを管理するために、広告運用にdbtを導入した経緯と効果 - MonotaRO Tech Blog
こんにちは、マーケティング部門広告グループの小林です。この記事ではオンライン広告運用に使っているデータ変換処理をdbtに移行した過程と得られた効果についてご紹介します。 モノタロウでは、全社的なデータ活用研修などにより、マーケティングのようなビジネス系の部署でも、SQLを自身で書いてデータ抽出を行い、数字に基づいた意思決定を行っています。その一方で、集計後の数値のズレやドメイン固有のデータの品質管理など、活用が進んだ企業ならではの課題というのも表面化してくるようになってきました。 オンライン広告運用においては、投下した費用など配信実績のレポーティング、広告媒体へのデータ送信などのいわゆるELTを安定的に回す仕組みが必要になりますが、処理の自動化やデータの品質まで求められるようになると、「データが抽出できる」だけでは限界が見えてきていました。そこで今回、マーケター自身がデータを管理する立場に
現場で生かせるノウハウを惜しみなく伝授！ 「パフォーマンス改善と事前対策に役立つ Oracle SQLチューニング」 | oracletech.jp
システム構築プロジェクトにおいて、避けては通れないSQLパフォーマンス問題をいかにして解決し、予防するのかを解説した一冊「パフォーマンス改善と事前対策に役立つ Oracle SQLチューニング」のご紹介です。 以前本コーナーでご紹介した、Oracleコンサルタントの加藤祥平氏、中島益次郎氏による「基礎から学ぶ Oracle SQLチューニング」に加筆・改稿した新装版となる本書は、「SQLパフォーマンス問題、SQLチューニングの苦労を世の中のプロジェクトから少しでも減らしたい」という想いのもと、「SQLパフォーマンス問題の発生理由を捉える」、「SQLパフォーマンス問題を『解決』する」、「SQLパフォーマンス問題を『予防』する」の3つをテーマに、定型的に実施可能な基礎的なものから、Oracleデータベースのアーキテクチャを踏まえた応用的なものまで、さまざまな観点からSQLチューニングのノウハ
NoSQL Data Modeling Techniques
NoSQL databases are often compared by various non-functional criteria, such as scalability, performance, and consistency. This aspect of NoSQL is well-studied both in practice and theory because specific non-functional properties are often the main justification for NoSQL usage and fundamental results on distributed systems like the CAP theorem apply well to NoSQL systems. At the same time, NoSQL
SQL Fiddle - Online SQL Compiler for learning & practice
During Phase 1, only users who are logged in can access the AI chat feature. SQL Fiddle is free to use and ad-free! Want to help us? It takes 10 seconds Step 1: Like & Share our EFE Bulk Extensions videos Step 2: Like & Share our EFE Bulk Insert videos Thank During Phase 1, only users who are logged in can access the AI Editor feature. SQL Fiddle is free to use and ad-free! Want to help us? It tak
P6spyでSQLを出力させる - チラ裏開発日記
P6spyでSQL出力 P6spyでSQLをログに出力させる手順をメモ。 適用するプロジェクトはEclipseのWTPを使用したWebアプリ。 サーバーにTomcat5.5。DBはOracleでデータソースを使用して接続。 1) p6spy.jar を WEB-INF/lib に配置 2) spy.properties を下記のように書き換えてクラスパスの通った場所に配置。（今回はsrc直下） ################################################################# # P6Spy Options File # # See documentation for detailed instructions # ################################################################
データベースの内部動作を知る
SQLのプログラミングは奥が深い。特にパフォーマンスの観点から、そう言えるだろう。 みなさんご承知の通り、同じ結果を出すプログラムでも、SQLの書き方次第で処理時間に何倍もの差が生じ得る。効率の悪いSQLを書いてしまう原因は、多くの場合、リレーショナルデータベースの内部動作やアプリケーションに関する理解不足である。両者をよく知った上で最適なSQLを書けるようになることは、システムエンジニアとしての重要なスキルの一つである。 特集『基礎から理解するデータベースのしくみ』では、リレーショナルデータベースの内部動作について、基本的な部分を分かりやすく解説している。SQLプログラミングに役立つことはもちろん、SQLチューニングやデータベース設計のための基礎知識としても不可欠だ。 イントロダクション ブラックボックスのままでいいの？ Part 1：SQL文はどのように実行されるのか SQL実行までの
SQL で数式を評価 (完全版 + α) - ぐるぐる～
大阪で働く友人 mi との合作*1で不完全版が完全版に！ やっぱり mi はすごかった！！ WITH Input(id, str) AS ( -- idと数式を渡す SELECT 1, '1 + 3 / -8' UNION ALL SELECT 2, '2*3*4*5+99' UNION ALL SELECT 3, '4 * (9 - 4) / (2 * 6 - 2) + 8' UNION ALL SELECT 4, '1 + ((123 * 3 - 69) / 100)' UNION ALL SELECT 5, '2.45/8.5*9.27+(5*0.0023)' ) , Separators(i, ch, str_src, priority) AS ( SELECT 1, '-', 1, 1 UNION ALL SELECT 2, '+', 1, 1 UNION ALL SELECT
プロジェクト開発におけるテスト用DBの(使い|作り)方
昔書いたような気がしてたけど書いてなかったので。 モジュールをつくっていてDB回りのテストを書きたい場合は Test::mysqldやTest::postgresql を使うこと。 CPANなんかに上げるモジュールではなく、お仕事プロジェクトのコードを書いていて DB回りのテストを書きたいケースについてです。 私はMySQLを利用しているので、Test::mysqldをつかってもよいのですが、 起動コストがそれなりにかかるのと、ローカルの開発環境には既にMySQLは立ち上がっている前提があるので、 既に立ち上がっているMySQLをそのまま利用する方法をとっています。 そこでテスト用のユーティリティクラスを紹介してみます。 package t::Utils; use strict; use warnings; use utf8; use lib './t/'; use Test::Fixtu
生島さんが考える最強の言語 SQL - ぐるぐる～
生島さんが誰と闘っているのか知らないけど、ちょっと気になることをつらつらと。 SQLは最も高級言語 - SQLer 生島勘富 の日記 SQLは最も高級言語２ - SQLer 生島勘富 の日記 SQLとはなんぞや？ - SQLer 生島勘富 の日記 高級*言語* どうも生島さんは、「SQL は高級言語！」と言いつつ SQL の処理系 (RDBMS) のことを高級だと言っているようです。 言語が高級であることと、処理系の最適化が手厚いことをごちゃまぜにして、この言語高級！と言うのはまずいんじゃないでしょうか。別に、RDBMS を操作するための言語として SQL でなくたっていいのです。例えば Tutorial D/Industorial D もあるし、LINQ を SQL に変換せずに直接 DB の操作を行うような RDBMS/Linq to X と言うのも考えられます。 ここではとりあえず、
地獄のようによくわかるSQLテーブル結合 - こせきの技術日記
テーブルのJOINが苦手でしたが、この例を思いついてからは、すっきりくっきり理解できるようになりました。むしろ頭から離れません……。 ※ INNER、OUTERは飾り。省略できる。 INNER JOIN → JOIN LEFT OUTER JOIN → LEFT JOIN RIGHT OUTER JOIN → RIGHT JOIN ※ ON ...=... をまとめて USING(属性) と書ける。 ※ 何で結合するか言うまでもない時は、NATURALを指定すると勝手にJOINしてくれる。NATURALにJOINして……。 ※ WHEREは結合した結果に作用する。 ※ 現実には上図のように1対1で結合しません。 ※ おまけ。CROSS JOIN。 こんなの使いません。 ブクマ用画像。
まだまだあるぞ！ 分析関数の究極テクニック
本連載はSQLの応用力を身に付けたいエンジニア向けに、さまざまなテクニックを紹介する。SQLの基本構文は平易なものだが、実務で活用するには教科書的な記述を理解するだけでは不十分だ。本連載は、著名なメールマガジン「おら！オラ！ Oracle - どっぷり検証生活」を発行するインサイトテクノロジーのコンサルタントを執筆陣に迎え、SQLのセンス向上に役立つ大技小技を紹介していく。（編集局） 今回も、前回「SQL分析関数をさらに深く追求してみよう」、前々回「極めよう！分析関数によるSQL高速化計画」に引き続き、分析関数についてのお話です。今回は、ラグ・リード関数を説明して、分析関数シリーズの最終回とします。 ラグ関数を使った分析 それでは、ラグ・リード関数を利用して、分析してみましょう。まずは、ラグ関数から見ていきます。 ラグ関数は、現在の行からのオフセットを指定するだけで、その位置より「前」にあ
SQL分析関数をさらに深く追求してみよう
本連載はSQLの応用力を身に付けたいエンジニア向けに、さまざまなテクニックを紹介する。SQLの基本構文は平易なものだが、実務で活用するには教科書的な記述を理解するだけでは不十分だ。本連載は、著名なメールマガジン「おら！オラ！ Oracle - どっぷり検証生活」を発行するインサイトテクノロジーのコンサルタントを執筆陣に迎え、SQLのセンス向上に役立つ大技小技を紹介していく。（編集局） 今回も、前回「極めよう！分析関数によるSQL高速化計画」に引き続き、分析関数の中からウィンドウ関数とレポート関数を取り上げて説明します。 ウィンドウ関数を使った分析 それでは、ウィンドウ関数を利用して、分析してみましょう。ウィンドウ関数を使用して、累積集計、移動集計、集中集計を計算できます。今回は、ウィンドウ関数を簡単に理解してもらうために、累積集計について説明します。 ウィンドウ関数には、SUM()、AVG
＠IT：SQLクリニック（8） Page 1/3
本連載はSQLの応用力を身に付けたいエンジニア向けに、さまざまなテクニックを紹介する。SQLの基本構文は平易なものだが、実務で活用するには教科書的な記述を理解するだけでは不十分だ。本連載は、著名なメールマガジン「おら！オラ！ Oracle - どっぷり検証生活」を発行するインサイトテクノロジーのコンサルタントを執筆陣に迎え、SQLのセンス向上に役立つ大技小技を紹介していく。（編集局） 今回はOracle8i（リリース8.1.6）から実装されている分析関数について解説します。分析機能を理解しておくと、いままでは副問い合わせや複数回に分けていた問い合わせを1回のSQL文で簡単に行えるようになります。 分析関数の基本を理解しよう まず、分析関数とは、どのような関数であるのかを簡単に説明しておきましょう。 集計関数と分析関数の違いは？ 分析関数は、どのように処理されるの？ 分析関数は、どのような分
SQL*Plus Guide Book
データベースから一度に取り出すデータ列の数（バッチ）を設定する。1〜5000の値を設定できる。大きい値を設定すると、問合せや副問合せの効率が上がり、多くのデータ列を取り出すことができるが、その場合はメモリー容量が大きくなければならない。なお、値がほぼ100以上になると、パフォーマンスにはほとんど差がなくなる。ARRAYSIZEはSQL*Plusの動作結果にはまったく影響せず、単に効率を高めるだけの機能である。 ［補足] 現在のマシンでの能力では特に必要はないが、データ量が多いテーブルを操作するときメモリ 不足になることがある。その場合、処理スピードが多少犠牲になるが正常に実行させるために 「set array 2」を指定するとよい。 Oracleにおいてデータベースに対する保留中の変更をコミットするタイミングを制御する。 ONにすると、INSERT、UPDATE、DELETEコマン
WHENEVER SQLERROR - オラクル・Oracle SQL*Plus リファレンス
SQL、PL/SQL レベルのエラーハンドル WHENEVER SQLERROR はコマンドの実行前に SQL コマンドや PL/SQL ブロックレベルのエラーが発生した場合の処理を事前に定義しておくためのコマンド 短縮形 なし 例えば UPDATE not_exists_table_name SET ...で指定したテーブルが存在しない場合に発生する。 WHENEVER SQLERROR コマンド WHENEVER SQLERROR コマンドの構文 EXIT（終了）する場合 WHENEVER SQLERROR EXIT [ SUCCESS | FAILURE | WARNING | 戻り値(※1)] [ COMMIT | ROLLBACK ] CONTINUE（継続）する場合 WHENEVER SQLERROR CONTINUE [ COMMIT | ROLLBACK | NONE ]
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
InfiniSQL
Postgres: Add constraint if it doesn't already exist
How do I show SQL with Play Framework?
OTN Japan - 404 Error
SQL*Plus システム変数一覧 - オラクル・Oracle SQL*Plus リファレンス