毎日本番DBをダンプして、ローカルと開発環境で利用して生産性を上げてる話
シードデータで動作確認して大丈夫だったのに、本番反映してみたら想定してなかった挙動・エラーが出た😱そんな経験はありませんか。 恥ずかしながら私は今までに何回もありました。機能開発だけじゃなくバッチやマイグレーションなんかでも発生しがちなコレ。またはシードデータで動作確認できても、本番データでも通用するか検証ができないままプルリクを作る、なんていうこともあると思います。今回はこちらを無くす試みをしたお話です。 「もう本番DBで開発しちゃえばいいじゃない」の問題点 この課題を解決するには、極論すると本番DBで開発するしかないのですが、そうなると言うまでもなく以下の問題が出てきます。 レビュー通過してないコードが本番に影響を与える トライ＆エラーができない 個人情報をはじめとするセンシティブな情報が開発者の端末に漏れる データ量が多すぎてローカルに持ってこれない しかし言い換えると、これらをク
データベースを勉強したいあなたに送る技術書17冊(+11冊1講義7link)
これはなに ども、レバテック開発部のもりたです。最近めっちゃ元気！！ 今回は『データベースについて勉強したいあなたに送る技術書17冊(+11冊1講義7link)』として、もりたがここ半年くらいでわーっと集めたデータベース周りの書籍（とか）を紹介していきます。アプリケーションって結局はデータベースみたいなところがあると思うんですが、おれは長いことデータベースをどう学んだら良いのか分かりませんでした。同じような気持ちを抱えているITエンジニアの人もいると思うので、学習ロードマップと合わせて紹介していきます。 なお具体的な対象読者は業務でなんとなくSQL書いてるけど、ウィンドウ関数とか言われると分からんな……くらいの人です。 扱う領域と扱わない領域 扱う領域としてはだいたい以下 再入門本 SQL 内部構造 論理設計 周辺知識 データベース理論 その他高度なもの モデリング、NoSQL、分散データ
SQLパフォーマンスチューニングの始め方 | 働くひとと組織の健康を創る iCARE
こんにちは、iCAREサーバーサイドエンジニアの寺井(@krpk1900_dev)です。 私は今まで新規機能の開発を担当することがほとんどで、既存機能のパフォーマンス改善に取り組むときに何から手を着けて良いか分からなかったため、今回はSQLパフォーマンスチューニングについて調べた内容を記事にしたいと思います。 全体の流れ ざっくり調べてみた内容をフローチャートで整理してみました。 このフローチャートには含めませんでしたが、根本的な解決策としてそもそものロジックやデータ構造を見直すという方法もあります。 1. レスポンスに時間がかかっている箇所とその原因を特定する まずはDatadogのAPMなどでレスポンスに時間がかかっているリクエストを特定します。 APM(Application Performance Monitoring)とは、アプリケーションの性能を管理したり監視するための機能です
SQLAlchemy入門 接続とSQL実行 | Python学習講座
engine apiと接続 SQLAlchemyが提供するengineとは、接続を始めとしたSQLAlchemyの機能を使用するための起点となるオブジェクトです。 engineだけでも最低限のDB操作、つまりデータベースへの接続の作成、SQLステートメントの送信、および結果の取得を行うことができます。 engineオブジェクトは、create_engine関数を呼び出してデータソース名を渡すことによって作成されます。 engineを使用した簡単なサンプルを見てみましょう。sqlite3のオンメモリのDBに接続し、SQLを実行してみます。 from sqlalchemy import create_engine engine = create_engine('sqlite:///:memory:') # 接続する with engine.connect() as con: # テーブルの作成
SqlAlchemyで任意の文字列でSQL文を実行する（生SQLの実行）
この記事では、PythonのSqlAlchemyで生のSQL文（任意の文字列のSELECTやINSERT文）を実行する方法を紹介します。 SqlAlchemyはPythonのORMで便利です。ただ複雑な結合・集計などがあるSQL（SELECT文）をORMで表現すると、ソースが難解になり、逆に普通にSQLを書いたほうが綺麗になる時があります。 今回はそんな時に役立つ、SqlAlchemyで生SQLを実行する方法を紹介します。 スポンサーリンク SELECT文をSqlAlchemyで実行 生のSELECT文を、PythonのSqlAlchemyで実行するサンプルコードです。コード見て貰えれば分かりますが、SqlAlchemyは簡単に生SQLを実行できるようになってます。 from sqlalchemy.sql import text #(1)生のSELECTを定義 t = text("SELE
MySQLでSQLの実行時間のみを調べる - ぼっち勉強会
SQL設計やチューニングで実行時間を計測する際に以下のような状況がよく出てくる。 SQLの実行時間が知りたい 実行結果はいらない 方法1 mysql -vvvを使う /home/kanno% cat sample.sql | mysql -vvv hoge_db | tail -n 3 1 row in set (3.62 sec) Bye 対象のSQLを書いたsample.sql(ファイル名は何でも)を用意 単純なSQLならecho "select ..." | mysql ...で十分 mysqlコマンドの標準入力に渡す -vvvオプションで実行時間を出すようにする tailで実行時間以降の行だけ表示させる Byeとかも邪魔ならheadで更に絞る cat sample.sql | mysql -vvv hoge_db | tail -n 3 | head -n 1 方法2 timeコマ
Query関数を使ってデータを集計しよう – 其の壱 🌴 officeの杜 🥥
Googleスプレッドシートには、Excelにはない特別な関数がいくつかあります。それらはスクリプト無しでまた、特別な機能を使わずにデータの塊の中から、色々な条件でデータを塊で取り出すことが出来ます（Excelは基本的に関数は塊ではなく、単一の値でしか答えを返せません）。この特別な関数を使えば、スクリプトを組む時に余計なコードを記述しなくても済むので、是非使えるようになっておくとお得です。 今回はそんな特別な関数の中でも、難易度は高いものの、非常に柔軟なデータの抽出だけでなく、クロス集計まで可能な「Query関数」を使ってみたいと思います。この関数で使われるQuery文は、Google Visualization APIで使われるものとほぼ同じ仕様になっています。 ※今回の関数は非常に多機能なので２回に分けて紹介しています。 今回使用するサンプルスプレッドシート Query関数を活用しよう
Oracle 実用的で簡単なヒント句のつけかた
なんていう大それたタイトルをつけると 全然わかってねーだろ！と怒る人もいるかと思いますが… （私はOracle Masterも持っていない人ですし） なぜかSQLチューニングやらを仕事でやらされることが多く、 しかしチューニング関係の本やサイトは意味不明すぎて。 そんな中、実際にとんでもないＳＱＬとかをなんとか早くする為に 編み出したヒント句のつけかたを紹介します。 軽い気持ちで読んでください。 つけるべきヒント句は６種類だけ だいたいがOracleに任せておけばいいんです。 ヒント句をがっぷりつけたところで状況が変わったら対応できなくなりますので。 私が主につけるヒント句は以下だけです。 テーブル結合に係る部分だけですね。 ordered / leading inxex / full use_nl / use_hash 全部で６つです。これだけなら覚えられるでしょう。 他のは覚えきれない
オラクルでの定義情報の取得 (テーブル定義, カラム定義など)(oracle, user_tables, user_tab_columns, user_views, user_synonyms, user_sequences, user_procedures, user_source) - いろいろ備忘録日記
忘れない内にメモメモ。 [テーブル定義] /* テーブル定義情報を取得 */ SELECT SYS_CONTEXT('USERENV', 'DB_NAME') AS db_name ,USER AS schema_name ,tbls.TABLE_NAME AS table_name ,comments.TABLE_TYPE AS table_type ,comments.COMMENTS AS table_comment FROM USER_TABLES tbls LEFT OUTER JOIN USER_TAB_COMMENTS comments ON tbls.TABLE_NAME = comments.TABLE_NAME ORDER BY tbls.TABLE_NAME [カラム定義] /* カラム定義情報を取得 */ SELECT SYS_CONTEXT('USERENV',
Google Spreadsheet から DBにデータ保存して参照する - shohu33's diary
Google Spreadsheet は シートに値を埋めていけば簡易DBになるんですが、多少データ量が増えてくると200万セル制限にひっかかったりして面倒なことになります。 hacknote.jp このためDBにデータを保存しようとして、いろいろ探してみました。 Google Cloud SQL Google Cloud SQL を使えばGoogle Spreadsheetから簡単にMySQLにアクセスできるんですが、お金がかかるということで却下 JDBC | Apps Script | Google Developers Fusion Tables Fusion Tables というDB(平たくいうとGoogleが提供している地図情報と連携できるデータベースのようなものだそうです)は無料で使えそうとのことで以下ページを参考に試してみました。 support.google.com
Windows バッチに JScript・VBScript・Oracle SQL スクリプトを混在させてバッチ処理の中で実行する - Corredor
2016年も終わりに近付いている昨今、今更ですが Windows バッチの黒魔術的な挙動にハマっていて、レガシーな職場で培ったレガシーな知識の総決算をしておこうかなと思うなど。 Windows バッチスクリプトを置いておく GitHub リポジトリを作っていますので、よかったらご覧ください。 GitHub - Neos21/windows-batch-scripts: ちょいと便利な Windows バッチ製のスクリプトやスニペット集 今日はその中から、Windows バッチファイル1つの中に、別の言語のスクリプトを混在させて実行する手法をいくつか紹介する。 JScript を混在させる Shebang VBScript を混在させる技 Oracle DB に渡す SQL ファイルを混在させ SQL*Plus を起動する 別の書き方 より実践的な使い方 WSH (JScript・VBScr
知ってる人は知っているSQLPLUSの小技 - /* Grid Thinking */
１、put_lineの空白問題 set serveroutput on exec dbms_output.put_line(' abc'); 頭の空白を表示したいなら「format wrapped」オプションを使えばOK set serveroutput on format wrapped exec dbms_output.put_line(' abc'); ２、空行エラー このSQL文をコピーして実行してみてください。 select deptno, empno, ename from emp where empno = '7788'; すると、空行があるため下記のようにエラーになる SQL> select deptno, empno, ename 2 from emp 3 SQL> where empno = '7788'; SP2-0734: unknown command begin
なにこれ楽しい！SQLをブラウザ上で学習できるSQLZOO！ - 嗚呼、学習の日々
みなさまごきげんよう！ 嗚呼蛙でございます！ 一昨日amazonアソシエイトの審査を無事通過したことを祝って、露骨なアフィ目的記事を書いてみました。 今日はデータベースの操作を行う言語『SQL』を実践的に学習できるサイトを発見したので、それについて書いていこうと思います。 SQLってなに？ ブラウザ上でSQLの学習ができるサイト 日本語でのSQL学習 SQLってなに？ SQLを知らない方のためにSQLについて簡単に説明しておくと、例えばネットショップで買い物をする時にこんな感じで「会員情報」「送付先」」「購入品」を登録しますよね。 【会員情報】 【送付先】 【購入品】 すると、ブラウザから入力された情報は、SQLを使ってこんな感じでデータベースに書き込まれます。 【会員テーブル】 【送付先テーブ】 【売上テーブル】 こんな風にブラウザから送られた情報をデータベースに書き込んだり、蓄積された
q·CSVファイルや標準入力にクエリを実行できるコマンドラインツール MOONGIFT
q はCSV形式やTAB区切りのテキストファイルを入力として、コマンドラインでSQLに似たクエリを指定し実行することができます。また、標準入力を使った入力やパイプで接続して利用することができるソフトウェアです。 q の主な特徴 1) ZIP形式で圧縮したテキスト・ファイルも指定可能 コマンドラインオプション -z もしくは --gzipped を指定することで、ZIP形式ファイルを入力することができます。解凍せずにファイルを使用できるのは便利です。拡張子が .gz であれば、ZIP形式であると自動認識します。 -z, --gzipped Data is gzipped. Useful for reading from stdin. For files, .gz means automatic gunzipping 2) すべての文字エンコーディングをサポート 入力と出力の両方で、すべての文
CSV/TSVに対してSQL発行できるツール「q」 | DevelopersIO
今日はCSV/TSVなどのテキストファイルをSQLで操作できるツール「q」の紹介です。 使いどころ データ処理を実施する時にはDBに保存されているデータやテキストファイルなどをCSVやTSV等の一定のフォーマットに変換して処理することが多いと思います。そのデータ内容を確認するときには、例えばExcel等に貼り付けることもあると思います。ただ、Excelではデータ量が数百万件規模になってくるとソフトウェアの制約上、処理が行えません。 データベースに保存されている大量のデータを処理・取得する際によく用いられるのはSQLです。SQLはデータ操作のための非常によくできたインターフェースであり、かなりの数のエンジニアが利用できるのではないでしょうか。 単純なCSVファイルに対してもSQLを利用して検索が実施できれば楽だと思って探していたところ、「q」にたどり着きました。 インストール qには様々なイ
「理論から学ぶデータベース実践入門 ― リレーショナルモデルによる効率的なSQL」 - tmtms のメモ
理論から学ぶデータベース実践入門 ~リレーショナルモデルによる効率的なSQL (WEB+DB PRESS plus) 作者: 奥野幹也出版社/メーカー: 技術評論社発売日: 2015/03/10メディア: 単行本（ソフトカバー）この商品を含むブログ (9件) を見る ひょんなことから著者の奥野さんから頂きました。読み終えたのは3月頭なのに、2ヶ月も経ってからブログを書くという遅筆ぶりです。 この本はもともと2月末に発売予定だったらしいのですが、3/10に販売延期になりました。 『理論から学ぶデータベース実践入門』 発売延期及びテスト販売購入のお客様への書籍交換対応のお詫びとお知らせ：重要なお知らせ｜技術評論社 テスト販売という限られた部数とはいえ、一旦販売したものを正誤表対応ではなく刷り直して交換対応というのは、電子書籍ならともかく、紙の書籍でやるとはすばらしいです。神対応と言ってもいいの
[SQL Server]DB内で発行されたSQLを確認する
前書きうっかりSQL Server Profilerを起動し忘れてたとか、ちょろっと確認したい時に便利です。 発行されたSQLをキャッシュから取得する実際に発行されたSQLはsys.dm_exec_sql_text関数で取得することが出来ます。 引数となるsql_handleはsys.dm_exec_query_statsと言うシステムビューの中にあります。流石に無限にストレージはしないので、遠い昔に発行されたSQLは取れません。 コードSELECT st.text FROM sys.dm_exec_query_stats qs CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) st まとめsys.dm_exec_query_statsのカラムを使って「どのクエリが重たいか」とかを調べることが出来ます。「このクエリはどのストアドプロシージャから
![[SQL Server]DB内で発行されたSQLを確認する](https://cdn-ak-scissors.b.st-hatena.com/image/square/90eb2958e42491074ba3b8e136706c060c1c0ee5/height=288;version=1;width=512/https%3A%2F%2F66.media.tumblr.com%2Favatar_40dd84613d3b_512.pnj){kind=avatar}
SQLServerの再帰SQLで歯抜けの日付データを取得する
処理が自動実行(バッチ処理）で実行された日付を管理しているテーブルから、処理が実行されなかった日（歯抜けの日付データ）を抜き出す必要があったのでSQLを作ってみました。 再帰SQLを使って歯抜けの日付データを取得 処理が自動実行(バッチ処理）で実行された日付を管理しているテーブルから、処理が実行されなかった日（歯抜けの日付データ）を抜き出す必要があったのでSQLを作ってみました。 歯抜けの日付けデータを取得するSQL WITH cal_info AS ( SELECT CAST( ‘2013/04/25’ AS DATE ) AS cal_date UNION ALL SELECT DATEADD( day, 1, cal_date ) FROM cal_info WHERE cal_info.cal_date < '2013/05/10' ) SELECT CONVERT ( VARCH
『SQLServer:グローバル一時テーブルを使用した排他制御』
グローバル一時テーブルを使用して排他制御をプログラム。 まず、一時テーブルの特徴として 1.一時テーブルは、システムが暗黙的に削除する 主に同一セッション 内のテーブルを作成したスコープからのみ参照でき、テーブルを作成したスコープの終了とともに自動的に削除される。 2.一時テーブルは、システムデータベース（tempdb）内に作成される。 ※テーブルの存在チェックをするとき（テーブル名で曖昧検索時）は以下のようにする。 SELECT * FROM tempdb.dbo.sysobjects WHERE Name LIKE '#Tablel%' 一時テーブルは２種類 1.ローカル一時テーブル（＃が一つ） 作成したユーザだけが利用できる一時テーブル。 ユーザがセッションを切断するときに削除される。 2.グローバル一時テーブル（＃が2つ） データベース内の全ユーザが利用できる一時テーブル。 一時テ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
