第4回 NoSQLとSQLの使いどころを知ろう | gihyo.jp
本記事は、『Software Design 2019年8月号』の第2特集「ゲームを題材に学ぶ 内部構造から理解するMySQL」をWeb掲載用に再編集したものです。 本記事のテーマを、より基本的なところから丁寧に解説した『SQLの苦手を克服する本 データの操作がイメージできれば誰でもできる』が2019年8月26日に発売されました。本記事と併せてご活用ください。 「NoSQLはRDBMSより高速」は本当か？ NoSQLが登場したころ（あるいは、今でも）、「NoSQLはRDBMSに比べて20倍高速」などというホワイトペーパーが出たりすることがあり、「20倍」という表現が独り歩きすることがよくありました。この倍率については、レコード長やページサイズ、その他もろもろのチューニング項目をどうするかで、いかようにも変化しますからほぼ意味がないうえ、実際のシステムでそれほどの差が出ることはありませ
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
Big Sky :: UNIX コマンドを SQL で抽出できるツール qq を作った。
昨日僕の Twitter タイムラインで q というツールが話題に上がっていました。 GitHub - harelba/q: q - Run SQL directly on CSV or TSV files Text as Data q is a command line tool that allows direct execution of SQL-like q... https://github.com/harelba/q 標準入力を SQL で抽出できるという物です。ただ個人的には「こういうの python じゃなくて Go でビルドされてると助かるよなー」と思ったので q と同じ様な動作になるツールを作ってみました。 GitHub - mattn/qq Select stdin with query https://github.com/mattn/qq 例えば msys2 のシ
jOOQ (Java Object Oriented Querying) の使い方の紹介 - 愛と勇気と缶ビール
jOOQ (http://www.jooq.org/) についてのメモ。 jOOQは、type safeかつdatabase orientedなクエリビルダーである。 database orientedなので、「アプリケーションからDBのことなんて全然意識したくないねん」的な思想に基いて作られた類のプロダクトとは異なり、思い通りのSQLを生成できるようになっている。 以下gradle前提で。version等はよしなに。 gradle dependenciesはこんな感じ compile 'org.jooq:jooq:3.7.1' compile 'org.jooq:jooq-meta:3.7.1' テーブル等に相当するクラスをgradle taskから生成するためにbuildscriptのdependenciesにも以下をかいておく classpath 'org.jooq:jooq-cod
現代のエンジニアのための強力なメモ帳 Jupyter notebookのすゝめ - クックパッド開発者ブログ
会員事業部の有賀(id:chezou)です。 今年一年、社内では勝手に"Jupyterの伝道師"を標榜してJupyter notebookの普及活動を展開してきました。 先日、社内でハンズオンも行ったおかげもあり、かなり社内のマシンにPython環境が構築されてきました :) Jupyter notebookとは？ ひとことで言うとブラウザで動くすごい便利なREPL*1です。 百聞は一見にしかず、見てみましょう。 このように、Rubyの対話環境であるpryを触っているようにインタラクティブにコードを書くことができます。 以降で説明をしますが、Jupyter notebookは記録・共有・再現がとても得意です。特に図表があるときにその効果を発揮します。 Jupyter notebookの良い所 過去のコードを改変、再実行できる セルと呼ばれる入力部分にはMarkdownやコードが記述できます
「A5:SQL Mk-2」 - 強力な入力補完や実行計画の取得などで作業を大幅に効率化するフリーの高機能SQL開発環境
データベース開発支援用の高機能SQL開発環境。テーブル定義書をリバース生成したり、ER図を作成したりすることも可能。軽快に動作する。「A5:SQL Mk-2」は、リレーショナルデータベース（RDBMS）を操作・定義するための言語「SQL」を対話的に作成・編集・実行できるSQL開発環境。 強力なSQL入力補完機能、Insert入力支援機能を備えたSQLエディタパフォーマンス上、問題のありそうな個所を確認し、修正できる実行計画取得機能（PostgreSQL、MySQLなどに対応）インデントを制御したり、大文字・小文字変換したりできるSQL整形機能をはじめ、便利な機能を数多く搭載。SQLでの開発効率を大幅に向上させてくれる。Oracle、PostgreSQL、MySQL、SQLiteには直接、接続することが可能。そのほかのデータベースにもOCI、ADOまたはODBCなどを経由して接続できる。「A
CSV形式のデータをSQLを使って解析する - Qiita
q を利用すると、CSVやTSV形式のファイルに対して直接SQLを発行できます。 インストール手順 http://harelba.github.io/q/ qを使ったデータ解析の例 以下の様な受注データのCSV (ファイル名はorders.csv) が手元にあった時。 OrderId,OrderDate,ProductID,UserID,Quantity,TotalPrice 10000005,2015/2/13,100,10000,1,10000 10000006,2015/2/13,101,10001,2,2000 10000007,2015/2/13,102,10002,3,6000 10000008,2015/2/13,100,10003,1,10000 10000009,2015/2/13,101,10004,2,2000 10000010,2015/2/14,100,10005
Apache Drill 1.0がリリースされたのでAmazon S3と連携してみた | DevelopersIO
はじめに Apache Drill 1.0がリリースされました！ Drill 1.0 Released Apache Drillは、NoSQL向けのSQLクエリエンジンで、ファイルシステム上のJSON/CSV/Parquetなどのファイル、Hiveソース、HBase、MongoDBなどに直接SQLクエリを投げることが出来ます。 何はともあれ、触ってみないとどんなモノなのかわかりません。早速試してみました！ やってみた 試した環境はEC2(on Amazon Linux 2015.03)です。 セットアップ Drillの動作にはJDK 7が必要になりますので、インストールされていることを確認します。 $ java -version java version "1.7.0_79" OpenJDK Runtime Environment (amzn-2.5.5.1.59.amzn1-x86_64
はじめに［SQL実践入門──高速でわかりやすいクエリの書き方｜gihyo.jp … 技術評論社
本書の目的は，パフォーマンスの良いSQLの書き方，特に大量データを処理するSQLの性能向上の方法を理解することです。SQLの第一の目的は，ユーザが欲しいと思ったデータを選択すること，あるいは望んだ結果になるようデータを更新することです。通常のプログラミング言語と同様，一つの目的を実現するSQLの書き方は複数あり，それらの間には機能的には差異はなくても，パフォーマンスには大きな差が生じることが頻繁に起こります。したがって，SQLの組み立てを行うにあたっても，効率やパフォーマンスを重視した書き方が求められることが多くあります。 アプリケーション開発者の方の中には，普段あまりDBMSの内部アーキテクチャやストレージといった下位層を意識せず，データベースをブラックボックスとして扱っている人も多いでしょう。実際，データベースの扱うデータ量が少なければ，そのスタンスでも十分実用に堪えるシステムが作れる
新著が出ます：『SQL実践入門』 - ミックのブログ
4月中旬ころになりますが、新著が出ます。SQLのパフォーマンスを主題にした本で、実行計画を読むことで、なぜこのSQLは遅いのか、あるいは速いのかをデータベースの内部動作まで把握して理解しよう、という趣旨です。 リレーショナルデータベースというのは、SQLという自然言語を模したインタフェースによって、低次のレイヤーを隠蔽する意図で作られたミドルウェアなので、本当は実行計画などという手続レベルの世界をユーザが覗き見るのは、本末転倒なところもあります。ただそうはいっても、現実にSQLが遅かったら原因を解析せざるをえないわけだし、大体本当にブラックボックスにしたいなら、なんでどのDBMSも実行計画を見られる手段なんか用意してるんでしょうね不思議ですね、という理想と現実の狭間で悩むエンジニアの方々に少しでもベターな解に辿りつけるアプローチを提示できれば、と考えております。 以下まえがきと章立てです。
ジョエル・スポルスキー氏の「StackOverflow.com」、構成はわずか4台のPCサーバ
元マイクロソフトのプログラマで書籍「Joel on Software」などでも知られる著名なプログラマであるジョエル・スポルスキー氏が立ち上げた、プログラマ向けのQ＆Aサイト「Stack Overflow」。 月間1600万ページビュー、300万ユニークビジターのこのWebサイトがどのような構成になっているのか、Webサイト「High Scalability」の記事「Stack Overflow Architecture」に分かりやすいまとめが掲載されていました。 最大の特徴はスケールアップ型 Stack Overflowの特徴は2つあります。1つはスケールアップ型のアーキテクチャだということです。現代のマルチコア、大容量メモリ、パラレルプログラミング技術においては、スケールアップ型のアーキテクチャも重要な選択肢だと記事では説明しています。 その説明の通りStack Overflowでは、
JavaでRDBデッドロック検出 - Qiita
http://cs.hatenablog.jp/entry/2013/07/09/234554 RDB操作でデッドロックは不可避です。ご確認ください。 DBでのデッドロックの発生は、直ちにシステムが停止することを意味しません。DBMSはデッドロック発生を検出してトランザクションを失敗させる機能を持っているからです。 アプリケーションの開発者がすべきことはただ一点、 デッドロック検出時のリトライ です。更新処理だけじゃないです。参照処理でも忘れちゃいけません。約束です。 Javaの場合デッドロック発生はコード的にどう検知すればいいかというと、SQLExceptionが内部にSQLSTATEというRDB共通のエラー番号を持っているのでこれで判別可能となっています。 SQLSTATEの一覧は日立さんのこのまとめが役に立ちます。拝承。 http://www.hitachi.co.jp/Prod/c
sqlt-diagram - 気軽に簡単にデータベースのダイアグラムを作成するソフトウェア MOONGIFT
sqlt-diagram はPerl製のオープンソース・ソフトウェアです。データベース構造を示すスキーマからイメージファイルを作成するCUIのソフトウェアになります。面倒な設定は必要ありません。テーブル構造やテーブル同士の相関を気軽に確認できる便利なソフトウェアです。 sqlt-diagram の主な特徴 1) 面倒な設定は不要 コマンドラインでデータベースの種類、出力先、スキーマを記したファイル名を指定するだけです。以下は実行例となります。データベースは SQLite で、PNG形式の画像を出力します。 sqlt-diagram -d=SQLite -o=sample.png sample.sql 2) 画像は PNG/JPEGが選択可能 既定値はPNG形式となります。 3) フォント・サイズを4種類 small、medium、large、huge の４種類を指定できます。既定値は me
開発者のためのSQLパフォーマンスの全て
前書き - インデックスの作成はなぜ開発者のタスクなのか インデックスの 内部構造 - インデックスは何に似ているか インデックス リーフノード - 二重連結リスト 検索 ツリー(Bツリー) - バランス木 遅いインデックス パートI - インデックスを遅くする2つの原因 where 句 - 検索のパフォーマンスを改善するためにインデックスを作成 等価 演算子 - 一致するキーの検索 プライマリキー - インデックスの使い方を確認 複合インデックス - 複数列に対するインデックス 遅いインデックス パートII - 前の問題点が再び 関数 - where句の 中での関数 大文字・小文字を区別する 検索 - UPPERと LOWER ユーザ定義 関数 - 関数インデックスの制限 インデックスの作り過ぎ - 冗長性の排除法 パラメータ化 クエリ - セキュリティとパフォーマンスのために 範囲 検
SQLのIN句で複数の条件を指定する - しょぼんメモリ （´・ω・｀）
SQLのIN句で複数の条件を指定する方法のメモ。 PostgreSQL 8.4 で確認。 適当なテーブルを作成 $ createdb in_test_db $ psql in_test_db in_test_db=> CREATE TABLE sample(id serial primary key, name text default '', age integer default 0); NOTICE: CREATE TABLEはシリアル列"sample.id"用に暗黙的なシーケンス"sample_id_seq"を作成します。 NOTICE: CREATE TABLE / PRIMARY KEYはテーブル"sample"に暗黙的なインデックス"sample_pkey"を作成します CREATE TABLE テストデータ投入 in_test_db=> INSERT INTO sample
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MyBatis 使い方メモ - Qiita
MySQLで簡単にランダムなテストデータを作成する方法 - Qiita
SQL実践入門 ──高速でわかりやすいクエリの書き方 | Gihyo Digital Publishing … 技術評論社の電子書籍
営業さんまで、社員全員がSQLを使う 「越境型組織」 ができるまでの3+1のポイント | リブセンス
https://jp.techcrunch.com/2014/12/15/20141213foundationdb-and-the-new-nosql/
