SQL Serverのインデックスの理解を深める - Qiita
SQL Serverのインデックスの理解を深める はじめに 「インデックスを作成すれば早くなる」という認識はあったものの、実際インデックスがどのような仕組みになっているのか詳しいことが理解できていなかったので、まとめてみました。 前半は、インデックスや、データベースの構造についてまとめています。 後半は、実際にデータベースにインデックスを作成する手順や、インデックスを使ったことによって本当に処理が高速化されているのか確認する方法などについてまとめています。 参考にした書籍はこちらです。 平山 理 著『絵で見てわかるSQL Serverの仕組み』 インデックスの仕組みについて そもそもインデックスとは テーブルへの処理を高速化するためのデータ構造です。索引（さくいん）ともいいます。 本で例えると、特定の項目のページを探す場合、索引を使わなければ全ページを順番に調べる必要があり検索に時間がかか
トランザクション分離レベルについてのまとめ - Qiita
※ InnoDBはREPEATABLE READでもファントムリードが発生しません。 MySQLで実際に試す MySQL(InnoDB)でトランザクション分離レベルを実際に試してみます。 準備 プレイヤーのコイン数を表す簡単なテーブルを作ります。 テーブル構造は次のようになります。 テーブルにplayer1とplayer2のデータを追加します。 2つのターミナルからMySQLに接続します。クライアントAとクライアントBとします(以下はAとBと呼ぶ)。 これで準備は完了です。 READ UNCOMMITTED READ UNCOMMITTEDは一番低いレベルです。 コミットされていない変更を他のトランザクションから参照できる設定です。 ① Aで現在接続中のセッションのトランザクション分離レベルをREAD UNCOMMITTEDに設定して、テーブルを検索します。 ② BでREAD COMMIT
SQLの基本から高度な検索・集計方法の応用テクニック
SELECT句の基本SELECT句の基本的な使い方について説明します。 FROM句：テーブルの結合の考え方FROM句の基本と内部結合（INNER JOIN）について説明します。 FROM句：外部結合（LEFT OUTER JOIN）の考え方外部結合（LEFT OUTER JOIN）の考え方について説明します。 WHERE句でデータを絞り込むWHERE句でデータを絞り込む方法について説明します。取得するデータを絞り込むには、WHERE句で条件を指定します。 ORDER BY句で取得したデータを並び替えるORDER BY句で取得したデータを並び替える（ソート）方法について説明します。取得するデータを並び替えるには、ORDER BY句でソートしたいカラムを指定します。 GROUP BY句でデータの集計・集約を行うGROUP BY句の考え方、複数行を1行に集約する方法、集計関数についてなどを説明し
sql-mode で Emacs の中からクエリを実行する - 雑文発散(2015-08-17)
▼ [Emacs] sql-mode で Emacs の中からクエリを実行する せっかく手元に PostgreSQL 環境を作ったし、Emacs も新しくしたし、そろそろまともに sql-mode を使ってみようかなと思って試してみたのでちょっとまとめた。 このあたりの記事を参考にした。 EmacsでインタラクティブにSQLを使うための設定(sql.el) Setup Emacs as an SQL Database client - Part 1 とは言え、自分の設定は上の記事に書かれているものよりだいぶシンプル。あとで必要なら足せばいいかなくらいの感じ。 (eval-after-load "sql" '(load-library "sql-indent")) (defun sql-mode-hooks() (setq sql-indent-offset 2) (setq indent-
『ビッグデータ分析・活用のためのSQLレシピ』はデータ分析でSQLクエリを叩く人なら必読の黒魔術大全 - 渋谷駅前で働くデータサイエンティストのブログ
こちらの本をご恵贈いただきました。 ビッグデータ分析・活用のためのSQLレシピ 作者: 加嵜長門,田宮直人出版社/メーカー: マイナビ出版発売日: 2017/03/27メディア: Kindle版この商品を含むブログを見る 一般的なSQLの本というのはDB管理の一環としてのインフラエンジニア向けの技術書であることが多く、意外にもデータ分析を主目的としたSQLの使い方やクエリの工夫の仕方について書かれた本というのはあまり多くないんですよね。故に、多くのデータ分析者は難解なテーマを実現するクエリを書きたくても参考になる資料が乏しく、途方に暮れるわけです。僕もHive / Redshift / BigQueryのクエリを書きながら「こんな分析がしたいんだけど、それを実現できるクエリってないよなぁ。。。」と何度天を仰いだことか。 そんなところに突然降って湧いてきたのがこちらの新刊書。もう目次を見ただ
PL/CUDAでk-means法を実装する - KaiGaiの俺メモ
前回のエントリでは、CBI学会で発表を行った、PL/CUDAによる類似化合物の検索について説明した。 今回は、コレとはまた別のワークロードに対する応用という事で、クラスタリング処理のIn-Database実装に挑戦してみた。 トライしてみたのは k-means法 によるクラスタリング。非階層クラスタリングの領域では最も頻繁に使用される（と、言われている）アルゴリズムで、計算量もそこそこ大きい。 k-meansクラスタリングとは 教師なし学習方式の一つで、所与のデータ群を一定数(=k個)のグループに分類するためのアルゴリズムである。 以下のステップを一定回数、またはクラスタに属するデータ群に変化がなくなるまで繰り返す。 １．初期クラスタをランダムに設定する。 ２．各クラスタの中心点を計算する。 ３．各データ要素の属するクラスタを更新する。各データ要素はクラスタ中心点が最も近傍であるクラスタに
pandasql: Make python speak SQL
Introduction One of my favorite things about Python is that users get the benefit of observing the R community and then emulating the best parts of it. I'm a big believer that a language is only as helpful as its libraries and tools. This post is about pandasql, a Python package we (Yhat) wrote that emulates the R package sqldf. It's a small but mighty library comprised of just 358 lines of code.
HRR: Project top page
What is HRR? Haskell Relational Record (HRR) is a query generator based on typed relational algebra and correspondence between SQL value lists and Haskell record types, which provide programming interfaces to Relational DataBase Management Systems (RDBMS). Abstracted - relations are expressed as high level expressions and they are translated into SQL statements. Drivers are provided for DB2, Postg
Outsmarting Go dependencies in testing code
Reading time: 9 minutes Writing good tests is tricky when the system has a lot of moving parts. When using Go’s testing infrastructure, tests that involve multiple modules can cause dependency cycles which are not allowed by the compiler. In this post we will go over a technique we devised to break these dependency cycles. Background The CockroachDB Go code base is split up into various packages;
dataset 1.6.2 documentation
Although managing data in relational databases has plenty of benefits, they’re rarely used in day-to-day work with small to medium scale datasets. But why is that? Why do we see an awful lot of data stored in static files in CSV or JSON format, even though they are hard to query and update incrementally? The answer is that programmers are lazy, and thus they tend to prefer the easiest solution the
気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 | DevelopersIO
始めに 私は8年ほど前に情報処理試験でデータウェアハウスというものがあるということを知りました。当時は4択問題で問題文に 意思決定支援 というキーワードが出てきたら何なのかよく分かんないけど選択してました。それからずっと興味がありながら実物に触ったことはなかったのですが、クラウド型のデータウェアハウスが登場し触る機会を得ることができました。以前に比べデータウェアハウスはかなり身近なものになってきたのではないでしょうか。弊社でもAmazon RedshiftというAWSのサービスを利用した案件が増えてきています。 クラスメソッド、POSデータ数十億件をリアルタイム分析する基盤を「Amazon Redshift」「Tableau」で開発 この記事ではデータウェアハウスの知識から分析ツールを使ってAmazon Redshiftに接続するところまで簡単にまとめています。実際にどんなものか、触ったこ
ŷhat | SQL for pandas DataFrames
@blcartwright This post has a good example of connecting R to various DB drivers, along with other useful R packages. blog.yhathq.com/posts/10-R-pac? — Albert Lyu (@thinkbluecrew) February 19, 2013 10 R packages I wish I knew about earlier zite.to/YThLiN > including RODBC for getting data from SQL Server — Phil_Factor (@Phil_Factor) February 12, 2013 R packages I wish I knew about earlier bit.ly/1
Pythonで色々なデータベースを操作する - Qiita
Pythonで主だったデータベースを操作する方法を記述する。 Pythonは2.xと3.x両方でWindows環境で実行している。 また、テストデータは下記のページのT01Prefecture.zipを解凍してテーブルとデータを使うものとする。 PHPプログラミング初心者入門講座 http://php5.seesaa.net/article/61269550.html MySQL 環境 Python2.7 または3.3 MySQL 5.6.15 データベースの設定 テーブル CREATE TABLE `t01prefecture` ( `PREF_CD` int(3) NOT NULL DEFAULT '0', `PREF_NAME` varchar(10) DEFAULT NULL, PRIMARY KEY (`PREF_CD`) ) ENGINE=InnoDB D DELIMITER
SQLite + Pythonユーザ定義関数組込で進捗ダメじゃないですになりました - あんちべ！
概要 これまで「Hiveからデータ取得・簡単な加工→Pythonで加工・分析」 という流れで作業していたのですが、 Hive→SQLite→Pythonという流れにしたところ進捗が改善されたので、 SQLiteの簡単な使い方とPythonによるSQLユーザ定義関数の組込方法 についてメモを残しておきます。 特にユーザ定義関数の組込を自由に出来ると、 分析する際、相当楽になるということに気付きました。 SQLite挟むことで何がどう改善されたの？ Hiveはデカいデータをゴリゴリ取ってくる分には SQLちょっと書くだけで済むので大変便利ですが、 初動遅いためちょこちょこ小さいデータを何度も取ろうとするとストレス溜まります。 そのため、これまではある程度のデータをまとめてHiveで落としてきて Pythonで加工してから分析するという流れを取っていました。 ただ加工するために似たようなコード何
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQuery public datasets | Google Cloud
csvや標準入力をsqlで取得できるqコマンド - Qiita
逆引きSQL構文集
https://blog.yuku-t.com/entry/20110723/1311387822
オブジェクトリレーショナルマッパ チュートリアル — SQLAlchemy 0.6.5 ドキュメント (和訳)