1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
非エンジニアが最速でSQLをマスターする方法 - Gunosy Tech Blog
こんにちは、データ分析部の石塚です。 Gunosyではエンジニア以外の職種でもSQLを叩いて自らデータを集計・分析するという習慣と全社員が各サービスのログ*1に触ることができる環境があります。 例えば、ユーザー獲得を担っているプロモーションチームはエンジニアが0名のチームなのですが、実際にSQLを叩いています。 それによって、自分たちの獲得したユーザーはどのような行動をしているのかを確認したり、分析することができています。 これはGunosyのみの事例ではなく、AWSのRedshiftやAthena、GCPのBigQueryが台頭してきたおかげで、どの会社も低コストにログをSQLで集計・分析できる基盤が整ってきています。 個人的にはアプリやウェブの業界で働くマーケターにはSQLは必須の知識と言える時代になってきたと感じています。 そこで今回は特別プログラミングなどの経験が無い人でも、SQL
PostgreSQLの実行計画を読み解くための参考資料集 - ぱと隊長日誌
はじめに PostgreSQLは商用DBに比べて書籍が少なく、まとまった情報が入手しにくいです。また、有志の方がPostgreSQLに関する資料を公開していますが、散在しており、せっかくの有益な情報にアクセスしにくい状況にあります。 そこで、本エントリではPostgreSQLの実行計画に焦点を絞り、公開されている有用な資料（書籍含む）をまとめました。読み返したい資料を探しやすくするため、内容のポイントも併せて紹介してます。 本エントリをきっかけに、これらの資料がさらに活用されることを願っています。 前提 各資料の前提としているPostgreSQLのバージョンは異なることにご注意ください。調査対象のPostgreSQLのバージョンが異なれば、状況は変わっているかもしれません。 各資料には内容の重複があり、ほぼ同一内容の場合もあります。重複している内容についてはポイントから割愛することがありま
リレーショナルデータベースの仕組み (1/3) | POSTD
リレーショナルデータベースが話題に挙がるとき、私は何かが足りないと思わずにはいられません。データベースはあらゆるところで使われており、その種類も、小規模で便利なSQLiteからパワフルなTeradataまで様々です。しかし、それがどういう仕組みで機能しているかを説明したものとなると、その数はごくわずかではないでしょうか。例えば「リレーショナルデータベース 仕組み」などで検索してみてください。ヒット数の少なさを実感できると思います。さらにそれらの記事は短いものがほとんどです。逆に、近年流行している技術（ビッグデータ、NoSQL、JavaScriptなど）を検索した場合、それらの機能を詳しく説明した記事はたくさん見つかると思います。 リレーショナルデータベースは、もはや大学の授業や研究論文、専門書などでしか扱われないような古くて退屈な技術なのでしょうか？ 私は開発者として、理解していないものを
第2回 SQL流条件分岐（2） 列の交換 | gihyo.jp
言い方を変えると、順序を意識した「順序集合」を、順序を無視した「非順序集合」へ変換する、ということです。あるいは、学校で習った馴染み深い表現を使うなら、順列（Permutation）を組み合わせ（Combination）へ変換するのです。 CASE式を使えばこんなことも朝飯前です。リスト3のクエリを見てください（図3は実行結果）。 リスト3 組み合わせ⇒順列（重複行排除前） SELECT CASE WHEN item_1 < item_2 THEN item_1 ELSE item_2 END AS c1, CASE WHEN item_1 < item_2 THEN item_2 ELSE item_1 END AS c2 FROM Perm2; 図3 リスト3の実行結果 c1 c2 --------- --------- 時計 浄水器 携帯電話 携帯電話 時計 浄水器 携帯電話 携
SQLデータベースに正しインデックスを作るのは 誰の役割？
SQLのパフォーマンス問題は、SQLそのものと同じぐらいの歴史がある―― ある人は、SQLはそもそも遅いものだとすら言うかもしれません。これは、SQLの歴史が始まった頃は正しかったかもしれませんが、今となっては全く 当てはまらないでしょう。にもかかわらず、SQLのパフォーマンス問題は今も一般的でよくあることです。どうしてそうなってしまうのでしょうか？ SQL言語は、恐らく最も成功した第4世代言語(4GL)でしょう。その最大の利点は、「何を」と「どのように」 を分離できることです。SQL文は、どのようにそれを実行するかを記述せずに、単純に 何を必要としているかのみの記述になっています。以下のような例を考えてみましょう。 SELECT date_of_birth FROM employees WHERE last_name = 'WINAND'SQLのクエリは、データを要求する英語の文として読
忙しいあなたのためのSQL入門---目次
この連載は，これからデータベース・システムの開発を始める人，あるいは実際には開発にかかわらなくても，基礎知識の一つとしてデータベース・システム関連の用語の意味を知りたい人を対象として，短期間でSQLとデータベースの全体像を把握していただくことを目的としたものです。 第1回（1） SQLを学ぶ前に(1) 第1回（2） SQLを学ぶ前に(2)SQLがなぜ必要なのか？ 第1回（3） SQLを学ぶ前に(3)リレーショナル・データベースとは 第2回（1） SQLの基礎(1)SQLの基本構文 第2回（2） SQLの基礎(2)SQLのデータ型はDBMSに依存する 第3回（1） SELECT文を制する者はSQLを制す(1)SELECT文を使いこなそう 第3回（2） SELECT文を制する者はSQLを制す(2)論理演算子AND，OR，NOT 第4回（1） 挿入，更新，削除，及びSQLの関数（1）データの挿入
国土交通省のデータを使って、緯度経度から市区町村までを取り出す - Qiita
FrogApps 技術ブログ始めました！ RailsやiOS、HTML5の情報を発信中!! → http://qiita.com/teams/frogapps ここ数年、位置情報を使ったアプリ・サービスが増えましたが、GPSから取得出来る緯度経度だけではデータとして使いにくい事があります。 GoogleのGeocodingサービスなどで、緯度経度から住所への変換ができますが、件数や速度の問題があります。 そこで、国土交通省のデータを元に、緯度経度から住所への変換を行ってみましょう。 国土数値情報ダウンロードサービス http://nlftp.mlit.go.jp/ksj/gml/datalist/KsjTmplt-N03.html から全都道府県を選択。最新の情報を全都道府県分選択します。 PostGISのセットアップ http://trac.osgeo.org/postgis/wiki/
Oracleで使うSQLの基礎を学ぶ
2005年3月16日からは試験時間と問題数が変更されました。以前は120分で56問でしたが、問題数が少なくなり90分で40問になりました。ただし以前は71％だった合格点の割合は、変更後も70％ですので難易度は変わりません。問題数が少なくなった分、いかに各設問に正解するかが重要です。また、以前はオブジェクトの作成関連はほとんど出題されていませんでしたが、試験が変更されてからはかなりの問題数が出題されています。 ではBronze SQL 基礎 Iの範囲に沿って各種問題を解きながら解説していきましょう。 基本的なSELECT文の作成 理解しておきたいこと 1. 確認しておきたい内容 SELECT文の機能 基本的なSELECT文の実行 SQL文とiSQL*Plus（SQL*Plus）コマンドの区別 2. SQL文の区分 SQL（Structured Query Language：構造化問い合わせ言
Part1 3本柱で完全マスターするデータベースの基本 - データベースを基本から理解する：selfup
「データベース」と聞いてどのように思うでしょうか。「何か難しそうで自分には関係ないもの」と感じられる人もいるかもしれません。確かに，企業システムで使っている顧客管理データベースや売上管理データベースは大規模で複雑なものが多く，職業プログラマ以外の方にはとても手におえそうにありません。 でも，データベースが活躍するのは，企業システムだけではありません。例えば，同窓会名簿など個人で使うちょっとしたアプリケーションも，データベースを使うことでずいぶん楽に作れるようになるのです。 あるいは，「データベースだったら，年賀状作成ソフトについている住所管理データベースをずいぶん前から使っているよ」という方もいるかもしれません。そうした方はきっとデータベースの便利さを実感していますから，改めてご利益を説明する必要はないでしょう。この特集を読んで，データベースの中身や仕組みについての理解を深めてください。デ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPUとSSDがPostgreSQLを加速する～クエリ処理スループット10GB/sへの挑戦～ [DB Tech Showcase Tokyo/2017]![GPUとSSDがPostgreSQLを加速する～クエリ処理スループット10GB/sへの挑戦～ [DB Tech Showcase Tokyo/2017]](https://cdn-ak-scissors.b.st-hatena.com/image/square/255658386c37b7f0c6de69ed4efa7023f74b1176/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20170906dbtsgpussdacceleratespostgresqljp-170906073226-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
GitHub - anilogia/animedb: 約100年に渡るアニメ作品リストデータベース
ヤフー社内でやってるMySQLチューニングセミナー大公開