大規模分散データベースが実用期へ、「分散×SQL」に多くのメリット
分散アーキテクチャーを持ちながら、SQLインターフェースを備える「大規模分散データベース」が実用期を迎えている。専業ベンダーの製品強化に加えて、メガクラウドがサービスを拡充。それらを活用し、拡張性や無停止運用、コスト削減といったメリットを享受するユーザーが増えてきた。ベンダーやユーザーへの取材から、その実力を探った。 第3回 分散DB「Yugabyte」「TiDB」は自由度が強み、OracleやIBM製品の置き換えも狙う データを分散配置して拡張性を担保しながらSQLを利用できる大規模分散データベース、いわゆる「NewSQL」。今回は専業ベンダーの製品を取り上げる。YugabyteDBの「YugabyteDB Aeon」やPingCAPの「TiDB」などだ。 2025.02.06 第2回 3大クラウドが分散DBの開発で競う、老舗のGoogle「Spanner」を追撃へ 大手クラウドベンダー
SQLite のおもしろ仕様 (2) : ファイルフォーマット - kawasin73のブログ
後方互換性って辛いね、どうもかわしんです。 最近 Rust で SQLite をフルスクラッチで再実装しています。 github.com 再実装するために SQLite の公式ドキュメントやソースコードを読み込んでいるわけですが、その過程で気付いたおもしろポイントを共有しようかと思います。 今回はその第二弾、ファイルフォーマット編です。第一弾はこちら：SQLite のおもしろ仕様 (1) : データ型 - kawasin73のブログ 前提知識 : ページ まず、この記事を面白いと思ってもらうための前提知識です。 大抵のデータベースはデータを保存するファイルをページという単位で管理します。SQLite ではデフォルトでは 1 ページ 4096 バイトです。これは、ファイルを保存するデバイス（HDD や SSD など）としてブロックデバイスを想定しているからです。ブロックデバイスとはデータの読
Pandas で SQLite の Upsert(車輪の再開発) - Qiita
PandasでUpsertが待ちきれず、自作してみた PandasのSql Upsertを試してみた を見て、Upsert なる言い方を知った（SQLiteの"INSERT OR REPLACE"は大昔使っていたけど） これこれ、と思ったけど、まだリリースされていないいし(21年4月現在)、なんとPandas の to_sqlだと、primary keyやunique keyが作れない。 （SQLTable/SQLiteTableにはkeysで指定できるけど、to_sqlにない。Why?） とりあえず、下記を参考にして、SQLite専用だけどUpsertを作ってみた。 Python Pandas to_sql, how to create a table with a primary key? def upsert(frame, name: str, unique_index_label,
PandasのSql Upsertを試してみた - Qiita
はじめに 多様なリソースからデータベースを構築するために，データ成形にはpandasを用いることが多いです．そのため pandasで作ったデータ -> DataBase というフローをスムーズに行うことが肝になります． いままではreplaceとappendしかなかったため，pandas側で頑張って成形してから更新するしかありませんでした．(これがすごくめんどくさい) そんな中，先日pandasに待望のSql Upsert機能追加のプルリクがあったので，動かしてみました．これによって作業効率を爆上がりさせてくれるはずです・・！！ そもそもUpsertとは InsertとUpdateをやるという意味です． SqlにおけるUpsertの機能は大きく2つあります． Primary Keyベースで，存在するものはなにもせず，存在しないものはInsert(upsert_keep) Primary K
[SQL] Where句とHaving句の違い | DevelopersIO
はじめに PostgreSQL始めました。 SQLを学ぶ過程でWhere句とHaving句の違いがわからずに悩んだ時期があったので、その時感じたことを書いておきます。 環境 MacOS 10.10.5 PostgreSQL 9.4.5 Where句でもHaving句でも同じ結果が出るけど何が違うんだろう？ 結論から言うと Where句はselect句の結果からwhere句で指定した抽出条件を実行する Having句はGroupBy句でグルーピングした結果からHaving句で指定した抽出条件を実行する という違いがあります。 同じ結果が出ることを確認 PostgreSQLのチュートリアルにあるデータベースを使います。手を動かして確認したい方はこちらを見てデータベースを用意していただければと思います。 今回使用するカスタマーテーブルは以下のようになっています。 select * from cu
![[SQL] Where句とHaving句の違い | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9d7a9e19a3c5979fc0b83efa7beeec666f705bb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F07%2Fsql.png)
CSV に SELECT / UPDATE クエリを実行できる VS Code の拡張機能「Rainbow CSV」 - kakakakakku blog
定期的に CSV からデータを抽出する機会があり，抽出条件によって，今までは以下のような方法を使っていた． CSV を Excel で開いてフィルターを使う方法 CSV を grep / egrep などの Linux コマンドで絞り込む方法 CSV をAmazon S3 にアップロードして Amazon S3 Select でクエリを実行する方法 Rainbow CSV 新しい方法として VS Code の拡張機能「Rainbow CSV」を試すことにした．Rainbow CSV には多くの機能があり，例えば「ハイライト」や「CSVLint」や「RBQL (RainBow Query Language)」がある．データを抽出する用途だけでなく，CSV を確認するときにも便利で，普段から使える最高の拡張機能だった．以下からインストールできる． marketplace.visualstudi
Java Runtime と JDBC ドライバーだけで動作する O/R マッピング・ライブラリ Lightsleep の紹介 - Qiita
Lightsleepは、軽量のO/R (Object-Relational)マッピング･ライブラリで、Java 8以降で使用できます。 更新履歴 2017-01-14 - 3-1-15. SELECT COUNT(*)の例、SQLの例 (PostgrSQL, Oracle, SQL Server) を追加 2017-01-29 - version 1.7.0対応 (SQLite対応) 2017-02-11 - version 1.8.0対応 (@ColumnType, @ColumnTypeProperty追加) 2017-02-18 - build.gradleの例のSQL ServerのJDBCドライバの記述内容を修正 2017-02-26 - version 1.8.2対応 2017-04-16 - ダウンロードをリンクに変更 2017-06-05 - version 1.9.0対応
SQL用のテストデータをシェルスクリプトで作成 | DevelopersIO
はじめに 簡単なテストをする際にはテストデータを作る事がありますが、毎回面倒だなと思っていたので、シェルスクリプトで簡単に作れないか調べてまたので備忘録として書いておきます。 環境 Mac OSX 10.10.5 Yosemite シェルスクリプト： create_tsv.sh #!bin/bash ## 開始時間を標準出力（%sで秒数。%Sとは違う） start=`gdate +%s` ## 作成する行数 ROWS=$1 ## 作成するファイルパス FILEPATH=$2 # ファイル作成 > $FILEPATH # ユニークなランダム文字列を作成 -> 配列にする array=(`cat /dev/urandom | LC_CTYPE=C tr -dc 'a-zA-Z0-9' | fold -w 16 | head -n \`expr $(expr $ROWS + 1) + 1\` |
【MySQL】SQL発行時に日時計算（加算・減算）する方法 | WEBマスターの知恵ブログ
PHP+MySQLを利用していて、DATETIME型のカラムに対して、直接、加算・減算をしたSQLの条件を指定したい場合の方法について覚書しておきます。 もちろん、PHPで日時計算をして、変数に代入してからSQLに組み込むなどしても日時の加算・減算の条件付けはできるのですが、SQLの発行時点で加算・減算した方が楽に操作できます。 MySQLの公式マニュアルにも記述があるのですが、MySQLのマニュアルは読みづらいと思うので要点をまとめてみました。 （参考）公式マニュアル http://dev.mysql.com/doc/refman/5.1/ja/date-and-time-functions.html 該当するのはDATE_ADD DATE_SUBの箇所です。 分かりづらいので、具体的なSQLを組んでみます。 "SELECT count(id) as cnt FROM table WHE
Redmine のチケット数をグラフにする 2 - アジャイルプログラマの日常
前回の続きです。 Redmine のチケット数をグラフにしようと、日別チケット数を求めるところまでやりました。次は、完了日ごとのチケット数を求めて最終的なグラフを作ろうと思います。 以下の SQL で日付ごとの完了数が取得できます。単純に最終更新日を参照するのではなく、 journals などからステータスが完了になった日付を取得しています。 1 つめの select で journals に存在するチケット (終了以外のステータスから終了に変化したチケット) を処理し、 2 つめの select で journals に存在しないチケット (いきなり終了ステータスで登録されたチケット) を処理しています。 select strftime('%Y-%m-%d', t.last_updated) as [date] , count(*) as [完了数] from ( select max(
CSV/TSVに対してSQL発行できるツール「q」 | DevelopersIO
今日はCSV/TSVなどのテキストファイルをSQLで操作できるツール「q」の紹介です。 使いどころ データ処理を実施する時にはDBに保存されているデータやテキストファイルなどをCSVやTSV等の一定のフォーマットに変換して処理することが多いと思います。そのデータ内容を確認するときには、例えばExcel等に貼り付けることもあると思います。ただ、Excelではデータ量が数百万件規模になってくるとソフトウェアの制約上、処理が行えません。 データベースに保存されている大量のデータを処理・取得する際によく用いられるのはSQLです。SQLはデータ操作のための非常によくできたインターフェースであり、かなりの数のエンジニアが利用できるのではないでしょうか。 単純なCSVファイルに対してもSQLを利用して検索が実施できれば楽だと思って探していたところ、「q」にたどり着きました。 インストール qには様々なイ
Sequel について (その1) - tmtms のメモ
最近 Sequel というライブラリを触ってるので簡単にまとめてみます。 Sequel Sequel は Ruby の構文で SQL クエリを記述するためのライブラリです。 SQL の文法が嫌いな自分には持って来いです。 RDB 毎の差異も吸収してくれます。 自分は MySQL しか知らないので、以下は MySQL での例です。 インストール % gem install sequel % gem install ruby-mysql 接続 DB = Sequel.connect('mysql://user:password@hostname:port/dbname') # または DB = Sequel.mysql('dbname', :host=>'hostname', :user=>'user', :password=>'password', :port=>'port') 上の例では定
Entity-Attribute-Value: SQL アンチパターン - ペンギンラボ Wiki
Bill Karwin “SQL Antipatterns: Avoiding the Pitfalls of Database Programming” の読書メモ。 Jaywalking 目的 ある属性について、複数の値を持たせる。 アンチパターン : カンマ区切りリスト カンマ区切りで複数の値を 1 つの列に納める。 例では、特定の製品についての担当者を複数設定するのにカンマ区切りで、担当者のアカウントIDを記述している。 create table products ( product_id integer, product_name varchar(1000), acount_id varchar(100), -- comma separated list -- ... ); insert into products (product_id, product_name, accou
DBゼミのアドバイス〜CREATE TABLE - わさっきhb
DBゼミは画面案のチェックを終え，実装段階へと入っていきました． データベースへの操作として，最初に実行するのは，CREATE TABLE文です． 3年生が作成したコードを見たところ，名称や型について，まずいところが目につきました． そこで何通か，改善指示のメールを送りました．以下は学生に送ったメールを，当ブログのスタイルに置き換えたものです*1． ミススペルは恥ずかしい 綴りの間違いは恥ずかしいので，修正しましょう． 「adress」ではなく「address」です．「passward」ではなく「password」です． Wordを開いてCREATE TABLE文を貼り付ければ，簡単にスペルチェックができますので，活用してください*2． できるだけ簡潔に カラム名は字数を減らせないか，常に意識してください． メールアドレスに関するカラム名に「emailaddress」と書いていますが，「e
自己流のSQLインジェクション対策は危険
HTMLエスケープの対象となる < > & " の4文字は、文字実体参照に変換された後、preg_replace関数でセミコロンを削除してしまうので、中途半端な妙な文字化けになりそうです。 一般的な原則としては、データベースにはHTMLの形ではなくプレーンテキストの形で保存しておき、HTMLとして表示する直前にHTMLエスケープする方法で統一することで、上記のような文字化けやエスケープ漏れをなくすことがよいでしょう。 脆弱性はないのか このsanitize関数に脆弱性はないでしょうか。上表のように、バックスラッシュ（円記号）を素通ししているので、MySQLや、設定によってはPostgreSQLの場合に、問題が生じそうです。以下、それを説明します。以下の説明では、MySQLを使う想定とします。 以下のように、ログイン処理を想定したSQL文組立があったとします。 $sql = sprintf(
SQL上級者こそ知って欲しい、なぜO/Rマッパーが重要か？
https://2021.pycon.jp/time-table/?id=273396 Webアプリ開発とデータベースマイグレーションには密接な関係があり、Pythonでよく採用されるDjangoやSQLAlchemyには、DBのスキーマを変更するマイグレーション機能があります。一般的に、プログラムを実装するときはリポジトリでブランチを作りそれぞれのブランチで実装作業を進めます。Webアプリの開発でも同様ですが、各ブランチでDBスキーマを変更する場合には注意が必要です。例えば、複数のブランチで同じテーブルのカラムを追加して使いたい場合や、DBスキーマの変更が競合する場合は、ブランチのマージ時に競合してしまいます。多くの機能を並行開発したり、マージするまでの期間が長い場合には、このような競合が増えてしまいます。 このトークでは、Djangoを例に、データベースマイグレーションの仕組みから、実
削除フラグのはなし
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
CoreData で発行されている SQL をデバッグ出力する
Mac Dev Center: Core Data Programming Guide: Core Data Performance この中の "Analyzing Fetch Behavior with SQLite" に、コマンドライン引数に次を指定すると CoreDataから SQLite へ発行される SQL をデバッグ出力できるとの記述があった。 -com.apple.CoreData.SQLDebug 1 やってみよう。 実行可能ファイルの設定を開く。 「起動時に渡される引数」に上記の引数を追加する。 実行する。以下、例。 2009-10-05 06:50:48.557 OneLiner[1202:207] CoreData: sql: SELECT COUNT(*) FROM ZMEMO t0 2009-10-05 06:50:48.558 OneLiner[1202:207
LINQ to SQL 番外編 目次:Gushwell's Dev Notes
メールマガジン『C#プログラミングレッスン - LINQ to SQL編』で説明しきれなかった内容をブログに書いたものの目次です。 メールマガジンのバックナンバーも併せてどうぞ！ 0.はじめに 1.コンパイル済みクエリ 2.DataContextのスコープ 3.接続文字列 4.DataContext.OnCreateって何？ 5.読み込み専用でデータベースを利用する 6.データベースの作成 7.IDENTITY列の扱い 8.NULL許容の列を扱う 9.timestamp列とUpdateCheckプロパティ 10.ColumnAttribute.UpdateCheck プロパティ 11.独自メソッドを追加する 12.ADO.NETとの相互運用 13.エンティティクラスに検証を追加する 14.エンティティ クラスの更新時にデータを検証するには 15.挿入、更新、削除の動作のカスタマイズ 16.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Project Report with SQL Query - Redmine