trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
vimから直接DB触ったりSQL補完したり - Qiita
vimから直接データベースを触る場合は、dbext.vimを使用すれば良いとのこと。 今回接続したいのDBはSQLiteだけだが、dbext.vimはその他多くのDB(Oracle, Sybase, Microsoft, MySQL, DBI,..)に対応しているとのこと。 dbextのインストール 公式のバージョンは20.0だが、githubには19.0までが上がっている。 ただし19.0で加えられた修正に少し問題があったため、ここでは特にこだわりもないため18.0を使用した。 (具体的にはcmd_terminatorの定義に問題あり。明示的にcmd_terminatorを指定するなどで回避はできる) 接続設定 接続先の指定方法には何種類かの方法があるが、 接続パラメータをまとめた接続プロファイルを使用するのが簡単かと思う。 接続パラメータを個別に.vimrcに設定 接続プロファイルを.
SQL でファイル検索するコマンド selects を書いた話 | blog.jxck.io
Intro UNIX コマンドを SQL で抽出できるツール qq を作った。 というエントリを読んで、そういえば似たようなものを作ってたなと思い出した。 自分の dotfiles の中にある、便利コマンド集の中にある selects についてである。 このコマンドは SQL という検索を記述的に表現する共通言語をファイル検索に応用し、 Ruby の動的言語として表現力を使って実装したものといえる。 その実装方法と実行例などについて記す。 selects 結論からいうとこういうコマンドだ。 $ selects mtime, size, basename from './entries/**/*' where extname '==' '.md' and size '>' 1000 order by mtime 2016-07-06 22:45:44 +0900 18437 web-font
Big Sky :: UNIX コマンドを SQL で抽出できるツール qq を作った。
昨日僕の Twitter タイムラインで q というツールが話題に上がっていました。 GitHub - harelba/q: q - Run SQL directly on CSV or TSV files Text as Data q is a command line tool that allows direct execution of SQL-like q... https://github.com/harelba/q 標準入力を SQL で抽出できるという物です。ただ個人的には「こういうの python じゃなくて Go でビルドされてると助かるよなー」と思ったので q と同じ様な動作になるツールを作ってみました。 GitHub - mattn/qq Select stdin with query https://github.com/mattn/qq 例えば msys2 のシ
go-sql-driver/mysql でプレースホルダ置換をサポートしました : DSAS開発者の部屋
前回の記事で少し触れましたが、 go-sql-driver/mysql にドライバ側でのプレースホルダ置換を実装するプルリクエストを出していました。 それがマージされたので、背景のおさらいと利用方法を紹介しておきます。 背景 Go の database/sql の概要については前回の記事で解説しました。 そこで説明したとおり、 DB.Prepare() を使わずに直接 DB.Exec() や DB.Query() を使った場合、 ドライバ側でのプレースホルダ置換に対応していないドライバでは prepare, exec, close で3回のラウンドトリップが発生することになり、パフォーマンスが悪くなります。 基本的には DB.Prepare() を使えばいいのですが、前回の記事で修正したスケーラビリティの問題は Go 1.5 になるまで直りませんし、 IN 句があるSQL文などで事前に P
#ronsakucasual DBの論理削除についてひたすら共有する 論理削除 Casual Talks #1 にいってきたまとめ - もぐめぽろぐ
名前 とりあえず削除フラグ 目的 エンドユーザから見るとデータがないことにしたいけど、実際のデータは消したくない 削除したデータを検索したい データを消さずにログに残したい 誤った操作をなかったことにしたい、直ぐに元に戻したい アンチパターン 例えばis_deletedというカラムがtrueの場合は削除されているとみなす メリット update文ならデータが簡単に元に戻せる気がするのでなんとなく安心 -> 俺のupdate文でなんとかなる！！ 起こること SELECTするときには常にWHERE句が追加で必要になり、コードが削除フラグだらけになる 全員テーブル設計に精通してるわけではないので、テーブルによって削除フラグの有無があったりした場合、認識の齟齬を生みやすい 例えばrubyでdefault_scopeを用いて、よかれとおもってコードレベルでデフォルトを変えたらバグがたくさん出てくる
SQL style guide by Simon Holywell
Overview General Do Avoid Naming conventions General Tables Columns Aliasing or correlations Stored procedures Uniform suffixes Query syntax Reserved words White space Indentation Preferred formalisms Create syntax Choosing data types Specifying default values Constraints and keys Designs to avoid Appendix Reserved keyword reference Column data types SQL style guide Overview You can use this set o
同一グループの中で最大のレコードを取得する SQL を書く | Webシステム開発／教育ソリューションのタイムインターメディア
+----+----------+------------+---------+ | id | group_id | updated_at | comment | +----+----------+------------+---------+ | 1 | 1 | 2013-12-01 | C | | 2 | 2 | 2013-12-01 | A | | 3 | 1 | 2013-12-02 | B | | 4 | 2 | 2013-11-30 | D | +----+----------+------------+---------+ CREATE TABLE sample_table ( id int(11) NOT NULL, group_id int(11) NOT NULL, updated_at date NOT NULL, comment varchar(60) NOT NU
SQLでデータベーステーブルの縦･横変換
2006年07月10日 クエリを思いつかなかった子のために。これはあくまでヒントだぞ。 以降の例では Oracle9iリリース２で説明しています。 データベースのテーブルには、何故か無駄に横長のものがあったりします。 ホスト時代のデータセットイメージをそのままテーブルフォーマットにしちゃったようなやつですね。項目名に「FILLER1」とか名前がついている（￣▽￣； こんなテーブルがあるとします。 SQL> DESC 売上ランキング横; 名前 NULL? 型 ---------------------------- -------- -------------------------- 売上年 VARCHAR2(4) １位製品 VARCHAR2(10) １位売上 NUMBER(5) ２位製品 VARCHAR2(10) ２位売上 NUMBER(5) ３位製品 VARCHAR2(10) ３位売上
RDBの縦持ちテーブルと横持ちテーブル、およびその変換について
HorizVert.md テーブルの縦持ち横持ちについて 横持ちテーブルと縦持ちテーブル 横持ちはいわゆる「普通の」データの持ちかたのこと。 例えばレコードごとにa, b, c, dの4つの属性を持つ テーブルを作る場合、次のようなテーブルが横持ちテーブルである。 create table horiz ( rowId int, a int, b int, c int, d int ); insert into horiz values ( 1, 11, 22, 33, 44 ); ※rowIdが関数の場合は適当に名前を変えてね 一方、縦持ちテーブルでは行IDとカラムIDを追加して レコードごと・カラムごとに1行を作る。 テーブル定義は以下のようになる。 create table vert ( rowId int, columnId int, value int ) insert into
SQLデータベースに正しインデックスを作るのは 誰の役割？
SQLのパフォーマンス問題は、SQLそのものと同じぐらいの歴史がある―― ある人は、SQLはそもそも遅いものだとすら言うかもしれません。これは、SQLの歴史が始まった頃は正しかったかもしれませんが、今となっては全く 当てはまらないでしょう。にもかかわらず、SQLのパフォーマンス問題は今も一般的でよくあることです。どうしてそうなってしまうのでしょうか？ SQL言語は、恐らく最も成功した第4世代言語(4GL)でしょう。その最大の利点は、「何を」と「どのように」 を分離できることです。SQL文は、どのようにそれを実行するかを記述せずに、単純に 何を必要としているかのみの記述になっています。以下のような例を考えてみましょう。 SELECT date_of_birth FROM employees WHERE last_name = 'WINAND'SQLのクエリは、データを要求する英語の文として読
Entity-Attribute-Value: SQL アンチパターン - ペンギンラボ Wiki
Bill Karwin “SQL Antipatterns: Avoiding the Pitfalls of Database Programming” の読書メモ。 Jaywalking 目的 ある属性について、複数の値を持たせる。 アンチパターン : カンマ区切りリスト カンマ区切りで複数の値を 1 つの列に納める。 例では、特定の製品についての担当者を複数設定するのにカンマ区切りで、担当者のアカウントIDを記述している。 create table products ( product_id integer, product_name varchar(1000), acount_id varchar(100), -- comma separated list -- ... ); insert into products (product_id, product_name, accou
Big Sky :: SQL で CSV のデータを抽出出来る textql
CSV ファイルを扱っている時に、最大値最小値と得たり合計を得たりするのにいちいち Excel を起動するのはとても面倒ですし、スクリプトを書くのも面倒。 そんな場合は textql を使うと便利です。 dinedal/textql - GitHub Execute SQL against structured text like CSV or TSV https://github.com/dinedal/textql golang で書かれています。ビルドすると依存性の無い実行モジュールが生成されます。使い方はリンク先の動画gifを参照下さい。 簡単にどんな事が出来るかというと $ cat ~/sample_data.csv | textql -header -sql "select sum(cast(value as integer)) from tbl" 18 こんな事が出来るツール
Hunting Field: [vim] vimからmysqlを操作するプラグイン dbext
最近、mysqlのクエリたたくことが多くなってきた。 周りの人は、mysql workbenchというGUIクライアントを使っている。 MySQL Workbench リレーション張りまくりのテーブル設計するにはいいかもしれないが、 現状テーブル作るときはsymfonyのコマンド使うし、 ちょっとselect実行するためにGUI立ち上げるのはめんどくさい。 そして何より、周りの人とおんなじもの使うのは負けた気がする。 で、vimからmysqlを実行するためのプラグイン dbextを入れてみた。 vim-scripts / dbext.vim Vimから任意のデータベースを操作 インストール pathogenを使っていれば、以下でOK。 $ cd ~/.vim/bundle $ git clone https://github.com/vim-scripts/dbext.vim 便利だ。 [
![Hunting Field: [vim] vimからmysqlを操作するプラグイン dbext](https://cdn-ak-scissors.b.st-hatena.com/image/square/eb9597d6a24cd25d589a5eff1f5ee2589a060ac1/height=288;version=1;width=512/http%3A%2F%2F4.bp.blogspot.com%2F--ZSl4AnSTMk%2FTxJYykoRsOI%2FAAAAAAAAAEQ%2Fjd5o-K4tqf8%2Fw1200-h630-p-k-no-nu%2Fsql1.png)
その選択、ちょっと待った！NoSQLデータベースへ乗り換える前に検討すべき3つのポイント
最近、どうも安易に「NoSQLにすれば厄介なDB設計から開放される」と考えている人が多いように思えて仕方がない。だが待って欲しい。本当にNoSQLと呼ばれるデータベースを使えばアプリケーションの開発・運用の苦しみから逃れられるのだろうか。もちろん「そんなことは無い！！絶対にだ！！」と私は考える。今日はその理由について語ろうと思う。 トランザクション先日、リレーショナルデータベースにおけるDB設計についてセミナーで解説したばかりだが、リレーショナルデータベースにおけるデータの整合性は何もDB設計だけが担保しているわけではない。リレーショナルモデルと同じかそれ以上に欠かせないのがトランザクションだ。 トランザクションがあるおかげで、トランザクション終了後のステータスは「成功」か「失敗」の2つしかないということが保証される。すなわちオール・オア・ナッシングだ。もしトランザクションの途中で何らかの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分割と整合性と戦う
Pieter Joost on Twitter: "SQL joins http://t.co/VU0D4U7fKq"
GitHub - harelba/q: q - Run SQL directly on delimited files and multi-file sqlite databases
GitHub - vim-scripts/dbext.vim: Provides database access to many dbms (Oracle, Sybase, Microsoft, MySQL, DBI,..)
ft_sql - Vim日本語ドキュメント