ワンライナーで CSV に対して SQLite クエリを実行する - アルパカの徒然文
One-liner for running queries against CSV files with SQLite という記事で紹介されていた、ワンライナーを使って CSV ファイルに対して SQL クエリを実行する方法。 $ sqlite3 :memory: -cmd '.mode csv' -cmd '.import taxi.csv taxi' \ 'SELECT passenger_count, COUNT(*), AVG(total_amount) FROM taxi GROUP BY passenger_count' ソース元に記述されてる通り、taxi.csv を GitHub からダウンロードして試すことができる。7z で圧縮されていて解凍する必要がある。 SQLite は通常ストレージディスク（SSD とか）上に保存して利用するのが一般的だが、SQLite 側で用意さ
知らなかったのは私だけでしょうか･･･。東京リージョンでも Amazon Athena フェデレーテッド・クエリが GA されていました | DevelopersIO
え・・・いつからそこに居たの。 ずっと待ってたんだよ・・・ ということで、ひっそりと東京リージョンでも Amazon Athena の Federated Query が GA されていました。 いつから？ 2020年12月16日にドキュメント更新されていたようです。 こんな待望のアップデートを 1 ヶ月も見落としていたなんて。。私、アップデート職人だと自負していましたが、これはアップデート職人引退が迫られる事案だと重く受け止めています。。 Amazon Athena Federated Query Amazon Athena のフェデレーテッド・クエリはリレーショナル、非リレーショナル、オブジェクト、およびカスタムのデータソースに格納されているデータに対して SQL クエリを実行できるようになる機能です。フェデレーテッド・クエリについては以下のブログを参照ください。 これまで Athen
DynamoDBでSQLが使える!?DynamoDB+PartiQLで何が出来るのか試してみた | DevelopersIO
はじめに CX事業本部の佐藤智樹です。 先日DynamoDBについて以下の発表がありました。 え！？DynamoDBでSQL使えるようになるの？何がどこまでできるのか気になったのでドキュメントを参照しながら試してみたいと思います。 正確にはSQL互換のクエリ言語のPartiQLを使いますが、本稿ではSQLと呼称して記述していきます。 DynamoDB+PartiQLの操作についてはこちらのブログでも確認できます。こちらはAWS CLIを使用した操作について書かれています。 ドキュメント ドキュメントは以下から確認できます。 アクセス方法は現状以下の3パターンあるようです。 DynamoDBのWebコンソール(新バージョンのみ) AWS CLI AWS SDK(Java) 今回はWebコンソールで操作を試してみます。 CRUD操作してみた WebコンソールからSQLを実行します。まず最近でた
PartiQL が DynamoDB に対応したので AWS CLI を使って DynamoDB テーブルに SQL 文を実行してみる - michimani.net
re:Invent 前の怒涛のアップデートが続く中で、 PartiQL が Amazon DynamoDB に対応したというアップデートが発表されました。これによって、 DynamoDB のテーブルに対して SQL 文を実行することができます。今回は、 AWS CLI 経由で DynamoDB のテーブルに対して SQL 文を実行してみます。 目次 概要 PartiQL とは AWS CLI で試す v2 は未対応 execute-statement コマンド SELECT 文 INSERT 文 まとめ 概要 PartiQL が Amazon DynamoDB に対応し、DynamoDB のテーブルに対して SQL 文を実行できるようになりました。 PartiQL - A SQL-Compatible Query Language for Amazon DynamoDB - Amazon
CSV/TSVに対してSQL発行できるツール「q」 | DevelopersIO
今日はCSV/TSVなどのテキストファイルをSQLで操作できるツール「q」の紹介です。 使いどころ データ処理を実施する時にはDBに保存されているデータやテキストファイルなどをCSVやTSV等の一定のフォーマットに変換して処理することが多いと思います。そのデータ内容を確認するときには、例えばExcel等に貼り付けることもあると思います。ただ、Excelではデータ量が数百万件規模になってくるとソフトウェアの制約上、処理が行えません。 データベースに保存されている大量のデータを処理・取得する際によく用いられるのはSQLです。SQLはデータ操作のための非常によくできたインターフェースであり、かなりの数のエンジニアが利用できるのではないでしょうか。 単純なCSVファイルに対してもSQLを利用して検索が実施できれば楽だと思って探していたところ、「q」にたどり着きました。 インストール qには様々なイ
dbext.vim - Provides database access to many DBMS (Oracle, Sybase, Microsoft, MySQL, DBI,..) : vim online
dbext.vim : Provides database access to many DBMS (Oracle, Sybase, Microsoft, MySQL, DBI,..) This plugin contains functions/mappings/commands to enable Vim to access several databases. Current databases supported are: ODBC / Perl DBI (Any database with a Perl DBI driver) MySQL Oracle Oracle Rdb (VMS) SAP HANA SAP Sybase SQL Anywhere (SA/ASA) SAP Sybase IQ (ASA) SAP Sybase Adaptive Server Enterpris
CSVや標準入力からのデータをSQLライクに集計 - notebook
q CSVファイルや入力に対してSQLを実行できるというとても便利なツールらしい q install CentOS6.4にインストールしてみます rpm -ivh https://github.com/harelba/packages-for-q/raw/master/rpms/q-text-as-data-1.5.0-1.noarch.rpm 導入 何はともあれ試してみます cat list.csv a,b,c 1,2,3 4,5,6 エラー 実行しようとしたらエラーが出た、サイトにも書いてあるがpython3系には対応していない模様 python --version Python 3.4.0 q -H -d',' "select * from list.csv" File "/usr/bin/q", line 105 print sql, " params: " + str(param
【MySQL】SQL発行時に日時計算（加算・減算）する方法 | WEBマスターの知恵ブログ
PHP+MySQLを利用していて、DATETIME型のカラムに対して、直接、加算・減算をしたSQLの条件を指定したい場合の方法について覚書しておきます。 もちろん、PHPで日時計算をして、変数に代入してからSQLに組み込むなどしても日時の加算・減算の条件付けはできるのですが、SQLの発行時点で加算・減算した方が楽に操作できます。 MySQLの公式マニュアルにも記述があるのですが、MySQLのマニュアルは読みづらいと思うので要点をまとめてみました。 （参考）公式マニュアル http://dev.mysql.com/doc/refman/5.1/ja/date-and-time-functions.html 該当するのはDATE_ADD DATE_SUBの箇所です。 分かりづらいので、具体的なSQLを組んでみます。 "SELECT count(id) as cnt FROM table WHE
A5:SQL Mk-2 - フリーのSQL開発ツール/ER図ツール
A5:SQL Mk-2は複雑化するデータベース開発を支援するために開発されたフリーのSQL開発ツールです。 高機能かつ軽量で、使い方が分かりやすいことを目標に開発されています。 SQLを実行したり、テーブルを編集するほかに、SQLの実行計画を取得したり、ER図を作成したりすることが出来ます。 特徴・機能 OCI接続・直接接続・ADOまたはODBCを介したDBへの接続 Oracle DatabaseはOCI経由の接続・直接接続が出来ます。 PostgreSQLとMySQLは直接接続が出来ます。 Microsoft SQL Serverは、OLE DBプロバイダを直接呼び出した接続ができます。 IBM DB2は、ODBCドライバを直接呼び出した接続ができます。 その他のデータベースは、ADOまたはODBCを利用して接続します。 Oracle, PostgreSQL, MySQLは、A5:SQL
SQLフォーマッターFor WEB
今まで通りSQLの整形にお役立てください。 バージョンアップした際は本ページでお知らせしたいと思います。 2021/3/21追記 ・==が1トークンになるよう修正 ・[table]![column]が崩れないよう修正 ・cross join が崩れないよう修正 2019/7/1追記 ・カンマ整形前の場合にorder byはgroup byで桁ぞろえが有効にならないバグを修正 ・カンマ整形前の場合に、limit 1, 10が limit 1 , 10となるバグを修正 2018/8/28追記 ・ie11でlocalStorageが動作しなかったバグを修正 2018/8/27追記 ・localStorageに整形書式を保存するよう対応 2018/8/4追記 ・カンマ整形が前の場合、「桁ぞろえ」オプションを追加 コア部分に手を入れたため、おかしな動作をした場合はお知らせください。 2018/5/1
dplyrを使いこなす！基礎編 - Qiita
はじめに 4月ということで、新卒が入ってきたりRを使ったことないメンバーがJOINしたりしたので、 超便利なdplyrの使い方を何回かに分けてまとめて行きます。 Rは知らないけど、SQLとか他のプログラミング言語はある程度やったことあるみたいな人向けです。 dplyrを使いこなす！シリーズ 基礎編以外も書きましたので、↓からどうぞ。 * dplyrを使いこなす！Window関数編 * dplyrを使いこなす！JOIN編 dplyrとは データフレームの操作に特化したパッケージです。 Rは基本的に処理速度はあまり早くないですが、dplyrはC++で書かれているのでかなり高速に動作します。 ソースの可読性もよくなるので、宗教上の理由で禁止されている人以外は使うメリットは大きいです。 処理可能なデータサイズの目安 あくまでも個人の環境に強く依存した感覚値ですが、1000万行、100MBぐらいのデ
SQLの暗黙の型変換はワナがいっぱい
補足 この記事は旧徳丸浩の日記からの転載です。元URL、アーカイブ、はてなブックマーク1、はてなブックマーク2。 備忘のため転載いたしますが、この記事は2009年9月24日に公開されたもので、当時の徳丸の考えを示すものを、基本的に内容を変更せずにそのまま転載するものです。 補足終わり このエントリでは、SQLにおいて「暗黙の型変換」を使うべきでない理由として、具体的な「ワナ」をいくつか紹介します。 数値項目に対するSQLインジェクション対策のまとめにて説明したように、RDBの数値型の列に対してSQLインジェクション対策をする方法として、以下の三種類が知られています。 バインド機構を用いる パラメータの数値としての妥当性確認を行う パラメータを文字列リテラルとしてエスケープする このうち、方法3を使うべきでない説明の補足です。具体的には、方法3には、「暗黙の型変換」が発生しますが、それが思わ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLとPostgreSQLコマンド比較表 - Qiita
サービス終了のお知らせ
csvや標準入力をsqlで取得できるqコマンド - Qiita
RとSQLを対応付けてみた - あらびき日記
SQLアンチパターン - 開発者を待ち受ける25の落とし穴 (拡大版)
R と SQL を対応付けてみた 〜data.table 編〜 - あらびき日記
[Rails 3.2.9] ActiveRecordでIN句 - Qiita![[Rails 3.2.9] ActiveRecordでIN句 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/e8d6d368364defe7266844bbf135056b6d5a2dfe/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUmFpbHMlMjAzLjIuOSU1RCUyMEFjdGl2ZVJlY29yZCVFMyU4MSVBN0lOJUU1JThGJUE1JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1iOWI1MjMzMzIyYzk5MGRjNTIwYzk2Y2Q4MmZkYmY5Zg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBOYXJpa2F6dTMmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTczNjg2NmFkNThmYmYzM2Y4ZGU2ODNkNzIzZTMyNmQz%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D4a10759b54e3e856e0712e656ce51219)
mozIStorageStatement - Mozilla | MDN
