trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
ディレクターも営業も…非エンジニア職こそSQLを学ぶべき理由と初心者向け学習コンテンツ - paiza times
Photo by Delwin Steven Campbell こんにちは、谷口です。 皆さんは普段お仕事でSQLを使っていますか？ ITエンジニア以外の職種だと、「自分では使えないので、データがほしいときなどはエンジニアに依頼している」という方も多いと思います。 ただ自分でSQLが使えないと、今すぐデータがほしいのに確認できるまで時間がかかったり、エンジニアの仕事を増やしてしまったりして、双方にとって面倒が増えてしまう場合もあるかと思います。 「エンジニアじゃないんだからSQLなんてわかんないよ！」と思われるかもしれませんが、既に運用中のデータベースから基本的なデータ取得をするのであれば、自分で基本的なSQLの使い方を覚えた方が、マーケティングや営業、分析や企画といった業務も捗るはずです。 今回はSQL初心者の方に向けて、ブラウザ等でSQLを書きながら学べるコンテンツをご紹介します。 ■
SQL: UNION を使ってテーブルを縦に連結する - CUBE SUGAR CONTAINER
今回は SQL の UNION を使ってみる。 試した環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.5 BuildVersion: 16F73 $ mysql --version mysql Ver 15.1 Distrib 10.2.6-MariaDB, for osx10.12 (x86_64) using readline 5.1 典型的な使い方 例えばスキーマ設計において、パフォーマンスの向上などを目的として同じカラムを持ったテーブルが複数あったりすることがある。 特定の月のデータを入れるテーブルとか、あるいは毎月新しいテーブルを作っていくとか、そんな感じ。 次のサンプルでは同じカラムを持ったテーブルが日付で分かれている。 > CREATE TABLE purchases_20170627 ( -> p
ファイルから SQL を読み込む (MySQL, PostgreSQL, SQLite3) - CUBE SUGAR CONTAINER
色々な RDBMS で SQL の書かれたファイルを読み込む方法について調べた。 まずはSQL の書かれたテキストファイルを用意しておく。 $ cat << 'EOF' > sample.sql DROP TABLE IF EXISTS users; CREATE TABLE users ( id integer, name varchar(255), age integer ); INSERT INTO users VALUES (1, 'Alice', 20), (2, 'Bob', 30), (3, 'Carol', 40); EOF こんな感じ。 users テーブルを作って、そこにレコードを追加している。 $ cat sample.sql DROP TABLE IF EXISTS users; CREATE TABLE users ( id integer, name varch
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策｜ハイクラス転職・求人情報サイト AMBI（アンビ）
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ
企画や営業など非エンジニア職がSQLを勉強したらメリットばかりだった話 - paiza開発日誌
Photo by Linux Screenshots こんにちは、谷口です。 あなたの会社ではSQLを使える人の割合はどれくらいでしょうか？ ITエンジニアであれば多くの人が日頃から使っているSQLですが、それ以外の職種では「SQLを使えないので、データがほしいときはエンジニアにお願いしている」という人も多いかと思います。 ただ、自分でSQLを使えないと、今すぐデータがほしいのに確認できるまで時間がかかったりして不便なことも多いですよね。また、エンジニアにとっても、開発中にちょっとしたデータ取得がいくつも差し込まれたり、「データが思っていたのと違った」と言われてやり直しになったりするのはストレスになってしまいます。 paiza社内でも、かつてはそんな状態でしたので、社内で非エンジニア職向けにSQLの勉強会を実施するようになりました。現在は、営業・企画・事務局など、さまざまな職種の人たちも自
SQL でのデータ分析のススメ - peroli Developer's Blog
2016 - 09 - 02 SQL でのデータ分析のススメ SQL 分析 データ分析 list Tweet こんにちは, 開発部のはちやです. 今回は, 今やサービスを運営する会社であればどこでも行われているであろうデータ分析について, WEB開発者の方を対象に 「 SQL でのデータ分析のススメ」と題してご紹介したいと思います. SQL でのデータ分析がおすすめな理由 分析技術の進歩によりデータが比較的容易に取得/抽出できるようになった昨今, データ分析が以前に増して活発に行われるようになってきていると感じます. そんなこんなでデータ分析をしたいWEB開発者の方が増えてきているのではないでしょうか(僕はそうでした) しかし, 「データ分析したいけど, 何を使えばいいのかよくわからない」「何を学習すればいいのかよくわからない」というWEB開発者の方がいらっしゃると想像します(僕がそうでし
この素晴らしいSQLに祝福を！
3. 人々の欲望と時代の変遷 • RDB使ってないシステムとかありえないでしょ • 永続化 == RDB • 他になんかあるの？時代 • NoSQL自体の到来 • データが多くなってきてRDBとかもう無理でしょw • これからの時代はNoSQLですよ！ • やっぱSQL必要時代 • RDBじゃなくても結局SQLをインターフェースにしたい • データ分析で使ってる言語でR, Pythonの次くらいにSQLが現れる • イマココ 4. AI, 機械学習時代におけるSQL • ETLとしてのSQL • 人生とは前処理の辛さとの戦い • Hiveでデータを取得してSparkで機械学習 • 非プログラマがデータを使うためのSQL • SQLで機械学習が出来る時代 • Hivemallの出現 • 調べてみると他にもいろいろあった • Postgresql, Microsoft SQL Server,
Postgres vs Mongo
This table shows us which companies the experts have worked at and in which capacity, however the addresses refer to the company rather then the expert or their specialty, this violates 3NF. Put simply, this can be remembered as "Everything must provide a fact about the key, the whole key, and nothing but the key, so help me Codd". (Codd being the scientist who coined these forms.) Now at this poi
SQLインジェクション脆弱性を持つサイトを作ってみた | DevelopersIO
はじめに こんにちは。 くコ:彡がトレードマークの阿部です。 先日、セキュリティ製品の評価にあたり脆弱性を持つWEBサイトを用意する必要がありました。 SQLインジェクション脆弱性を持つ簡易的なWEBサイトを作ってみたので、手順をご紹介します。 Amazon EC2でAmazon Linuxを使用しました。 作ってみたWEBサイト 正しい動き その1 早速ですが、作ってみたサイトのご紹介をします。 ユーザIDとパスワードを指定の上、送信ボタンを選択すると、指定したユーザのメールアドレスが表示されます。 正しい動き その2 存在しないユーザや誤ったパスワードを指定した場合、エラーメッセージを表示します。 SQLインジェクション時の動き SQLインジェクション攻撃を試してみます。 パスワード欄に'OR 'A' = 'Aを指定すると、全てのユーザのメールアドレスが表示されます。 ユーザ情報が漏れ
「艦これ」から、ソーシャル系のサーバ構成を考える - SQLer 生島勘富 のブログ
私は、ソーシャル系とは縁遠い仕事ばっかりしているのですが、そういう依頼も若干増えてきたので話題になっている「艦これ」をお盆にやってみた。 残念ながら、「艦これ」の魅力は分からなかった。しかし、ミッションを用意されると、「クリアーしたい」という欲求から意地になるのは、何となく理解できました。それより、同時に始めた「Clash of Clans」には嵌まりました。気になっていた「ゲームの中に如何に自然に課金システムを取り入れるか」という課題についても、個人的には「Clash of Clans」の方が上手に解決しているように思います。 「艦これ」は、同時アクセスが10万以上あって、何度かシステム障害があったとのこと（そりゃあるでしょうが……）。私の興味の方向性は、課金システムであったり、システム構成にあるので、「艦これ」のシステム障害の方が強い興味の対象になります（苦笑） というわけで、「ソーシ
ディレクターがSQLを使えてよかった話 - クックパッド開発者ブログ
こんにちは。ディレクターの川原田です。 クックパッドでお気に入りレシピを保存する「MYフォルダ」のサービス開発や、保存・記録に関する新規サービスの検討・開発を担当しています。 ディレクターの仕事は様々ありますが、今回は私が身につけたことで仕事領域が広がった！と感じているSQLについてお話ししたいと思います。 いきなりですが、SQLが使えてよかった点をまとめると以下です。 よかったこと 数値抽出から分析まで自己完結 エンジニアとのコミュニケーションがスムーズに 仕事が増えていそうで実は効率アップ 周囲の知的好奇心を刺激 それぞれ具体例を交えてお話します。 数値抽出から分析まで自己完結 事例１：ログ構造を理解でき後の仕事がスムーズに 昨年、アプリのサービス開発を担当した際、エンジニアの設定したログが、実際に送信されるかどうかを事前チェックをしました*1。 アプリのリリースはタイミングが決められ
PHP: SQLite 関数 - Manual
Getting Started Introduction A simple tutorial Language Reference Basic syntax Types Variables Constants Expressions Operators Control Structures Functions Classes and Objects Namespaces Errors Exceptions Generators References Explained Predefined Variables Predefined Exceptions Predefined Interfaces and Classes Context options and parameters Supported Protocols and Wrappers Security Introduction
An Introduction To The SQLite C/C++ Interface
1. Summary The following two objects and eight methods comprise the essential elements of the SQLite interface: sqlite3 → The database connection object. Created by sqlite3_open() and destroyed by sqlite3_close(). sqlite3_stmt → The prepared statement object. Created by sqlite3_prepare() and destroyed by sqlite3_finalize(). sqlite3_open() → Open a connection to a new or existing SQLite database. T
その３ サンプルコードを動かしてみよう
ホーム < ゲームつくろー！ < SQLite超入門編 その３ サンプルコードを動かしてみよう さて、前章でSQLiteのインストール作業も終り、いよいよSQLiteを用いてデータベースを操作できそうです。しかし、何をどうすれば良いのかさっぱりわかりません。そこでSQLiteのオフィシャルページに赴いた所、Documentationの「SQLite In 5 Minutes Or Less」にサンプルコードがありました。また幾つかのサイトにもサンプルが掲載されていました。ここではそれらを参考にして作った極短サンプルでSQLiteの機能を見てみようと思います。極短なので分かりやすいと思いますよ～。 ① サンプルプログラムを動かしてみよう 以下がこの章で検討する極端サンプルプログラムです。まずはざっと眺めてみてください： #pragma comment( lib, "sqlite3.lib"
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLで基本のデータ解析に挑戦する
superset/README.md at master · apache/superset
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
GitHub - rbock/sqlpp11: A type safe SQL template library for C++
AUTO_INCREMENTを設定する(連続した数値を自動でカラムに格納する)
