[B! csv] sbg3のブックマーク

trdsqlというコマンドラインツールを作った - Qiita

trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。またLinux/Windows/macOSのバイナリもあります。以下は、古くなっている内容もいくつかあります。最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。これは何？簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ

sbg3 2017/08/30

csv
sql

リンク

sqlitebiter - CSV/JSON/Excel/GoogleスプレッドシートをSQLiteに変換 MOONGIFT

企業内で動くシステムの多くは表計算ソフトウェアを使って作られたデータを元に動くのではないでしょうか。MS Excelはもちろん、CSVファイルやGoogleスプレッドシートなど数多くの表計算ソフトウェアが動き、データが作られています。そんなデータをシステムで使う際に、わざわざパースして使うのでは面倒です。sqlitebiterでSQLite3に変換してしまいましょう。 sqlitebiterの使い方 sqlitebiterを実行します。今回はJSONファイルを変換してみます。 $ sqlitebiter file test.json -o test.sqlite convert 'test.json' to 'results' table そうするとresultsというテーブルができあがります（JSONのルートキー名になります）。複数のファイルを一括で変換すれば、それぞれテーブル名になり

sbg3 2016/07/21

リンク

CSVデータをベクターグラフィックスで表現·Raw MOONGIFT

RawはJavaScript製のオープンソース・ソフトウェア（LGPL）です。表計算で作ったデータというとグラフで表すのが普通だと思います。しかしそれをさらに一歩越えてグラフィカルに表現してくれるのがRawです。一例です。上がデータ部、下にあるツリーマップがそれを描画したものです。グラフは色々と用意されています。こちらはバブルチャート。このような進化図っぽいものもあります。さらにグラフィカルに。グルーピングを伴ったバブルマップ。データも色々あります。グリッドを使って表現されたグラフ。グラフはPNG/SVG/JSONで出力できます。 RawはグラフにおいてD3.jsを使っています。データの向き不向きはありますが、CSVデータをビジュアル化する上で知っておくと役立つことがありそうです。グラフは一般的な棒グラフ、円グラフ、折れ線グラフの他にもレーダーチャートやローソク図、エリ

sbg3 2013/10/30

リンク

国勢調査など政府統計データをCSV化してダウンロードできる「統計くん」　政府API活用

個人開発者の矢野さとるさんは6月12日、10日に公開された「次世代統計利用システム」のAPIを活用し、国勢調査などの政府が持つ統計データをCSV形式でダウンロードできるWebサービス「統計くん」を公開した。次世代統計利用システムは、統計のオープンデータの高度化に向け、統計センターが総務省統計局と協力して提供しているシステム。政府の統計ポータル「e-Stat」でデータベース化されている統計データを、XMLやJSONなどで出力するREST方式のAPIを提供している。統計くんは同APIを活用し、国勢調査、事業所・企業統計調査、全国物価統計調査、家計消費状況調査などについて、調査結果をWebブラウザ上に表示したり、条件を絞り込んで分類したり、CSV化してダウンロード可能。今後は、グラフ生成やクロス集計機能などの実装を検討している。関連記事「PM2.5まとめ」正式公開　現在地のPM2.5濃度

sbg3 2013/06/18

リンク

扱い勝手の悪いCSVに立ち向かえ·Fight CSV! MOONGIFT

Fight CSV!はCSVの各行をオブジェクト化することでシステムからの扱いを容易にするライブラリ。 Fight CSV!はRuby製のオープンソース・ソフトウェア。システム開発を行う際にCSVを扱うケースは多々ある。データをまとめて放り込んだり、一括更新したりする時に使われるケースが多い。しかしシステムで扱う時にはとても面倒なフォーマットだ。利用中 CSVを扱いやすくするライブラリは多いが、項目をばらす程度で後は配列のキーごとに処理を書いていかなければいかない。これはバグをはらみやすいし、値のチェックも大変だ。そこで使ってみたいのがFight CSV!だ。 Fight CSV!はクラスを定義して、CSVのヘッダーに定義されている項目ごとに処理分けを書くことで、CSVの各行をオブジェクトとして扱えるようにするライブラリだ。各カラムごとに処理を書けるので、バリデーションしたり、文字列を日