GitHub - multiprocessio/dsq: Commandline tool for running SQL queries against JSON, CSV, Excel, Parquet, and more.You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
DuckDB-Wasm: Efficient Analytical SQL in the Browser
TL;DR: DuckDB-Wasm is an in-process analytical SQL database for the browser. It is powered by WebAssembly, speaks Arrow fluently, reads Parquet, CSV and JSON files backed by Filesystem APIs or HTTP requests and has been tested with Chrome, Firefox, Safari and Node.js. You can try it in your browser at shell.duckdb.org or on Observable. DuckDB-Wasm is fast! If you're here for performance numbers, h
trdsqlはCSV,LTSV,JSONをDB(PostgreSQL,MySQL)にインポートするツールです
trdsqlはCSV,LTSV,JSONに対してSQLを実行するツールと書いてあって、「PostgreSQLやMySQLに接続できるため、データをインポートする方法もある」と書いてあるため、オマケ的に捉えられているかもしれませんが、専用ツールを上回るくらい便利に使えます。 データをインポートしたい時に、そもそも候補としてすら挙がっておらず、寂しい気持ちがあるのですが、それよりも何よりも、それtrdsqlでサクッと出来ちゃうのに...という場面を度々目にするので、ここで紹介させていただきます。 そもそものtrdsqlの動作 そもそもtrdsqlの動作は、（デフォルトでSQLite3ですが）データベースに、テキストファイルを読み込んで、インポートし、SQLの処理をデータベースにお任せして、処理結果をテキストのいろんな形式に変換する。という動作になってます。 つまり、毎回データベースにテキストフ
Amazon S3のデータを直接検索できる「MongoDB Atlas Data Lake」正式リリース。データベースへの転送不要、MongoDBのクエリ言語を直接実行
Amazon S3のデータを直接検索できる「MongoDB Atlas Data Lake」正式リリース。データベースへの転送不要、MongoDBのクエリ言語を直接実行 MongoDBは、Amazon S3に保存されているデータをそのままデータベースへ転送することなく、直接MongoDBのクエリ言語で検索可能にするクラウドサービス「MongoDB Atlas Data Lake」の正式リリースを発表しました。 発表は同社がオンラインで開催したイベント「MongoDB.Live 2020」で行われました。 通常、データベースで検索や分析の対象となるデータはデータベース内に保存されているデータであるため、ファイルサーバやオブジェクトストレージなどに保存されているJSONデータやCSVファイルなどは、何らかの方法でデータベースへインポートする必要があります。 MongoDB Atlas Data
住所CSVをドラッグ＆ドロップするだけで地図に表示 「地理院地図」新機能
国土地理院はこのほど、Web地図「地理院地図」に、CSV形式の住所リストをドラッグ＆ドロップするだけで、簡単に地図に表示できる機能などを追加した。災害時、避難所の住所リストを地図化する――といったことが簡単に可能になる。 住所だけでなく、CSV形式の経度・緯度のリストをドラッグ＆ドロップして地図にプロットすることも可能だ。 また、目的に応じてユーザが自由に色分けできる標高図「自分で作る色別標高図」は、設定した標高の凡例を簡単に作成できる機能を追加。2種類の地図を比較する機能には、重ねた地図をカーテンのように左右に動かして比較する機能を追加した。中抜きポリゴンも作成できるようになり、浸水範囲を示した地図などが作りやすくなった。 関連記事 「Googleマップが劣化した」不満の声が相次ぐ ゼンリンとの契約解除で日本地図データを自社製に変更か Googleマップの地図データが変わり、一部で混乱が
VSCodeでCSVをステキに見やすくする「Rainbow CSV」を紹介するよ
はじめに 普段のようにトゥイッターしていたらタイムラインにステキ拡張が流れてきたので、布教のためにバーっと紹介記事を書いてみる次第。 Rainbow CSV Rainbow CSVって何？ VSCodeでCSVを扱いやすくするためのステキ拡張 便利でステキな機能をいくつも持っている とにかくヤバイ（語彙） Rainbow CSVの何がヤバイの？ ①CSVが読みやすくてヤバイ ちょうどいいCSVが無かったので、適当にポケモンのCSVデータを生々しく開いてみた。 CSVの見た目ってこんなのだよね。日本語項目はともかく、数値が連続している箇所は「あれ、この"49"ってどの項目に対応してるんだっけ…？」みたいな混乱が起きて発狂しがち…。 しかし、このファイルをRainbow CSVに通すと…なんということでしょう！ ヘッダー項目とデータ項目にカラフルな色が付き、項目の種類が一発でわかるようになって
trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
シンプルかつ軽量なMac用CSVエディタ「Table Tool」がリリース。
記事内に広告が含まれています。This article contains advertisements. シンプルかつ軽量なMac用CSVエディタ「Table Tool」がリリースされています。詳細は以下から。 Table ToolはオーストラリアのソフトウェアエンジニアJakob Eggerさんらが開発＆公開したMac用CSVファイルエディタで、CSVファイルの編集に特化し、シンプルで軽量なエディタとなっています。 TableTool handles these issues automatically. It detects the specification of a CSV file for you and displays its contents in a table view. Using TableTool is the easy way to create, edit a
JMeterの実行結果CSVデータをローカルMacにたてたElasticsearchとKibanaで可視化する | DevelopersIO
「JMeterの結果CSV、216万行か〜。これくらいだったらJMeterの「グラフ表示」で読み込んで見られるかな〜」 CPU「ブオオオオオオオオン！」 はじめに システムの負荷試験において、Apache JMeterのようなツールを使って試験を実施・結果を出力するケースもあると思います。結果ファイルのサイズがそれほど大きくない場合は、全データを計算する（JMeterでいう「統計レポート」）で問題ありませんが、例えば、長時間負荷をかけたので時系列でデータをグラフ化したい、といったことになると事情が変わってきます。JMeterの結果CSVは手元にあるので、なんとかこれを活用したいところではありますが、数百万行レベルのデータになると、とたんにExcelなどでは辛くなります（というか最大行数的に無理な気がします）。 そこで、ちょうど、弊社木戸がElasticsearchシリーズを連載しているとこ
「タブ区切りは CSV じゃなくて TSV だろ」問題がついに解決した
CSV ありますね。カンマ区切りのデータ形式。 なんか根強いファンがいて、どうしてもこの形式のファイルをダウンロードしたりアップロードしたりしたいという要望をよく聞きます。 CSV がほしい理由 これをやりたい理由のひとつとして、Microsoft Excel からエクスポートしたデータを読み込ませたいとか、逆にシステムにあるデータをエクセルで見たいとかいうのがあると思います。あると思いますっていうかほとんどそれじゃないかな。 けどこの場合、カンマ区切りである必要はないんですよね。要するにエクセルとやりとりできさえすればいいわけで。 だったらカンマじゃなくてタブですよタブ。 カンマ区切りをやめてタブ区切りにすると、いろいろいいです。 何もエクスポートしなくても、エクセルの画面で「すべて選択」して「コピー」したら勝手にタブ区切りになってるからそのまま貼っつけるだけでいい。 テキストエディタな
CSV/TSVに対してSQL発行できるツール「q」 | DevelopersIO
今日はCSV/TSVなどのテキストファイルをSQLで操作できるツール「q」の紹介です。 使いどころ データ処理を実施する時にはDBに保存されているデータやテキストファイルなどをCSVやTSV等の一定のフォーマットに変換して処理することが多いと思います。そのデータ内容を確認するときには、例えばExcel等に貼り付けることもあると思います。ただ、Excelではデータ量が数百万件規模になってくるとソフトウェアの制約上、処理が行えません。 データベースに保存されている大量のデータを処理・取得する際によく用いられるのはSQLです。SQLはデータ操作のための非常によくできたインターフェースであり、かなりの数のエンジニアが利用できるのではないでしょうか。 単純なCSVファイルに対してもSQLを利用して検索が実施できれば楽だと思って探していたところ、「q」にたどり着きました。 インストール qには様々なイ
1000種類ものダミーデータを一括生成してくれるサービス｢mockaroo｣ | ライフハッカー［日本版］
「mockaroo」はダミーデータを1000種類自動生成してくれるサービスです。開発時に必要なダミーデータを大量に一括生成してくれますよ。フォーマットは、CSV, JSON, SQL, Excel形式です。SQLはテーブル名を指定すると、INSERT文を自動生成してくれるので便利でした。 以下に使ってみた様子を載せておきます。まずmockarooへアクセスしましょう。 キーに対する値を入れていきましょう。一定確率で空要素も指定できますね。 どのようなデータを入れるかは、一覧から選択できます。100種類近くあるのできっと最適なデータが探せるかと思います。 JSON形式で生成した結果です。全部で1000種類のダミーデータが一括で作成できました。開発中にダミーデータが大量に欲しいときにぜひ使ってみてください。 mockaroo （カメきち）
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - alexhallam/tv: 📺(tv) Tidy Viewer is a cross-platform CLI csv pretty printer that uses column styling to maximize viewer enjoyment.
GitHub - inouet/ken-all: 日本郵便の郵便番号データ(KEN_ALL.CSV)をいい感じにするツール
GitHub - uzimaru0000/tv: Format json into table view
GitHub - lana-k/sqliteviz: Instant offline SQL-powered data visualisation in your browser
GitHub - mithrandie/csvq: SQL-like query language for csv
PHP: fgetcsvでもSJISのCSVをUTF-8として《安全》に読む方法(ストリームフィルタ使用) - Qiita
SmoothCSV - The ultimate CSV editor for macOS & Windows
HTMLテーブルを JSON、XML、PNG、CSV、PDFなどあらゆる形式に変換できる「HTML table Export」:phpspot開発日誌