データの変換をコマンドラインで！csvkit - ばいばいバイオ
概要 コマンドライン使ってますか！ シェル芸人の皆さんは日常茶飯事でしょうけど、そこまで極めることなしに手軽に身近なデータ分析に組み込むことのできるツールをご紹介します。 その名も！ csvkit！ github.com すぐに特定の変換方法が知りたいせっかちなあなたは下記の目次から飛んでください。 概要 インストール データの変換 Excel → CSV CSV → SQL文 CSV → RDB RDB → CSV JSON → CSV データの閲覧 データの抽出 データの並び替え テストデータは公式のものを使って試しています。 内容は公式のチュートリアルから抜粋しているだけなので、もっと機能を知りたい方はぜひ公式ドキュメントを参考にして下さい。 インストール v1.0.2では警告メッセージが大量に出力される不具合が観測されたため、pipからダウンロードすることのできるv1.0.5を使用
trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
CSV/TSVに対してSQL発行できるツール「q」 | DevelopersIO
今日はCSV/TSVなどのテキストファイルをSQLで操作できるツール「q」の紹介です。 使いどころ データ処理を実施する時にはDBに保存されているデータやテキストファイルなどをCSVやTSV等の一定のフォーマットに変換して処理することが多いと思います。そのデータ内容を確認するときには、例えばExcel等に貼り付けることもあると思います。ただ、Excelではデータ量が数百万件規模になってくるとソフトウェアの制約上、処理が行えません。 データベースに保存されている大量のデータを処理・取得する際によく用いられるのはSQLです。SQLはデータ操作のための非常によくできたインターフェースであり、かなりの数のエンジニアが利用できるのではないでしょうか。 単純なCSVファイルに対してもSQLを利用して検索が実施できれば楽だと思って探していたところ、「q」にたどり着きました。 インストール qには様々なイ
JavaでCSVの読み書きを快適に！ ～「OrangeSignal CSV」概要
はじめに 皆さんは、JavaでCSVを扱うときに苦労した経験はないでしょうか。 CSV（Comma-Separated Values／Character-Separated Values）はデータをカンマ（,）やタブなどで区切って並べたテキスト形式のデータで、表計算ソフトやデータベースなどとのデータ交換のしやすさや可読性のよさなどから、古くから広く使われているデータ形式です。 このCSVのデータ形式には、さまざまな「方言」があり、データの中にカンマ（,）が入っている場合や、データをダブルクォーテーション（"）で囲む場合、データの中にダブルクォーテーションがありそれがエスケープされている場合、データの中に改行がある場合などが存在します。また、CSVのデータ構成にもさまざまな種類があり、データの先頭行をヘッダとする場合や、コメント行や集計行がある場合、日時データを日付と時刻それぞれ別々の列とす
spiritlooseのはてなダイアリー - Perlでセル内改行つきのCSVファイルを処理する方法
PerlでExcelとかで作ったセル内改行(複数行にわたるレコード)つきCSVファイルを処理する方法。 意外と知らない人がいたので。 Text::CSV_XS を使って。 #!/usr/local/bin/perl use strict; use warnings; use IO::File; use Text::CSV_XS; my $fh = IO::File->new('test.csv') or die 'cannot open file'; my $csv = Text::CSV_XS->new({binary => 1}); until ($fh->eof) { my $columns = $csv->getline($fh); # $columns->[0] } $fh->close; syntax highlight by VimColor binary オプションが必要。
Amazon倉庫はニートでも出来る簡単なお仕事らしい : オーニソプターズ
作業内容 ルンバみたいな自動で送られてくる棚に商品をバーコードでスキャンして入れるだけ ノルマは１日3000件 拘束時間11時間(勤務時間10時間プラス休憩1時間) 時給1050円 なんj民にオススメ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - uflare/csvtk: a csvkit like utilities but written in Go
GitHub - noborus/trdsql: CLI tool that can execute SQL queries on CSV, LTSV, JSON, YAML and TBLN. Can output to various formats.
GitHub - mithrandie/csvq: SQL-like query language for csv
Text::CSV_XS