ワンライナーで CSV に対して SQLite クエリを実行する - アルパカの徒然文
One-liner for running queries against CSV files with SQLite という記事で紹介されていた、ワンライナーを使って CSV ファイルに対して SQL クエリを実行する方法。 $ sqlite3 :memory: -cmd '.mode csv' -cmd '.import taxi.csv taxi' \ 'SELECT passenger_count, COUNT(*), AVG(total_amount) FROM taxi GROUP BY passenger_count' ソース元に記述されてる通り、taxi.csv を GitHub からダウンロードして試すことができる。7z で圧縮されていて解凍する必要がある。 SQLite は通常ストレージディスク（SSD とか）上に保存して利用するのが一般的だが、SQLite 側で用意さ
ブラウザからjsの配列をcsvとしてダウンロードする。 - Qiita
var downloadCsv = (function() { var tableToCsvString = function(table) { var str = '\uFEFF'; for (var i = 0, imax = table.length - 1; i <= imax; ++i) { var row = table[i]; for (var j = 0, jmax = row.length - 1; j <= jmax; ++j) { str += '"' + row[j].replace('"', '""') + '"'; if (j !== jmax) { str += ','; } } str += '\n'; } return str; }; var createDataUriFromString = function(str) { return 'data:te
How to map an object to arrays so it can be converted to csv?
I'm trying to convert an object that looks like this: { "123" : "abc", "231" : "dbh", "452" : "xyz" } To csv that looks like this: "123","abc" "231","dbh" "452","xyz" I would prefer to use the command line tool jq but can't seem to figure out how to do the assignment. I managed to get the keys with jq '. | keys' test.json but couldn't figure out what to do next. The problem is you can't convert a
CSV 形式 | Gephi, オープンソースのグラフ可視化ソフトウェア
Gephi は、関係をシンプルに表現した CSV ファイルをサポートしています。CSV ファイルは、任意の行データ、データベース、Excel のエクスポート機能から取得できます。各行は、区切り文字 (カンマ (,)、セミコロン (;)、縦棒 (|)、または空白) で区切られた要素を少なくとも 2 つ含んでいなければなりません。値は、単一引用符または二重引用符で囲むことができます。デフォルトでは、CSV からインポートされたグラフは有向グラフですが、インポートレポートダイアログで「無向」を選択することができます。 例 エッジリスト 次の CSV は、2 つのエッジ“a” -> “b” と “b” -> “c”を持つグラフの例です。 a;b b;c 隣接リスト すべてのエッジをノードのペアとして記述することができます。一行にすべてのノードの接続を記述することもできます。次に示すのは、3 つのエ
DynamoDBのテーブルにCSVファイルから一括でデータをimportしてみた | DevelopersIO
こんにちは、崔です。 CSVファイルのデータをDynamoDBのテーブルにimportしたいと思ったことはありませんか？ こちらのAWSの公式ブログにおいて、これを実装するCloudFormationのテンプレートが提供されていましたので、試してみました。 やってみた 上記ブログ内のリポジトリからテンプレートをダウンロードします。 GitHub リポジトリ CSVToDynamo.templateファイル内の AttributeName の2箇所のパーティションキー名を uuid から利用予定のパーティションキー名に変更します。 "Resources": { "DynamoDBTable":{ "Type": "AWS::DynamoDB::Table", "Properties":{ "TableName": {"Ref" : "DynamoDBTableName"}, "Billing
CSV/TSVに対してSQL発行できるツール「q」 | DevelopersIO
今日はCSV/TSVなどのテキストファイルをSQLで操作できるツール「q」の紹介です。 使いどころ データ処理を実施する時にはDBに保存されているデータやテキストファイルなどをCSVやTSV等の一定のフォーマットに変換して処理することが多いと思います。そのデータ内容を確認するときには、例えばExcel等に貼り付けることもあると思います。ただ、Excelではデータ量が数百万件規模になってくるとソフトウェアの制約上、処理が行えません。 データベースに保存されている大量のデータを処理・取得する際によく用いられるのはSQLです。SQLはデータ操作のための非常によくできたインターフェースであり、かなりの数のエンジニアが利用できるのではないでしょうか。 単純なCSVファイルに対してもSQLを利用して検索が実施できれば楽だと思って探していたところ、「q」にたどり着きました。 インストール qには様々なイ
CSVや標準入力からのデータをSQLライクに集計 - notebook
q CSVファイルや入力に対してSQLを実行できるというとても便利なツールらしい q install CentOS6.4にインストールしてみます rpm -ivh https://github.com/harelba/packages-for-q/raw/master/rpms/q-text-as-data-1.5.0-1.noarch.rpm 導入 何はともあれ試してみます cat list.csv a,b,c 1,2,3 4,5,6 エラー 実行しようとしたらエラーが出た、サイトにも書いてあるがpython3系には対応していない模様 python --version Python 3.4.0 q -H -d',' "select * from list.csv" File "/usr/bin/q", line 105 print sql, " params: " + str(param
R：read.csv / read.tableで型と列名を指定して読み込む。 - Qiita
> # 単純に読み込んだ場合。 > data <- read.csv('test.csv', header=F, encoding="UTF-8") > sapply(data, class) V1 V2 V3 V4 V5 V6 "factor" "integer" "integer" "integer" "integer" "factor" 2列目が文字列解釈、1、6列目がfactor型として解釈されます。 header=Fは1行目をヘッダーと見なすかどうか、encodingはファイルのエンコーディング指定です。 ヘッダーがないので、名前が勝手に付与されます。 文字列がfactorに解釈されないようにするオプションを付けた場合。 > # 文字列をfactorにしないオプション付き。 > data <- read.csv('test.csv', header=F, encoding="UT
PowerShell から SQLCMD.exe で SQL を実行 at SE の雑記
PowerShell から SQL Server に SQL を実行する場合、データベース エンジン PowerShell を使用することがあるかと思います。 ほかにも System.Data.SqlClient を使用した方法 (Windows PowerShell: Windows PowerShell からデータベースにアクセスする) や、SQLSMO を使用した方法 (Using PowerShell with SQL Server Management Objects (SMO)) もあります。 今回は、データベースエンジン PowerShell の Invoke-Sqlcmd を sqlcmd.exe に置き換えた際のメモを。 以下の情報を参考にさせていただいています。 SQL2005のSQLCMDオプションについて質問 Passing varibles with specia
2014-08-12:UP by Jawbone のデータダウンロードとデータの見方
2014-08-12:UP by Jawbone のデータダウンロードとデータの見方 そういえば UP のデータって彼らのサーバにアップされてるけど、自分の分のデータダウンロードってできないのかな、と調べてみた。 ふつーにできるのね。 https://jawbone.com のページ上部の「サインイン」からサインイン サインインの場所が自分のアカウント名になっていて、そこのプルダウンから設定をクリック アカウントタブを選ぶと、年単位での CSV ダウンロードボタンがある CSV は一日が1レコードになっていて、各レコードは41カラム。 各カラムのデータはどう見たらいいんだろう、とググっていたら、以下を見つけた。 UP for Developer https://jawbone.com/up/developer/ なんだ、そもそもデータ取得の API なんてあるのか。気づいてなかった。 なん
Firefoxのページ閲覧履歴をCSVに書き出す – びわ湖のほとりの人
Firefoxのブックマークをファイルにエクスポートする機能は標準で付いていますが、ページの閲覧履歴は表示できても、書き出すことができません。 履歴を消したくても、残したいという人はあんまりいないのではないかと思いますが、そんな人が他にもいるかもしれないので、閲覧履歴をCSVファイルに書き出すメモ。 環境はMacです。Windowsでも同様の手順で書き出し可能ではないかと思います。 ステップ 1.閲覧履歴が保存されているFirefoxのデータベースファイル（places.sqlite）をコピー 2.Firefoxに「SQLite Manager」アドオンをインストール 3.SQLite Mangerを使って必要なデータを読み出し、CSVファイルとして保存 1.閲覧履歴が保存されているFirefoxのデータベースファイル（places.sqlite）をコピー 「Finder」のツールバーから
Python: CSVファイルの読み込み – csv.readerオブジェクト
ソースコード #!/usr/bin/python # coding: UTF-8 # CSVファイルの読み込み import csv filename = "table01.csv" csvfile = open(filename) print csvfile for row in csv.reader(csvfile): print row # 1行のリスト for elem in row: print elem, # 行の中の要素 print csvfile.close() print csvfile CSVファイル (table01.csv) (番号,名前) 1,aki 2,hiro 3,norika 4,kaede 実行結果 <open file 'table01.csv', mode 'r' at 0x01BECCC8> ['1', 'aki'] 1 aki ['2', 'hir
Python: CSVファイルに書き込み – csv.writerオブジェクト
試しにチャット履歴をCSVファイルに保存するという場合の例を取り上げます。まぁ実際はメッセンジャーアプリのXMLファイル等をコンバートして保存する例を持ってきた方が良いのかもしれませんが、そうするとコードが長くなり今記事の焦点が合わなくなるので割愛します。 ソースコード #!/usr/bin/python # coding: UTF-8 # CSVファイルに書き込み import csv # CSVファイルを扱うためのモジュールのインポート filename = "table02.csv" writecsv = csv.writer(file(filename, 'w'), lineterminator='n') # 書き込みファイルの設定 writecsv.writerow(['2007/11/12 20:19:18', 'や、こんばんは。']) # 1行(リスト)の書き込み write
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Keyが揃ってないJSONデータをjqでワンライナーでヘッダ付きCSVに変換する - Qiita
Dynamic Graph - how to use time format "yy:mm:dd: hh:mm:ss"? · Issue #1984 · gephi/gephi
https://www.web-development-kb-ja.site/ja/linux/%E3%82%B3%E3%83%9E%E3%83%B3%E3%83%89%E3%83%A9%E3%82%A4%E3%83%B3%E3%83%84%E3%83%BC%E3%83%AB%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%97%E3%81%A6csv%E3%83%98%E3%83%83%E3%83%80%E3%83%BC%E3%81%AE%E5%90%8D%E5%89%8D%E3%82%92%E5%A4%89%E6%9B%B4%E3%81%99%E3%82%8B/944682103/
ウェルネスリンク パソコン向けサービス終了について - WM（わたしムーヴ）
csvや標準入力をsqlで取得できるqコマンド - Qiita
https://jawbone.com/user/settings
PythonでCSVの読み書き - Qiita
