CSV/TSVに対してSQL発行できるツール「q」 | DevelopersIO
今日はCSV/TSVなどのテキストファイルをSQLで操作できるツール「q」の紹介です。 使いどころ データ処理を実施する時にはDBに保存されているデータやテキストファイルなどをCSVやTSV等の一定のフォーマットに変換して処理することが多いと思います。そのデータ内容を確認するときには、例えばExcel等に貼り付けることもあると思います。ただ、Excelではデータ量が数百万件規模になってくるとソフトウェアの制約上、処理が行えません。 データベースに保存されている大量のデータを処理・取得する際によく用いられるのはSQLです。SQLはデータ操作のための非常によくできたインターフェースであり、かなりの数のエンジニアが利用できるのではないでしょうか。 単純なCSVファイルに対してもSQLを利用して検索が実施できれば楽だと思って探していたところ、「q」にたどり着きました。 インストール qには様々なイ
perl - the best friend of find(1) : 404 Blog Not Found
2008年02月24日22:45 カテゴリLightweight Languages perl - the best friend of find(1) find(1)ネタというのも、定期的にネットを賑やかにする時候ネタになりつつあるようです。 いまさらxargsの便利さを主張してみる findでファイル検索入門 - builder by ZDNet Japan というわけで、いまさらfindとperlの相性のよさを再確認してみることにしてみます。 基本形 まずは、これを覚えておきましょう。 find [options and args of find] -print0 | perl -l0ne 'perl program' findが見つけたファイルを一つ見つけると、perlの$_にそのファイル名が入るのでそれに対して何らかの処理を行います。 perl側の-l0neというのは、以下と同等
アカウントアグリゲーション - Wikipedia
アカウントアグリゲーション(Account aggregation) とは、 インターネットバンキングなどに預金者が保有する、異なる金融機関の複数の口座の情報を、単一のコンピュータスクリーンに集約して表示するサービスの総称。 概要[編集] このサービスは、インターネットバンキングが広く利用されるようになってから登場したものであり、サービスのID/パスワードを登録することで、複数の口座の情報を集約するものである。スクリーンスクレイピングというhtmlを解析する手法により実現されている。 1)各金融機関などのサービスのID/パスワード、2)口座情報、3)スクレイピングエンジンの保管・稼動場所の相違によりサービス形態が異なる。 1)2)3)ともにサーバ側で管理する方式をサーバ型といい、この場合Webブラウザを用いてサービス提供され、主にASPサービスとして提供されている。 これに対し、1)2)3
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
