Athenaでデータの格納形式ごとのクエリ実行性能を比較してみた - Taste of Tech Topics
こんにちは、唄うエンジニア、miyajima です。 仕事の中でAmazon Athenaを利用する機会があったため、今回はそのAmazon Athenaを使った性能比較を試してみました。 Amazon Athena とは - Amazon Athena Amazon Athena はS3に保存されているファイルのデータをSQL形式のクエリで直接検索することができるサービスです。 大量のデータを高速に分析、検索することができ、また一度テーブル定義すれば、あとはS3にファイルを置くだけで検索できるようになるのでデータの追加変更も容易です。またサーバレスですから費用は検索に使用した分だけとなり、運用コストも抑えられます。 Athenaサポートしているデータ形式は、以下のように多数用意されています。 一般的なデータファイル形式: CSV, TSV, JSON Hadoopの分散処理に適用した形式
JSON to CSV Ruby Script
Spent a good 5 minutes trying to dig up a small JSON to CSV ruby script on google but couldn't find anything! So i wrote my own small script in Ruby. Hope this saves someone 5 minutes! FORMAT [{"first":"Richard", "last":"Ramsden"}, {"first":"Steven", "last":"Ramsden"}] JSON to CSV require 'json' raise Exception, 'you must provide a json file' unless ARGV[0] json = JSON.parse(File.open(ARGV[0]).rea
PDOでオブジェクトをフェッチ＆JSONとCSVファイル出力 - Qiita
PDOを使ったデータベース操作でオブジェクトを扱う場合、不便なところが結構あります。 それを PDOStatement を拡張することで使いやすくしようという話を基本に、応用例としてJSON出力とCSVファイル出力の方法を紹介します。 オブジェクトで取得するためのフェッチモード フェッチモードには多彩なものが用意されているのですが、オブジェクトで取得する場合はどれも使いづらいです。 自分はいわゆるモデルクラスは不変オブジェクトにしたいよ派かつ、マジックメソッド大好きなので、その辺りの使いやすさについても注目してみます。 PDO::FETCH_OBJ 列名をプロパティに持つ匿名オブジェクト (stdClass) を返します。 匿名オブジェクトなんて連想配列と同じだし、今となっては意味がなさそう…。 PDO::FETCH_LAZY PHPマニュアルの記述からは PDO::FETCH_OBJ と
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Talend Blog: The latest on Talend products and company news
GitHub - mattn/csv2json
