マナーの悪い JSON データを jq で整形する - nagix
JSONデータの問題 色々なJSONデータを扱っていると、たまにマナーの悪いデータを目にします。例えば、政府統計情報e-Statでダウンロードできる次のようなJSONデータ（一部を切り出しています）。 {"CLASS_OBJ":[ {"@id":"tab","@name":"表章項目","CLASS":[{...},{...},...]}, ←このオブジェクト内の"CLASS"の値は配列 {"@id":"cat01","@name":"全域・人口集中地区2010","CLASS":[{...},{...},...]}, ←同じく配列 {"@id":"area","@name":"地域（2010）","CLASS":[{...},{...},...]}, ←同じく配列 {"@id":"time","@name":"時間軸(年次)","CLASS":{...}} ←このオブジェクト内の"CLA
Apache Drill で日本語を扱うときの注意 - nagix
言語の設定がUTF-8になっている環境であれば、データに日本語が含まれていても基本的に問題はありません。 $ echo $LANG ja_JP.UTF-8 次のようなCSVファイルを $ cat /tmp/test.csv 1,くまモン,熊本 2,ふなっしー,船橋 3,せんとくん,奈良 次のSQLで取得すると、カラム名、データともきちんと表示されます。まあ、マルチバイト文字が入っていると水平の表示位置がずれるのですが。 $ apache-drill-1.0.0/bin/drill-embedded 0: jdbc:drill:zk=local> SELECT . . . . . . . . . . . > COLUMNS[0] 番号, . . . . . . . . . . . > COLUMNS[1] 名前, . . . . . . . . . . . > COLUMNS[2] 住所 .
HTTP ベンチマークツール wrk についてメモ
モダンな HTTP ベンチマークツール wkr の簡単な使い方についてメモ。 wrk の特徴は以下。 C で書かれている マルチコア CPU を 活かした高負荷をかけられる スレッドと epoll/kqueue のイベントドリブンを活用して負荷をスケールさせる(NOTICE ファイルを読むと Redis Event Library(ae event loop) を拝借しているようです) Lua スクリプトで HTTP クライアントの処理や実行結果のレポートをカスタマイズできる Installing wrk in CentOS 6 まずはビルドに必要なパッケージをインストールします。 $ sudo yum install git $ sudo yum groupinstall 'Development Tools' $ sudo yum install openssl-devel opens
GitHub - apache/pinot: Apache Pinot - A realtime distributed OLAP datastore
Apache Pinot is a real-time distributed OLAP datastore, built to deliver scalable real-time analytics with low latency. It can ingest from batch data sources (such as Hadoop HDFS, Amazon S3, Azure ADLS, Google Cloud Storage) as well as stream data sources (such as Apache Kafka). Pinot was built by engineers at LinkedIn and Uber and is designed to scale up and out with no upper bound. Performance a
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
