How Uber Engineering Evaluated JSON Encoding and Compression Algorithms to Put the Squeeze on Trip Data
For compression, we put three lossless and widely accepted libraries to the test: Snappy zlib Bzip2 (BZ2) Snappy aims to provide high speeds and reasonable compression. BZ2 trades speed for better compression, and zlib falls somewhere between them. Testing Our goal was to find the combination of encoding protocol and compression algorithm with the most compact result at the highest speed. We teste
JSONストアサーバ「Kinto」。モバイルデバイスやWebブラウザとデータ同期可能、オフラインファーストにも対応、モジラがオープンソースで公開
JSONストアサーバ「Kinto」。モバイルデバイスやWebブラウザとデータ同期可能、オフラインファーストにも対応、モジラがオープンソースで公開 モジラがオープンソースで公開した「Kinto」は、モバイルアプリケーションやWebアプリケーションのサーバ側としてよく利用されるBaaS（Backend as a Service）用のサーバとして使うことを想定したソフトウェアで、いわゆるNoSQLデータベースの一種といえます。 Kintoのクライアントライブラリとして、オフライン状態での実行を想定した、いわゆるオフラインファーストに対応したJavaScriptクライアントが用意されていることが挙げられます。 同期機能はモジラのMozilla Firefox Syncチームが設計したもので、モジラはすでにこのKintoの同期機能を利用してFirefoxやFirefox OSでの設定情報やアセットな
Winterfell - React用。JSON Schemaを使ったフォームビルド&入力チェック MOONGIFT
JSON Schemaと呼ばれる入力の検証であったり、ドキュメント生成にも使われる技術に注目が集まっています。とはいえ、JSON Schemaをわざわざ作成して運用するのは面倒と言ったイメージもあるでしょう。 そこでもっとJSON Schemaを使えるライブラリを利用するようにしましょう。今回はReactアプリで使えるWinterfellを紹介します。 Winterfellの使い方 Winterfellを使った例です。フォームになっていますが、これはJSON Schemaから生成しています。 こんな感じのJSONになっています。形式は若干特殊です。 使い方。読み込んだJSONをデータとして適用しています。 入力エラーがあった場合。 WinterfellはReact上の処理を行うものなので、サーバサイドでの検証には対応していないようです。サーバ側も対応すれば、一つのJSON Schemaから
BigQuery をスキーマレスっぽく運用する方法 - Qiita
3行でまとめ 1つの列に JSON 文字列を突っ込む JSON functions を使って、必要な値を取り出す 要するに RDB の JSON 型みたいな感じで運用しようということ。 どういう時に使うの？ 「1時間後からログ分析するから」とぶっこまれた時。当然、スキーマは決まっていない。あとは、使い捨てのアドホックな分析とか簡易ETLツールとして使うと便利だと思う。 なお、この方法はコストもかかるし、速くもない、実際は BigQuery なので速いけど、相対的には速くないので、甘えずにスキーマはちゃんと決めるようにしよう。 手順 スキーマを準備
jqを活用してAPIレスポンスから欲しい情報を抽出する【上級編】 | DevelopersIO
よく訓練されたアップル信者、都元です。引き続きjqのお話。本日は上級編です。 まずおさらいの意味も込めて下記は、ざっと読んでおいて頂けると。 jqを活用してAPIレスポンス等から欲しい情報だけを抽出する【初級編】 jqを活用してAPIレスポンス等から欲しい情報だけを抽出する【中級編】 前回の練習問題の答え さて、まず前回の練習問題の答えをさらっと。1つ目の解答例は下記の通りです。「どっと・ふー・むきむき」と読んでください。 $ cat example.json | jq '.foo[][]' 2つ目の解答例はこんな感じでしょうか。 $ cat example.json | jq '[.foo[][] | {(.key): .value}] | add' jqにおける関数 さて。 ある値をから別の値を作る操作のことを関数(function)と呼びます。例えば今まで見てきたjqのクエリはそれぞ
軽量JSONパーサー『jq』のドキュメント：『jq Manual』をざっくり日本語訳してみました | DevelopersIO
jq Manual jqで簡単JSON加工 ｜ Developers.IO jqコマンドが実は高性能すぎてビビッた話 - beatsync.net JSONを超絶に読みやすくする jq コマンド - WebAPIバリバリ使うor開発する人必須 CLIでJSONの整形をする - ( ꒪⌓꒪) ゆるよろ日記 JSON形式の情報を様々な条件や書式として成形、フィルタリングツール『jq』。上記関連エントリで私もこのツールの存在を知る事になったのですが、ツールの簡易さ・便利さに感動しながら私もちょくちょく利用させてもらっています。 そこでこのエントリでは、jq公式ページに展開されている利用ガイド・リファレンス的な位置付けの『jq Manual』を写経がてらざっくり日本語訳してみました。ざっくり訳なのでこの部分の訳おかしい・間違ってる等ありましたら御指摘頂けると幸いです。例示されているサンプルコードも
MEANスタックは破壊的か
最近、MEANがイイという話をチラホラと耳にする。先日も次の記事がはてブで話題になっていた。 MEAN(MongoDB, Express, AngularJS, Node.js)スタックが優れている理由 - Mozilla Open Web Day in Tokyoを終えて - albatrosary's blog この記事の冒頭では、MEANはLAMPに変わる技術として紹介されているが、果たしてそれは正しいのだろうか。（この記事では、LAMPを例にとりつつJavaがどうのという記述があるので、恐らくはLAMPではなく既存のリレーショナルデータベースを用いたアーキテクチャ一般について述べたいのではないかと思う。）MEANについて少し思うところがあるので、今日はMEANの可能性について書き綴っておこうと思う。ただし、私自身MEANスタックと呼ばれるシロモノは使ったことがなく、構造を理解した上
NoSQLのAmazon DynamoDBがJSONドキュメントに対応、25GB/月間2億リクエストまで無料枠も拡大
NoSQLのAmazon DynamoDBがJSONドキュメントに対応、25GB/月間2億リクエストまで無料枠も拡大 Amazonクラウドが提供している「Amazon DynamoDB」は、フルマネージドのNoSQLデータベースです。ほぼ無限にデータベースをスケールさせることができるため容量のことを気にする必要がなく、固定されたスキーマを持たない柔軟性と、SSDを利用することによる高いスループットを実現。NoSQLでありながら一貫性を制御するオプションも備えています。 まさにクラウドの特長を活かしたサービスであるDynamoDBが、JSONドキュメントをデータ型としてサポートしたと発表されました。 これでDynamoDBのスケーラビリティや性能はそのまま、キーバリュー型だけでなくJSONドキュメントも扱えるようになりました。 キーバリューに加えてJSONドキュメントも JSONとは、Jav
Kibanaのダッシュボード設定を動的生成してみる
インフラ担当の池田（@mikeda）です。 最近、Kibanaでアクセスログの可視化をやってみてるのですが、手でダッシュボードいじるのがダルいです。 例えばうちの場合はサーバクラスタ、顧客アカウントごとのアクセスを見たい場合が多く、その条件を毎回指定するのがめんどくさい。 ここを動的に生成できないかな、と思って調べてみました。 イメージとしては、 内部管理画面にクラスタ/顧客アカウントの一覧があるのでそこにKibanaのリンクを設置して、 クリックすると適切に設定されたKibanaに飛ぶ、 という感じです。 Kibanaのソースコードやドキュメントはぜんぜん読んでないのですが（すませんｗ）、UIをポチポチ触ってるととりあえず以下の2つの方法でなんとかできそうでした。 Kibanaサーバに設定ファイル配置 ElasticSearchに設定突っ込んでリダイレクト Kibanaサーバに設定ファイ
How to convert MMD files to JSON for three.js | Yomotsu net
I published a video, which is explaining the way to convert MMD files ( PMX and VMD ) to a JSON file for three.js. Here is it. The convert was operated on Blender. Preparation Check the language setting at preference to display Japanese characters. Install and activate following addons mmd-tools io_mesh_threejs Load MMD files Load a PMX file Select all bones Load a VMD file Bake Actionsome bones o
Handling alternate property names in Jackson Deserialization
I am working on converting a REST/JSON service from Coldfusion 9 to a Spring-MVC 3.1 application. I am using Jackson (1.9.5) and the MappingJacksonJsonConverter that Spring provides, and am customizing the ObjectMapper to name fields with CAMEL_CASE_TO_LOWER_CASE_WITH_UNDERSCORES. The problem I am facing is that our legacy service produces 'camel case to UPPER case with underscores' as json proper
7 Command-Line Tools for Data Science | Jeroen Janssens
Data science is OSEMN (pronounced as awesome). That is, it involves Obtaining, Scrubbing, Exploring, Modelling, and iNterpreting data. As a data scientist, I spend quite a bit of time on the command-line, especially when there’s data to be obtained, scrubbed, or explored. And I’m not alone in this. Recently, Greg Reda discussed how the classics (e.g., head, cut, grep, sed, and awk) can be used for
ログをLTSVやJSONで保存した場合のサイズ比較 - stanaka's blog
追記(2/17) 変換スクリプトを見せてほしい、という要望があったので、 https://gist.github.com/stanaka/4967403 に上げておきました。ltsvを読み込んでオプションで指定したフォーマット(デフォルト JSON)に変更します。 追記ここまで LTSVの盛り上りも収束してきていますが、サイズに関する懸念があがっていたので、確認してみました。 手近にあったアクセスログ 186万件ほどを対象に、 ssv .. Combined Log Formatの拡張で、ラベルなし (レスポンス時間とか10個ぐらいのフィールドを拡張しています) json .. ラベルあり ltsv .. ラベルあり の3パターンで試してみました。 まずは行数を確認しておきます。 % wc -l access_log.json 1861706 access_log.json未圧縮だと、 a
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Escape forward slash in Jackson
Jackson開発者のTatu Saloranta氏がJSONベンチマークに回答
XMLでもJSONと同等のパフォーマンスを実現できる
» Json Java parsers / generators microbenchmark Myšlenky dne otce Fura
JSONバリデーションのまとめ
A Crazy Fast Way to Convert XML to JSON - DZone