SuperPack - ペイロードの小さな新しいシリアライズフォーマットSpring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
第7章 Avroスキーマ
Avroを使用すると、レコードの値のデータ・スキーマを定義できます。このスキーマは、値で使用できるフィールドとそのデータ型を表します。 Oracle NoSQL Databaseレコードの値部分にスキーマを適用するには、Avroバインディングを使用します。このバインディングを使用して、書込み前の値のシリアライズと読取り後の値のデシリアライズを行います。このバインディングを使用するには、アプリケーションでAvroデータ形式が使用されている、つまり格納値がそれぞれスキーマに関連付けられている必要があります。 Avroスキーマを使用すると、シリアライズされた値を領域効率に非常に優れたバイナリ形式で格納できます。格納される各値は、サイズの小さい内部スキーマ識別子(1から4バイト)以外のメタデータを持ちません。このような参照情報がキーと値のペアごとに格納されます。このように、シリアライズされたAvr
Post by @instagram-engineering · 2 images
Fast, auto-generated streaming JSON parsing for Android The Instagram engineering team is constantly looking at how we can improve the speed, reliability and overall performance of the app. One of the things we wanted to improve is how quickly people using the Android app can view “News” in their Instagram feed—the place you go to see when people tag you, like or comment on one of your posts, or e
Simple Binary Encoding
Financial systems communicate by sending and receiving vast numbers of messages in many different formats. When people use terms like "vast" I normally think, "really..how many?" So lets quantify "vast" for the finance industry. Market data feeds from financial exchanges typically can be emitting tens or hundreds of thousands of message per second, and aggregate feeds like OPRA can peak at over 10
FlatBuffers: a memory efficient serialization library
Today, we are releasing FlatBuffers, a C++ serialization library that allows you to read data without unpacking or allocating additional memory, as an open source project. FlatBuffers stores serialized data in buffers in a cross-platform way, supporting format evolution that is fully forwards and backwards compatible through a schema. These buffers can be stored in files or sent across the network
デシリアライズ速度の比較 ByteBuffer vs DirectBuffer vs Unsafe vs C - Blog by Sadayuki Furuhashi
OpenJDK や Hotspot VM には sun.misc.Unsafe という内部APIがあり*1、これを使うと ByteBuffer.getInt や ByteBuffer.getLong よりも高速にバイト列から整数値をデコードできるという。これを駆使することで、Cで実装された拡張ライブラリに匹敵する速度を出せるらしい。 それが本当なら、データ圧縮やハッシュ関数、シリアライザ/デシリアライザなどの実装を高速化できる。例えば、lz4 や xxhash のJava実装が Unsafe API を使用している*2：jpountz/lz4-java Prestoも、中間データのシリアライズ/デシリアライズにはすべて Unsafe API を使っている*3。 そこで、実際にベンチマークしてみた。 ベンチマーク内容 10MBのランダムなバイト列を生成する 先頭から1バイト読み出す その1バ
Schema evolution in Avro, Protocol Buffers and Thrift — Martin Kleppmann’s blog
Schema evolution in Avro, Protocol Buffers and Thrift Published by Martin Kleppmann on 05 Dec 2012. So you have some data that you want to store in a file or send over the network. You may find yourself going through several phases of evolution: Using your programming language’s built-in serialization, such as Java serialization, Ruby’s marshal, or Python’s pickle. Or maybe you even invent your ow
Parcelable vs Serializable
When starting on Android, we all learn that we cannot just pass object references to activities and fragments, we have to put those in an Intent / Bundle. Looking at the api, we realize that we have two options, we can either make our objects Parcelable or Serializable. As Java developers, we already know of the Serializable mechanism, so why bother with Parcelable? To answer this, lets take a loo
Speed Up with Fast Java and File Serialization - DZone
Since the first version of Java, day-by-day many developers have been trying to achieve at least as good of performance as in C/C++. JVM vendors are doing their best by implementing some new JIT algorithms, but there is still a lot to do, especially in how we use Java. For example, there is a lot to win in objects<->file serialization - notably in writing/reading objects that can readily fit in th
Home
This test focusses on en/decoding of a cyclefree data structure, but the featureset of the libraries compared differs a lot: some serializers support cycle detection/object sharing others just write non-cyclic tree structures some include full metadata in serialized output, some don’t some are cross platform, some are language specific some are text based, some are binary, some support versioning
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Blog | Cloudera
GitHub - RuedigerMoeller/fast-serialization: FST: fast java serialization drop in-replacement
Only the Good Die Young (or Move Off-heap?) | Blog of Christian Felde
GitHub - aeron-io/simple-binary-encoding: Simple Binary Encoding (SBE) - High Performance Message Codec
GitHub - OpenHFT/Java-Lang: Java Language support
GitHub - FasterXML/jackson-module-afterburner: (DEPRECATED) -- moved under `jackson-modules-base`
Serialization using ByteBuffer and recycled objects
Google Code Archive - Long-term storage for Google Code Project Hosting.
Java Serialization Performance: Methods, Performance, and Security
Java Serialization - Good, Fast, and Faster
