Post by @instagram-engineering · 2 images
Fast, auto-generated streaming JSON parsing for Android The Instagram engineering team is constantly looking at how we can improve the speed, reliability and overall performance of the app. One of the things we wanted to improve is how quickly people using the Android app can view “News” in their Instagram feed—the place you go to see when people tag you, like or comment on one of your posts, or e
デシリアライズ速度の比較 ByteBuffer vs DirectBuffer vs Unsafe vs C - Blog by Sadayuki Furuhashi
OpenJDK や Hotspot VM には sun.misc.Unsafe という内部APIがあり*1、これを使うと ByteBuffer.getInt や ByteBuffer.getLong よりも高速にバイト列から整数値をデコードできるという。これを駆使することで、Cで実装された拡張ライブラリに匹敵する速度を出せるらしい。 それが本当なら、データ圧縮やハッシュ関数、シリアライザ/デシリアライザなどの実装を高速化できる。例えば、lz4 や xxhash のJava実装が Unsafe API を使用している*2：jpountz/lz4-java Prestoも、中間データのシリアライズ/デシリアライズにはすべて Unsafe API を使っている*3。 そこで、実際にベンチマークしてみた。 ベンチマーク内容 10MBのランダムなバイト列を生成する 先頭から1バイト読み出す その1バ
Speed Up with Fast Java and File Serialization - DZone
Since the first version of Java, day-by-day many developers have been trying to achieve at least as good of performance as in C/C++. JVM vendors are doing their best by implementing some new JIT algorithms, but there is still a lot to do, especially in how we use Java. For example, there is a lot to win in objects<->file serialization - notably in writing/reading objects that can readily fit in th
Home
This test focusses on en/decoding of a cyclefree data structure, but the featureset of the libraries compared differs a lot: some serializers support cycle detection/object sharing others just write non-cyclic tree structures some include full metadata in serialized output, some don’t some are cross platform, some are language specific some are text based, some are binary, some support versioning
Native C/C++ Like Performance For Java Object Serialisation
Do you ever wish you could turn a Java object into a stream of bytes as fast as it can be done in a native language like C++? If you use standard Java Serialization you could be disappointed with the performance. Java Serialization was designed for a very different purpose than serialising objects as quickly and compactly as possible. Why do we need fast and compact serialisation? Many of our s
Serialization in java
Java provides mechanism called serialization to persists java objects in a form of ordered or sequence of bytes that includes the object’s data as well as information about the object’s type and the types of data stored in the object. So if we have serialize any object then it can be read and deserialize it using object’s type and other information so we can retrieve original object. Classes Objec
jvm goes to big data
The document discusses various JVM performance issues and optimizations in the context of big data processing. Key topics include synchronization problems, garbage collection strategies, efficient memory usage, and serialization alternatives. It emphasizes the importance of monitoring tools and methods to improve JVM scalability and reduce overhead in large-scale applications.
MessagePack vs POF(Coherence)でシリアライズサイズの勝負！ - snuffkinの遊び場
前回はJBoss MarshallingとMessagePackのシリアライズサイズを比較してみましたが、今回はCoherenceで使用しているPortable Object Format(POF)も比較してみましょう。 Oracleのページから評価版のCoherenceをダウンロードすれば良かったのかもしれませんが、手っ取り早くWebから情報を探してきました。「CoherenceのPOF形式でシリアライズされたオブジェクトのサイズ見積もりツール」(山本大＠クロノスの日記)にPOFのシリアライズサイズについて載っています(こういう情報、ありがとうございます)。このページでは「Person.java」に「ExampleMain.java」でサンプルデータを入れてサイズ測定をしています。同じクラス、データでMessagePackでシリアライズして比較してみました。 各フレームワークの紹介 Po
JBoss Marshalling vs MessagePackでシリアライズサイズの勝負！ - snuffkinの遊び場
ちょっと興味があり、シリアライズフレームワークについて調べてみました。Java標準のシリアライズはサイズが大きくなってしまうため、いろんな人が工夫して小さくシリアライズする仕組みを考えています。そんな中で、今回は(今回しかやらないかもしれませんが)、JBoss MarshallingとMessagePackでどちらが小さなサイズにシリアライズできるのか測ってみました。 各フレームワークの紹介 JBoss Marshalling JBossの周辺で使われているシリアライズの仕組み。Javaのシリアライズでは効率が悪いため、独自に開発されました。 MessagePack 言語に依存しないシリアライズの仕組み。Format specificationを読むと、シリアライズの小さくするための工夫が徹底している感じがします。 シリアライズ対象のデータ 次のような、どこにでもありそうなクラスを作ってみ
おひろめ会：Javaにおけるデータシリアライズ手法
12. Java JSON • Json-lib( ) http://json-lib.sourceforge.net/ • JSONIC http://jsonic.sourceforge.jp/ • FlexJson http://flexjson.sourceforge.net/ • 13. Java API (writeExternal/readExternal) public class Hoge implements Externalizable{ private String str; private long time; @Override public void writeExternal(ObjectOutput out) { out.writeObject(this.str); out.writeLong(this.time); } @Override public v
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - RuedigerMoeller/fast-serialization: FST: fast java serialization drop in-replacement
Only the Good Die Young (or Move Off-heap?) | Blog of Christian Felde
GitHub - aeron-io/simple-binary-encoding: Simple Binary Encoding (SBE) - High Performance Message Codec
GitHub - OpenHFT/Java-Lang: Java Language support
GitHub - FasterXML/jackson-module-afterburner: (DEPRECATED) -- moved under `jackson-modules-base`
Serialization using ByteBuffer and recycled objects
Google Code Archive - Long-term storage for Google Code Project Hosting.
Java Serialization Performance: Methods, Performance, and Security
Java Serialization - Good, Fast, and Faster
Google Code Archive - Long-term storage for Google Code Project Hosting.