You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
![GitHub - MessagePack-CSharp/MessagePack-CSharp: Extremely Fast MessagePack Serializer for C#(.NET, .NET Core, Unity, Xamarin). / msgpack.org[C#]](https://cdn-ak-scissors.b.st-hatena.com/image/square/16b35f26cac35c2e41bf1a57247d6f436acdc1db/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2F8fcfcdb79eeef75d83e12dacf0bf6e7b55914be4bd3587a4ed4efc62e65f39c5%2FMessagePack-CSharp%2FMessagePack-CSharp)
GitHub - MessagePack-CSharp/MessagePack-CSharp: Extremely Fast MessagePack Serializer for C#(.NET, .NET Core, Unity, Xamarin). / msgpack.org[C#]
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
MessagePackで圧縮をサポートして節電する！
Kazuki Ohta @kzk_mover suma先生かっけえ RT @suma90h: 節電とかちまちま言ってないでMessagePackで日本を救えたらよいのではないかと! Nobuyuki Kubota @nobu_k http://quakememe.jp/ の背後ではMessagePackが動きまくってます！ RT @suma90h: 節電とかちまちま言ってないでMessagePackで日本を救えたらよいのではないかと!
zusaar.com - zusaar リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
MessagePack の Haskell binding を作りました。 MessagePackとは http://msgpack.sourceforge.jp/ id:viver さんが開発された高速なバイナリシリアライザです。 http://d.hatena.ne.jp/viver/20080816/p1 や http://d.hatena.ne.jp/nobu-q/20091209 が詳しいです。 インストール方法 githubにレポジトリを置いています。http://github.com/tanakh/hsmsgpack にあります。 パッケージをHackageにアップロードしています。http://hackage.haskell.org/package/msgpack-0.1.0 にて公開されています。 インストールは、MessagePackをインストールしてから、 $ cab
昨日に比べて2倍速ぐらいになりました。 https://github.com/uupaa/msgpack.js/blob/master/msgpack.js Data = 10000 Opera 10.63 Firefox 4.0β7 Chrome 9 dev IE9pp7 JSON.stringify 53 24 67 38 JSON.parse 11 34 29 16 stringify + parse 64 58 97 54 msgpack.pack 42 60 25 28 msgpack.unpack 32 41 31 15 pack + unpack 74 101 56 43 (単位:ms) Data = 100000 Opera 10.63 Firefox 4.0β7 Chrome 9 dev IE9pp7 JSON.stringify 290 224 619 309 JSON
Protocol Buffers で検索すると Protocol Buffersは遅い という MessagePack 作者による2008年の記事が未だに上位に来る。 一方で、Protocol Buffersは遅いのか という反論記事も見つかる。 一体遅いのか速いのかどっちなんだ！！ということで、ベンチマークを取ってみた。 2016年8月現在では、Protocol Buffer の最新バージョンは 3.0.0 であり、MessagePack の C++ バインディングの最新バージョンは 2.0.0 なので、これらのバージョンを使ってベンチマークを取ることにした。 ベンチマーク 元の記事を踏襲して、以下の４つのメッセージを使ってベンチマークを行った。 Test1: 2つの符号無し整数 Test2: 2つの符号付き整数 Test3: 8KBのバイト列 Test4: Test1 + Test2
Notice This page describes the MessagePack data format, which is required for developing the MessagePack language bindings. MessagePack format specification MessagePack saves type-information to the serialized data. Thus each data is stored in *type-data* or *type-length-data* style. MessagePack supports following types: Fixed length types Integers nil boolean Floating point Variable length types
MessagePack
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
などと書くことで、ディスクとメモリを容易に行き来できます。 yamlは人間の目にも比較的読みやすいため便利です。 MessagePack + LZMA圧縮 クローラなどで大規模なデータを処理する場合、ディスクの専有サイズが問題になることがよくあります。 そこでmsgpack+lzmaを使う事で従来より飛躍的にサイズを縮小することができます。 msgpackはJSONに近いセマンティクスを提供するオブジェクトのバイナリフォーマットです。バイナリである上、小さい数値データや真偽値などの保存に特に効果を発揮するフォーマットになっています。 lzmaは比較的最近開発された圧縮形式で、gzipよりは遅い圧縮速度と高い圧縮効率、圧縮効率の割に高速な展開速度を誇ります。(bz2の方が圧縮率では一枚上手だけど展開が遅すぎる) msgpack, lzma共にRubyのネイティブエクステンションの形で提供され
MessagePackとWebSocketの連携
こんばんは、ProxyとFirewallがある場合のWebSocket動作をまとめようと思ってはいるのですが、少し先延ばし…すません。 今回は、MessagePackとWebSocketの連携を試してみました。 デモはこちら 注意：iPhoneをご利用の方で、3G回線経由、およびProxyが存在するWi-Fi環境ではデモを実行できません。特にProxyが存在するWi-Fi環境からアクセスすると、mobile Safariがクラッシュするはずです。(ProxyとFirewallがある場合のWebSocket動作でまた記述します。Proxyの無い、ご自宅のWi-Fi環境経由などでしたらデモを実行できるはずです) デモはありきたりなチャットアプリケーションですが、伝送されるデータは、@uupaaさん作のmsgpack.jsを利用させていただいて、MessagePack形式(但し、現在のところ
先週、デブサミ2010に参加したとき、 一番感銘を受けたのがkumofsのセッションでした kumofsから学ぶNot only SQLの技術 - 古橋貞之の日記 細かい内容はこのエントリを見ていただければいいのですが、 個人的に気になったのが「非同期処理」のデモでして あくまでkumofsで使う管理ツールのデモではあったのですが、 その非同期処理コードがあまりにも簡潔だったので、 ちょっと調べてみたくなったのです Ruby で MessagePack-RPC - 古橋貞之の日記 具体的なコードは後述しますが、 あるサーバから別なサーバのCouchDBを非同期に叩いてみました 結果、当然ながら同期とは比較にならない速さですし、 そのコードも驚くほど簡潔でした(｀･ω･´) ｂ そのテストコードを利用して、前に「Tokyo Tyrant」で試したテストを、 CouchDBに対して非同期バージ
GitHub - msgpack/msgpack-cli: MessagePack implementation for Common Language Infrastructure / msgpack.org[C#]
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
![GitHub - msgpack/msgpack-cli: MessagePack implementation for Common Language Infrastructure / msgpack.org[C#]](https://cdn-ak-scissors.b.st-hatena.com/image/square/9d8f4aa2922c45902ef13a628d7060af513c9ae4/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2F874fd3ec960918b4599486280c50c98d197ce084173f46575b3fe4bac0d9a791%2Fmsgpack%2Fmsgpack-cli)
QuickStart
// Serialize with MessagePacker. // MessageBufferPacker is an optimized version of MessagePacker for packing data into a byte array MessageBufferPacker packer = MessagePack.newDefaultBufferPacker(); packer .packInt(1) .packString("leo") .packArrayHeader(2) .packString("xxx-xxxx") .packString("yyy-yyyy"); byte[] msgpack = packer.toByteArray() // Deserialize with MessageUnpacker MessageUnpacker unpa
MessagePackを使ってみた - wataメモ
HTML(画面)とサーバサイドでやり取りする形式としては、リクエストなら単純ならパラメータでも良いが、レスポンスにはJSONやXMLを使うことが多い。まあ、HTMLを返すというパターンも場合によってはある。JSONにしろXMLにしろ、データが膨らみがちで、ちょっとぐらいなら良いが、大量データやパフォーマンスを意識しだすと改善したくもなる時がある。Googleが以前Protocol Buffersを出していたが、それとは別のMessagePackを今回使ってみた。 特徴としては効率的なバイナリシリアライゼーションフォーマットであり、JSONの様に様々な言語で、データ交換出来るが、データが小さくて済み、変換も早い。簡単な例だと小さい数値、例えば10ならJSONだと2bytes(2文字)かかってしまうが、バイナリなら1byteで済む。 こういったバイナリデータのやり取りはAjaxなどでは不向きだ
投稿時は、MessagePack-JS の結果の方が eval より高速としていましたが、それは ベンチマークテストのバグに由来するものでした。計測しなおしまして、記事を訂正しましたので下記を参照ください。 cuzic です。 MessagePack-JS ライブラリをちょっと更新しましたので、報告します。 主な変更点としては、以下のとおりです。 バグ修正。 ユニットテストの追加 ベンチマークの追加 MessagePack.load_url 関数の削除 といったところです。 ベンチマーク結果ですが、以下のとおりとなり、eval の方が速いという結果になりました。 (Firefox なら 20倍以上遅い） MessagePack JSON Firefox 9,140msec 380msec Chrome 6,883msec 213msec Internet Explorer 8 でも検証した
先日の高速ログフォーマットの提案を実際に実装してみました。 ログを MessagePack でシリアライズしてバイナリ形式で出力することで、生のバイト列をBase64などでエンコードしなくてもログに書き出せるようにし、また高速に解析できるようにしようというアイディアです。 ソースコード：logpack.tar.gz（コンパイルするにはMessagePackのC++用ヘッダとgem install msgpackが必要） twitterやコメントでいただいたアイディアを参考に、いちばんシンプルなフォーマットにしてみました： ログサイズ [アクセスログ, {"時刻": 1230415655, "URL": ["index.html"], "UA": "Mozilla/5.0 ... Firefox 3.0.5"}] ログサイズ [アクセスログ, {"時刻": 1230415656, "URL"
MessagePack IDL
Jubatusではサーバ間の通信と外部へのAPIとして MessagePack RPC を用いています。 MessagePack RPCとは、データのシリアライズに バイナリシリアライズフォーマット MessagePack を用いたシンプルなRPCです。 MessagePack...
Xamarin.FormsでMessagePackを使ってみます。 neuecc/MessagePack-CSharp ごくごく普通のアプリを作るのであれば、まあ大体どこでもやってるjsonでやりとりして、どこでも使ってるJson.NETでserialize/deserializeしておくのが無難です。 が、なんかちょっとでも速度が必要だとか、効率のよいデータのやりとりを、となったときの選択肢としてお勉強しておくのは大事なことです。 まあ「シリアライザが高速」であっても、結局そこ以外の部分がしょぼくて非効率だとそんなに意味ないよね、ということはあるとはいえ、MessagePackの場合はなにも気にせず普通に置き換えるだけでも、jsonよりはずっとデータのサイズが小さくなりますし、さらにLZ4圧縮を使うことで速度は大して変わらずサイズが激減できる可能性がありますから、効果のほどがわかりやすい
Sadayuki Furuhashi created Kumofs, a distributed key-value store, and MessagePack, a cross-language object serialization library. Kumofs is optimized for low latency with zero-hop reads and no single points of failure. It scales out linearly as servers are added without impacting applications. MessagePack is a compact binary format like JSON used for cross-language communication. MessagePack-RPC i
GitHub - msgpack/msgpack-objectivec: MessagePack serializer implementation for Objective-C / msgpack.org[Objective-C]
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
![GitHub - msgpack/msgpack-objectivec: MessagePack serializer implementation for Objective-C / msgpack.org[Objective-C]](https://cdn-ak-scissors.b.st-hatena.com/image/square/5a8a6d39ed67ebaf2e15046896eb76a960e51984/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2F31ac22bbfe82a0137e25a111b06d6ad491b2b1694673395e0ad4c715782b8db8%2Fmsgpack%2Fmsgpack-objectivec)
MessagePack
Sadayuki Furuhashi @frsyuki [1.0, 1.0, 1.0] を Array length=3 Float value Float value Float value とシリアライズする代わりに、Array length=3 type=Float value value value にするのが基本かなぁ。 Sadayuki Furuhashi @frsyuki 型固定配列型の案（特に浮動小数点数配列）。C++版でunpacker.next()の代わりにbegin/endで回せるようにするには。object.as<T>()で、例外の代わりにnull的な値を返すas_optional<T>が欲しい件。RPCのエラーの設計とシリアライズ方法。
GitHub - cuzic/MessagePack-JS: JavaScript Implimentation for MessagePack - compact serialization format
* MessagePack-JS JavaScript implimentation for MessagePack serialization format. ** usage var $true = MessagePack.unpack("\xc3"); alert($true); // true var int8 = MessagePack.unpack("\xd0\xc0")); alert(int8); // -64 var fixraw = MessagePack.unpack("\xa1\x61"); alert(fixraw); // 'a' var int32 = MessagePack.unpack("\xd2\xff\xf0\x00\x00"); alert(int32); // -1048576 ** environment tested for IE 8.0.6
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Technical Memo: Memory Saving Associative Array by Kyoto Cabinet and MessagePack
Kyoto Cabinet features on-memory database which can be used as associative array of strings. MessagePack is a binary-based efficient object serialization library. Combination of the two provides you associative array to contain generic objects. Space Efficiency of Kyoto Cabinet Let's suppose that we should manage 1 million simple records whose key and value are 10 bytes strings. The following is a
kumofs-0.3.1 と、msgpack-0.4.1 をリリースしました。 kumofs@github Downloads MessagePack@SourceForge.JP ダウンロード msgpack-0.4.1 CentOS 5など*1で kumofs を ./configure したときに Can't find msgpack library と表示されて止まってしまう問題を、検出できるようにしました。 これは MessagePack の方に原因があり、コンパイル先のCPUアーキテクチャが、アトミックなインクリメントやデクリメントをサポートしていないほど古いIntelアーキテクチャ（=i386）だったときに、不完全なバイナリになっていました。 msgpack-0.4.1では、これを ./configure するときに検出して、エラーメッセージを出して停止するようにしました。エ
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Python has lots of built-in serialization methods. It has had a standard module called pickle for a very long time, and exposes its built-in trusted data marshaling routines in the marshal module. Since the release of Python 2.6 in October, 2008 it has also had a standard, well-tested json library. Since json's simple conceptual mapping to hash tables, smaller overhead, faster parsing, and ease of
GitHub - kawanet/msgpack-lite: Fast Pure JavaScript MessagePack Encoder and Decoder / msgpack.org[JavaScript]
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
![GitHub - kawanet/msgpack-lite: Fast Pure JavaScript MessagePack Encoder and Decoder / msgpack.org[JavaScript]](https://cdn-ak-scissors.b.st-hatena.com/image/square/f79eb991dc65bfcff8bbdc32933e33997feab482/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2F71a566af05cf54a1348312ac48173e89e15f79960b2eec2724c29a40c8bb3af0%2Fkawanet%2Fmsgpack-lite)
MessagePack の JavaScript 実装を GitHub に上げました。 テストは一通り終わっています(test/codec.htm)。ライセンスはまだ決めていませんがご利用はご自由にどうぞ。 HOW TO USE var mix = { any: "type" }; // MessagePackフォーマットの ByteArray にエンコード var ary = msgpack.pack(mix); // null, Boolean, Number, String, Array, Hash を受け取り ByteArray に変換 // MessagePackフォーマットの ByteArray をデコード var jsobj = msgpack.unpack(ary); // ByteArray を受け取り元の形に復元 // JavaScript オブジェクトを Messag
version 1.05 を github と、Google Code においてあります。 ベンチマーク もGoogle Code に置きました。10万要素のJSONデータの読み込みに時間かかることがありますが、気長にお待ちください。 # IE9用はこっちです http://uupaa-js-spinoff.googlecode.com/svn/trunk/msgpack.js/test/bench.ie.htm 変更点 pack(), unpack()の速度改善 頑張ってちょっと速くなった気がします。 ver 1.04 で本来は1byteにエンコードされるはずの msgpack.pack({}) が 3byteにpackされてしまっていた不具合を修正しました。 packで生成されるデータが冗長なだけでデコードはどのバージョンでも問題なくできます。 速度改善を行う前の、正しく動くけど遅いソ
そろそろ手を付けなければいけないと思っていたMessagePack-RPCを使ってみる。そのうち使い方が変わるかもしれないがversion 0.5を試す。http://github.com/msgpack/msgpack-rpcにソースが上がってるので、 git clone http://github.com/msgpack/msgpack-rpc.gitする。msgpack-rpcディレクトリの中のjavaに入り mvn compile mvn packageでjarができるとREADMEには書いてあったのだが、読まなかったは俺はmvn installとやってしまった。しかしtargetというディレクトリができて、中にmsgpack-rpc-0.5.0.jarができてたのでめでたしめでたし。そしてMessagePack-RPCを使うのに必要なjarだが、以下の通りである。M2_REPOは
「分散システムのためのメッセージ表現手法に関する研究」
Sadayuki Furuhashi @frsyuki MessagePack が他のバイナリ形式のシリアライザともっとも大きく異なる特徴は、表現形式（物理的な制約を持つ）とは独立した中立の型システム（シンプルさ/論理的な美しさを重視）を定義することで、動的型付け言語でも使いやすくした点にあり、http://t.co/1b2zwNNw 2012-04-02 11:49:20 Sadayuki Furuhashi @frsyuki MessagePack が JSON ともっとも大きく異なる特徴は、型システムの射影機構（多くのシリアライザが実は持っている）をシリアライザの実装から分離し、かつ拡張可能にすることで、静的型付け言語でも使いやすくした点にある。ただし、 2012-04-02 11:55:24
GitHub - msgpack/msgpack-hadoop: MessagePack-Hadoop integration provides an efficient schema-free data representation for Hadoop and Hive.
MessagePack-Hadoop Integration ======================================== This package contains the bridge layer between MessagePack (http://msgpack.org) and Hadoop (http://hadoop.apache.org/) families. This enables you to run MR jobs on the MessagePack-formatted data, and also enables you to issue Hive query language over it. MessagePack-Hive adapter enables SQL-based adhoc-query, which takes *nest
Welcome to MessagePack Wiki Description MessagePack is an efficient object serialization library, MessagePack provides following features: Very compact and fast data format. Rich data structures compatible with JSON. MessagePack-RPC is the remote procedure call system on top of the MessagePack serialization library. It provides following features. Because MessagePack-PRC supports both IDL and the
バイナリ形式のログフォーマットが必要になったので（テキストだと生バイト列を出力できなくて困る。Base64はイヤ）、どうせならオレオレフォーマットではなく一般的に使えるフォーマットだといいなーと思いメモ。 最初の発想 改良1：定義ファイル（静的型付け） 改良2：自己記述性（動的型付け） 改良3：enum 最初の発想は、ログに出力したい内容を MessagePack でシリアライズして出力するだけ。↓こんな感じ。（表記はJSON） [アクセスログ, {"時刻": 1230415655, "URL": ["index.html"], "UA": "Mozilla/5.0 ... Firefox 3.0.5"}] [アクセスログ, {"時刻": 1230415656, "URL": ["index.html"], "UA": "Mozilla/5.0 ... Safari/525.13"}] [
GitHub - gabriel/MPMessagePack: MessagePack implementation for Objective-C / msgpack.org[Objective-C]
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
![GitHub - gabriel/MPMessagePack: MessagePack implementation for Objective-C / msgpack.org[Objective-C]](https://cdn-ak-scissors.b.st-hatena.com/image/square/e3aef55fcb80c359659ee45c5e0ad3bbfc5bb95d/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2Fa2d6647f6504dc30ed99a881625b88250f9fd9fb5db62771fe400f76c6c537e0%2Fgabriel%2FMPMessagePack)
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qiita.com/tomykaira/items/2b9590bd8dd0cb97e834
Haskell binding for MessagePack - 純粋関数型雑記帳
msgpack.js をさらに速く - latest log
http://techblog.hilife-jp.info/2012/02/messagepack-for-java/
Protocol Buffers が本当に遅いのか実際に確かめてみた - @nojima's blog
Format specification - MessagePack - Confluence
RubyのオブジェクトをMessagePack+LZMAでディスクに小さく保存する - Qiita
MessagePack-RPCとkumofsを試す - ぱろっと・すたじお
MessagePack-JS (2) - プログラミングは素晴らしい
高速ログフォーマットと簡単な解析機能の実装 - Blog by Sadayuki Furuhashi
Xamarin.FormsでMessagePackを使う | Spacekey
NoSQL afternoon in Japan Kumofs & MessagePack
MessagePack for Ruby version 5
kumofsのリリースを更新しました - Blog by Sadayuki Furuhashi
Python serialization - jmoiron.net
msgpack.js bench mark - latest log
msgpack.js を改善しました - latest log
Java版のMessagePack-RPCを使ってみる - マイペースなプログラミング日記
MessagePack - Wiki - The MessagePack Project
高速ログフォーマットの提案 - Blog by Sadayuki Furuhashi
GitHub - hotchpotch/faraday_middleware-msgpack