MessagePack: JSONをもっと速く、小さく。
MessagePack for Actionscript3 (Flash, Flex and AIR). as3-msgpack was designed to work with the interfaces IDataInput and IDataOutput, thus the API might be easily connected with the native classes that handle binary data (such as ByteArray, Socket, FileStream and URLStream). Moreover, as3-msgpack is capable of decoding data from binary streams. Get started: http://loteixeira.github.io/lib/2013/08/
MessagePackを使ったデータ分析のすすめ - Qiita
MessagePackはTreasure Dataの古橋さんを中心として提案・実装されているデータのシリアライズフォーマットで、fluentdが互いにデータ通信をする際のフォーマットとしてよく知られていると思います。個人的にはこれをデータ分析をする際のデータの保存に活用することが多く、この記事はその手法の紹介になります。 なお、記事はなるべく正確に書くよう努めていますが、データ分析などについてはわりと素人なのでご指摘・コメントなどは歓迎です。 MessagePackを使って何をするのか やりたいことは、分析をするために取得したデータをMessagePack形式にしてファイルに保存し、分析時にそのデータを読み出す、それだけです。 通常、データ分析などをする場合はデータベースなどに一度格納してから分析を実施するのが王道だと思われますが、以下のようなケースではMessagePack形式での保存・
mrubyでMessagePackを作った！ - 涼風コンピュータblog
MessagePackって何? MessagePackとはなにかといいますと、JSON互換の異なる言語間でデータ交換するためのシリアライズフォーマットです。JSONのような型を扱え、 JSONよりコンパクトで、速いと言われています。(mrubyではまだ性能評価していないので、今後やってみたいと思います。) ログコレクターで有名なfluentdというミドルウェアで使用されています。 MessagePack for mruby 今回、MessagePack for ruby v 0.5.5からmrubyにGEMとして移植しました。すべて移植したわけではないので、α版というところでしょうか。 MessagePack#pack,MessagePack#unpackメソッドでだいたいの型を使用出来るようになっています。 次の例は配列をシリアライズして、MessagePack#unpackメソッドでデ
Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用
Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用 急速に人気が急上昇するWebサービスでは、どのようにスケールするアーキテクチャを構築し運用していくのかはサービスの成否を分けるほど重要です。Pinterestのように急成長してきたサービスのソフトウェア構成やリソース構成はどうなっているのでしょうか、Web上でいくつか情報が公開されているのでまとめてみました。 Pythonで開発し、Amazonクラウドで運用 1年ほど前なので少し古い情報ではあるのですが、Q&AサイトのQuoraにPinterestのco-founder Paul Sciarra氏が書き込んだソフトウェア構成の説明があります。 PinterestはPythonで開発されており、MemcachedやNginxなど高速なレスポンスに配慮した構成になっている様子がうかがえま
「分散システムのためのメッセージ表現手法に関する研究」 - 筑波大学大学院を卒業しました - Blog by Sadayuki Furuhashi
このたび筑波大学大学院を卒業し、修士号を取得しました。卒業にあっては本当に多くの方々にご助力いただきました。この場を借りて御礼申し上げます。ありがとうございました。 現在は起業して、12月からアメリカに在住しています。新たな価値を生み出すべく "下から上まで" システムの設計と開発に携わっており、エキサイティングな毎日を送っています。 修論シーズンに日本にいなかったので、修士論文はメールで送って提出し、卒業式にも出席していないというありさまなので、本当に卒業できたのかどうか実感がないのですが、友人によれば「学位記はあった」らしいので、きっと大丈夫でしょう。（写真はカリフォルニア州マウンテンビューにて） さて、せっかく時間を割いて書いたので、修士論文を公開することにしました。 分散システムのためのメッセージ表現手法に関する研究と題して、バイナリ形式のシリアライズ形式である MessagePa
MessagePackをCHE.R.RYにのせてみた | quipped
今日は非常にギークな話になる。 MessagePackという古橋貞之さんが書いたシリアライザがある。シリアライザというのは、コンピューター同士やプログラム間でのデータ通信のために行う一種のデータ変換を請け負うものだ。MessagePackはその一つで、これが異常に良くできている。今日なぜかMessagePackと、シンガーソングライターのYUIの話になったので、CHE.R.RYの替え歌を考えてみた。MessagePackのさらなる普及に寄与できれば幸いだ。 指先が震えた それは小さなデータになってたんだ バイナリ苦手だった だけどこんなサイズなら ワクワクしちゃう Thrift バグだらけだって 誰かに聞いたことあるけど パッチもレビューサボり過ぎ 大嫌い！ oh fuck my life コメントしたんだ たぶん気づいてないでしょう？ 火曜夜 願いこめて RE.FAC.TOR gitで送
MessagePack for Ruby
1. MessagePack for Ruby 伊藤忠テクノソリューションズ株式会社 大場光一郎 2011年11月13日日曜日
Python serialization - jmoiron.net
Python has lots of built-in serialization methods. It has had a standard module called pickle for a very long time, and exposes its built-in trusted data marshaling routines in the marshal module. Since the release of Python 2.6 in October, 2008 it has also had a standard, well-tested json library. Since json's simple conceptual mapping to hash tables, smaller overhead, faster parsing, and ease of
LuceneのインデックスにStoreするデータをMessagePackで圧縮してみた｜社内NEET宣言
社内NEET宣言 文学部出身なのにIT企業で研究開発をすることになった社員のブログです。 PR Profile [ルームを見る|なうを見る] ニックネーム：just do neet 性別：男性 誕生日：さだまさしがソロデビューしたあたり 出身地：神奈川県 自己紹介： NEETは豊かさの象徴だから進んでNEETになるべきです。 ブログジャンル：エンジニア/ニート メッセージを送る アメンバーになる プレゼントを贈る [Publish] Calendar <<May>> S M T W T F S 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 Theme ブログ ( 22 ) Java ( 29 ) 職場の風景 ( 26 ) インターネット ( 15 ) Unix系OS (
『Amebaなう』リアルタイム検索機能に Apache Solr と MessagePack を採用 - 古橋貞之の日記
ミニブログサービス「Amebaなう」に検索機能を追加 Apache Solrのカスタマイズにより検索パフォーマンスが大幅向上 検索機能は、当社の研究開発組織「インキュベーションラボラトリー」が開発し、Apache Solrをベースに、検索インデックス作成アルゴリズムの効率化や、データを高速かつ効率的に保存できる技術仕様「MessagePack」と各種圧縮アルゴリズムを組み合わせる等の対応を行いました。 あわせて読みたい：LuceneのインデックスにStoreするデータをMessagePackで圧縮してみた - 社内NEET宣言 MessagePack と各種圧縮アルゴリズムを組み合わせることで、インデックスサイズを80%程度に圧縮することが可能になったようです。 MessagePack を使うと、配列やMapなどの構造を、非常にコンパクトに保存することができます。例えば、[1,2,3]とい
MessagePack for Lua を公開しました - nobu-qの日記
先週から少しずつ書いていた MessagePack for Lua が動くようになったので一旦公開しようと思います。 MessagePack とは MessagePack とは 古橋くん(id:viver, @frsyuki)が開発した、高速なバイナリシリアライズ形式です。「速くてコンパクトなJSON」と言われる通り、JSONとほぼ同等のことを行えます。本当に速くてコンパクトなので、高頻度でJSON形式のデータをやりとりしているようなアプリケーションでは、 MessagePack に切り替えるだけでもかなりの効率改善につながるかと思います。 弊社の製品でも、RPC的な部分でものすごくお世話になっております(^q^) あ、関係ないですが10日夜8:00から社内セミナーをustで公開するので是非見てくださいね。 Twitter で @preferred_jp をフォローすると情報が流れてくると
Blog by Sadayuki Furuhashi
MessagePackフォーマット仕様のPull Request #209をマージし、MessagePackにTimestamp型を追加しました。 ※この記事の英語版は XXX にあります（翻訳中） Extension型の型コード -1 として定義されているため、後方互換性が維持されています。つまり、既にExtension型に対応しているデシリアライザであれば、Timestamp型を使用して作成されたデータを、Timestamp型に対応していない古いデシリアライズで読み出すことができます。 新しいTimestamp型には timestamp 32、timestamp 64、timestamp 96 の3つのフォーマットがあり、よく使う値をより少ないバイト数で保存できるようになっています。例えば、1970年〜2106年までの時刻で、秒までの精度しか持たない時刻であれば、合計6バイトで保存でき
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
dist-study_1