MessagePackを使ったデータ分析のすすめ - Qiita
MessagePackはTreasure Dataの古橋さんを中心として提案・実装されているデータのシリアライズフォーマットで、fluentdが互いにデータ通信をする際のフォーマットとしてよく知られていると思います。個人的にはこれをデータ分析をする際のデータの保存に活用することが多く、この記事はその手法の紹介になります。 なお、記事はなるべく正確に書くよう努めていますが、データ分析などについてはわりと素人なのでご指摘・コメントなどは歓迎です。 MessagePackを使って何をするのか やりたいことは、分析をするために取得したデータをMessagePack形式にしてファイルに保存し、分析時にそのデータを読み出す、それだけです。 通常、データ分析などをする場合はデータベースなどに一度格納してから分析を実施するのが王道だと思われますが、以下のようなケースではMessagePack形式での保存・
Ruby の deserializer の速度比較 - tokuhirom's blog
ruby 2.4.2p198 (2017-09-14 revision 59899) [x86_64-darwin16] require 'msgpack' require 'benchmark' require 'json' # https://github.com/fluent/fluentd/blob/master/lib/fluent/plugin/parser_ltsv.rb class LTSV def self.parse(text) r = {} text.split("\t").each do |pair| key, value = pair.split(":", 2) r[key] = value end r end def self.generate(data) data.map {|k,v| k+":"+v }.join("\t") end end src = Ha
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
univ-msgpack-paper/furuhashi-master-last-iso-pdfa.pdf at master · frsyuki/univ-msgpack-paper
GitHub - MessagePack-CSharp/MessagePack-CSharp: Extremely Fast MessagePack Serializer for C#(.NET, .NET Core, Unity, Xamarin). / msgpack.org[C#]![GitHub - MessagePack-CSharp/MessagePack-CSharp: Extremely Fast MessagePack Serializer for C#(.NET, .NET Core, Unity, Xamarin). / msgpack.org[C#]](https://cdn-ak-scissors.b.st-hatena.com/image/square/284ef594434c4eb6608ded889c85a01eff0eb7e4/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2Fa5dd99768aebd95025639d914ddd35d25ab896680ce2896be9a62f850975eab4%2FMessagePack-CSharp%2FMessagePack-CSharp)
