HiveでJSON形式のログを構造化する
fluentの勉強会に参加したら、まわりがモヒカンばっかりで消毒されそうになったタムタムです。 先日のMixi Engineers' Seminar #3でMixiがJSONデータをHiveで集計しているよーという発表をしていて、Fluentのtail + apacheもjsonとしてデータが飛んでいるとの事で、相性は悪くないよねーというわけでサンプルを作ってみました。（スライドを見ていた感じではこんな感じだったはず） まずサンプルデータを用意します。 適当に100件ほど作りました。 (nameが名前でexam{1|2|3}は何かのテストの点数です） {"name" : "Irma", "exam1": 58, "exam2": 73, "exam3":85} {"name" : "Dorothy", "exam1": 50, "exam2": 39, "exam3":11} {"name
mixi の解析基盤とApache Hive での JSON パーサの活用の紹介 - mixi engineer blog
こんにちは．最近ピクルス作りで精神統一をしている，たんぽぽグループ解析チームの石川有です． このブログではお馴染みのたんぽぽグループですが，"No More 「刺身の上にタンポポをのせる仕事」 - 単純作業の繰り返しで開発者の時間を浪費しないために。"というミッションを持っています．その中で解析チームは，データ解析基盤の構築，データマイニング，データ解析の社内コンサルティングを行ない技術からの改善を担当しています． 今回の記事では，mixi における解析基盤について簡単に触れたあと，その基盤における「刺身の上にタンポポをのせる仕事」をどう減らすかの２点について書きます． mixi の解析基盤 まずは解析環境について，簡単にお話します．2012-08 現在 mixi では，主な解析用のツールとしては，Apache Hadoop, Hive を利用しています．またあわせて，自分など一部の人は，
HiveでJSONデータの分析（の準備） – OpenGroove
fluentdでJSON形式のデータを溜め込んだらそれを分析してみたいよね…、ということでHiveでJSONデータを扱うには、という観点でうっすら調べてみた（分析までやっていないので「準備」です）。 実はその前に、fluentdのログをJSONではなくLTSVというフォーマットで出力するプラグインも試してみた。LTSVというのははてなが開発したフォーマットで、これでTSVファイルとして変換できれば当然Hiveでも扱いやすくなる。しかし、こっちの方がJSON parserを調べるよりてっとり早くていいかも、という目論みは通らなかった。2つほどプラグインを実装してみたが、fluentdの起動時にFAILEDになってしまい動作以前の問題。基本的な導入方法とか設定が間違っているのかもしれないが、何せ開発元のドキュメントも乏しい。ここで格闘するのも時間の無駄なのでこっちはパス。 で、Hive + J
Jackson でオブジェクトを JSON に変換 - エンジニアになりたい
Jackson Java JSON-processor を使ってみます。 1. jar の取得 取得するのは jackson-annotations-2.x.x.jar jackson-core-2.x.x.jar jackson-databind-2.x.x.jar ※今回は2.2.3 http://wiki.fasterxml.com/JacksonDownload ここからダウンロード 2. 取得した jar をクラスパスに追加 3. こんな感じで使えます // JSONの文字列に変換するオブジェクト Person person = new Person("ジャクソン", 28, children); // 変換 ObjectMapper objectMapper = new ObjectMapper(); String json = objectMapper.writeValueA
Apache HiveにおけるJSON連想配列処理の最適化 - mixi engineer blog
あけましておめでとうございます． 平野啓一郎著「葬送」がようやく読み終わった技術部の石川有です．ショパンの死を題材とした内容が難解で重く，すべて読み終えるのに都合５ヶ月ぐらい掛かっていたのではないかと思います．本当にとても重い内容ですが，濃厚で至福な時間を過ごせました． さて「重い」と言えば，「大規模データ解析」という言葉が頭に思い浮かびますよね．以前の記事「mixi の解析基盤とApache Hive での JSON パーサの活用の紹介」の通り，ミクシィの解析基盤として Apache Hive を利用しています． また Apache Hive で"No More 「刺身の上にタンポポをのせる仕事」 - 単純作業の繰り返しで開発者の時間を浪費しないために。"を実現するための Hive の JSON パーサを活用しています． 新年最初のエントリーは，Apache Hive で JSON 連想
軽量JSONパーサー『jq』のドキュメント：『jq Manual』をざっくり日本語訳してみました | DevelopersIO
jq Manual jqで簡単JSON加工 ｜ Developers.IO jqコマンドが実は高性能すぎてビビッた話 - beatsync.net JSONを超絶に読みやすくする jq コマンド - WebAPIバリバリ使うor開発する人必須 CLIでJSONの整形をする - ( ꒪⌓꒪) ゆるよろ日記 JSON形式の情報を様々な条件や書式として成形、フィルタリングツール『jq』。上記関連エントリで私もこのツールの存在を知る事になったのですが、ツールの簡易さ・便利さに感動しながら私もちょくちょく利用させてもらっています。 そこでこのエントリでは、jq公式ページに展開されている利用ガイド・リファレンス的な位置付けの『jq Manual』を写経がてらざっくり日本語訳してみました。ざっくり訳なのでこの部分の訳おかしい・間違ってる等ありましたら御指摘頂けると幸いです。例示されているサンプルコードも
JSONライブラリのパフォーマンス比較 - A.R.N [日記]
つい先日、Androidアプリで使えるJSONライブラリ比較という記事で例によってJSONICパフォーマンス悪い、という話が出ており、個人的には必要性を感じていないものの、悔しいのでパース側も高速化してみることにしました。 というわけで、本日、いわゆるプルパーサ機能とパースの高速化を図った、JSONIC 1.3.0 ベータ1をリリースした次第なので、その結果について書いておこうと思います。ちなみにプルパーサ機能自体は、GsonにもJacksonにもあるので、JSONICもようやく機能面で追いついた形になります。 JSONICを作り始めた時代にはJSONを扱うライブラリにろくなものがなく、org.jsonの純正ライブラリと使い勝手の悪いjson-libしかないという状況でした。その当時の水準から言えば、JSONICは十分過ぎるほど高速だったのですが、時代も過ぎJSON全盛時代の現代では、とて
![JSONライブラリのパフォーマンス比較 - A.R.N [日記]](https://cdn-ak-scissors.b.st-hatena.com/image/square/19b412d856489e49cdf2f01595d1dd984dcd02ac/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127064254481%2F17680117127064262688%2F1555804286)
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
jqコマンドが実は高性能すぎてビビッた話
GWが始まりましたが、鎌倉のGWは観光客多すぎて逆に住民はげんなりして外に出なくなる感じです。とはいえ路地まで観光客が攻め込んでくることは少ないので、路地を散歩する分には天気がよくていい感じですね。ちなみに人力車のおにーさんはそういう味のある路地を知り尽くしているので人力車で移動するのはそこそこオススメです(ぼくは乗ったことないけど「こんなところも通るんだ!」ってところで見かけたりします)。 さて、jqというコマンドをご存じでしょうか。 jq jq is a lightweight and flexible command-line JSON processor. と書いてあるとおり、コマンドラインでJSONを扱うことができるコマンドです。で、今まさに仕事で巨大JSONと戦うことが多く、このコマンドが大活躍です。 とはいえ、ぼくの使い方としては「巨大JSONをキレイに整形して表示する」とい
JSONIC - Java WebアプリでJSONを活用しよう!
JSONとJSONIC JSONはJavaScript Object Notationの略で、JavaScriptでのハッシュとリストの記述法を利用したテキストベースのデータフォーマットだ。JavaScriptではeval()関数でオブジェクトに変換できるなど取り扱いが容易であるため、Ajaxでのデータ交換フォーマットとして利用されることが多い(セキュリティ面の問題から実際にはeval()関数で評価せず、JSONパーサを利用するほうが望ましい)。 JSONICとはJavaオブジェクトとJSONを相互変換するためのオープンソースのライブラリだ。JSONIC以外にもJavaで利用可能なJSONライブラリにはJSON-libなどがあるが、JSONICは使い方が簡単で依存ライブラリもなく、XMLからJSONへの変換や高度な拡張性など、機能面でも優れている。 JSONというとAjaxでのデータのやり
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
