データ分析環境について書いてみる - wyukawa's diary
ログをHDFSに集めてHiveでETLや集計を行い集計結果をRDBMSに蓄積してレポーティングツールで可視化するというのは一般的な話だと思います。 データの流れでいうと App -> HDFS -> RDBMS -> レポーティングツール という感じです。 他にもPrestoのようなlow latencyなツールが加わることがあると思います。これらのツールをどう組み合わせてどうETLをまわしていくのがいいのかつらつらと最近考えております。 僕が経験したのはPythonでETL処理を書いて（内部的にはhiveserverにhiveクエリを投げたり、MySQLに集計結果を保存したり）、スケジューリングはcron, Azkabanで、集計結果はMySQLでレポーティングツールは自作でというものです。adhocなデータ分析はshib使います。まあこれでも十分運用回ってるんだけど、他にも良い方法が無
SPDY とか新しいプロトコルがよくわからないので簡単にまとめた | tech | http - 氾濫原
HTTP 0.9 RFC (rfc:1945) は1996年 (HTTP 1.0と同じRFCで説明されてる) 最初の HTTP。GET メソッドしかなかった。レスポンスヘッダもない (ボディーだけ)。 HTTP 1.0 RFC (rfc:1945) は1996年 メソッドに GET POST HEAD が追加された ヘッダが追加された HTTP 1.1 RFC (rfc:2068 → rfc2616) は1997年 HTTP 1.0 に Keep Alive とかを追加したやつ。 バーチャルホストに対応 (Host ヘッダが必須に) Keep Alive が可能 1つのTCPセッションで複数のファイルのやりとりができる リクエストパイプラインが可能 リクエストを複数個レスポンスを待たずに送ることができる サーバ側で対応が必要なのであまり有効活用されてない HTTPS RFC (rfc:28
暗号通貨(Bitcoin, Monacoin)のプロトコルを理解する: 公開鍵と秘密鍵 - Qiita
概要 近年、Bitcoin, Litecoinに代表される暗号通貨が（良くも悪くも）大きな話題を呼んでいます。暗号通貨は現在混沌を極め、これまで数百もの派生通貨(Altcurrencies)が乱立している状況ですが、ここ日本でも最近「Monacoin」と呼ばれる日本発の派生通貨が誕生し、2chの片隅で密かに盛り上がりを見せています。この著者はその中で、「Monapay」と呼ばれる、いわゆる暗号通貨版gumroadのウェブサービスを運営している者です。 以前、ふとした気まぐれで私は次のような形のゲームを提案し、2chに貼り付けました。 宣伝+暇つぶしがてらに賞金付きのゲームをやりたいと思います。内容は「俺のmonacoinを盗んでみろ」 M9WJPA8npJQEwcxXwvzKHwWz5msQfEKzf5 いま、こちらのアドレスに10MONAを入金しました。実際に入金されたかどうかはAbeで
人間とウェブの未来 - mod_mrubyとngx_mrubyのv1.0.0をリリースしました＋振り返りまとめ
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 先ほど、mod_mrubyとngx_mrubyのそれぞれv1.0.0をリリースしました。 2012年の4月のmrubyのソースコード公開を機に開発をはじめ、今振り返ると色々な事がありながらも2年間続けて研究・開発を行い、ようやくここまで辿り着く事ができました。 mod_mrubyとngx_mrubyを実装していく中で、Matzさんをはじめmrubyに関わるすごいプログラマの皆さんと出会い、多くの事を教えていただきながらここまでやってくることができました。もし、彼らと出会うことがなければここまで続ける事はできなかっただろうと思います。 mrubyに関わりながら研究・開発し、その成果物をOSSとして公開しながらやってきたことで、恐縮ながらも産学両
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
