Asakusa on Spark - 急がば回れ、選ぶなら近道

Asakusa on Spark AsakusaがSpark上で動くようになりました。 Asakusa on Spark (Developer Preview) — Asakusa Framework Developer Preview 0.2.2 documentation すでに実際に本番に利用しています。 ノーチラス・テクノロジーズがさくらインターネットにAsakusa Frameworkで開発した大規模データの高速処理基盤を導入し、顧客単位での精度の高い原価計算を実現高速処理基盤はApache Spark™で構築 | NAUTILUS OSSとしての公開を行いましたので、内容や位置づけをまとめておきます。例によってノーチラスは社内でいろんな意見は当然出ていますが、今回は概ね一致している感じです。 パフォーマンス 概ね「業務バッチ処理という観点で見れば、すべからくHadoopMapR

[airj12]

久し振り と思ったらSpark対応してた / 神林さんが長期どっぷり浸かる案件て興味深い

[minoru0707]

ふむ。全然わからん。

[mooz]

すばらし「ユーザーはAsakusaDSLで処理を記述しておけば、今後、より高速な処理エンジンが開発されてきたとしても、Asakusaが対応しさえすれば、そのメリットを享受できる」

[tacke]

Sparkっょぃ. / "「業務バッチ処理という観点で見れば、すべからくHadoopMapReduceより、Sparkのほうが高速に処理を終えることができる」というのが結論になっています。"

[sh2]

atode

[kimutansk]

すべての処理を無理矢理Map・Reduceの形にしなければならない／Map・Reduceのタスク処理が実態としてはそれぞれが独立したjvmアプリケーションになっている　がコストが大きいと。

[wyukawa]

運用周りとかどうなんですかねえ

[hoxo_m]

「巷では（というかSparkの公式サイトでは）オンメモリー処理によりパフォーマンスが出ているといわれているが多いのですが、実際はそうでもありません」