楽しい可視化 ： elasticsearchとSpark Streamingの出会い | NTTデータ先端技術株式会社

0. ログやデータを取得した後は？ ログやデータの分析には、様々なアプローチが考えられるが、Apache Solrやelasticsearchといった全文検索エンジン製品にデータを蓄積し、その機能を用いて検索・集計・分析を行う方法がある。その際、データをそのまま蓄積するのではなく、各ツイート・各行に属性を付与（エンリッチメント）することにより、分析の幅は大きく広がる。 全文検索エンジンへのデータの投入では、Flume-ngやfluentdといったデータ収集製品を利用する実例が多い。しかし、リアルタイムにデータに対してエンリッチメントの前処理を行おうとした場合、処理が複雑になるにつれ、単体サーバーで動作するFlume-ngやfluentdでは処理能力が頭打ちになってくる。そこで、登場するのが、リアルタイムに大量のデータを処理することができるストリーミング処理系のビッグデータ関連技術である。

[dekasasaki]

ふむ

[tokida]

楽しい可視化 ： elasticsearchとSpark Streamingの出会い - | ソリューション事業部 ビッグデータ基盤ビジネスユニット 主任エンジニア

[tvsk]

SparkやHAdoopといった計算基盤に加えてelasticsearch をかぶせることで JSON/REST API経由でデータ操作ができるようになる。「検索サイト等を実現するための全文検索エンジン」

[nishidy]

ElasticsearchはRESTだけじゃなくHadoop(Spark)からの入力にも対応している

[ku_marin]

elasticsearch

[yoshi0309]

用途がとてもわかりやすい / Spark に Elasticsearch とか Twitter とかの API が入ってるけど、これはどうなんだろう。。