ストリーム処理を支えるキューイングシステムの選び方
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
lambda-architecture.net - このウェブサイトは販売用です！ - lambda architecture リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Benchmarking Streaming Computation Engines at Yahoo!
Benchmarking Streaming Computation Engines at Yahoo! (Yahoo Storm Team in alphabetical order) Sanket Chintapalli, Derek Dagit, Bobby Evans, Reza Farivar, Tom Graves, Mark Holderbaugh, Zhuo Liu, Kyle Nusbaum, Kishorkumar Patil, Boyang Jerry Peng and Paul Poulosky. DISCLAIMER: Dec 17th 2015 data-artisans has pointed out to us that we accidentally left on some debugging in the flink benchmark. So the
RStudio + sparklyr on EMRでスケーラブル機械学習 - About connecting the dots.
前回に引き続き分析環境ネタ第2弾*1．今回はEMRでRStudioを立ててみます． RStudioの構築 やり方自体は，AWS Big Data Blogにまとまっているので，別に難しくはなかったり．RStudioとか関連コンポーネントは，例のごとくS3に便利スクリプトがあるので，これをブートストラップで読み込んであげればOK． s3://aws-bigdata-blog/artifacts/aws-blog-emr-rstudio-sparklyr/rstudio_sparklyr_emr5.sh --sparklyr --rstudio --sparkr --rexamples --plyrmr あとはSSHトンネルを掘って，RStudioのWebページにつないであげればOK．8787ポートでつながります． sparklyrでSparkと連携 sparklyrは，RStudioの人たち
Spark MLlib入門 | Hadoop Advent Calendar 2016 #18 ｜ DevelopersIO
こんにちは、小澤です。 この記事はHadoop Advent Calendar 18日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO 前回はSparkのDataset APIについて紹介させていただきました。 今回はみんな大好きな機械学習ライブラリである、Spark MLlibについて書かせていただきます。 なお、MLlibを使ってどのようなことができるかにフォーカスさせていただきますので、機械学習に関する詳細は割愛します。 具体的には以下の内容については説明しません。 特徴抽出で行っている操作の具体的なアルゴリズム 実際に行っている学習および予測の具体的なアルゴリズム 評価に使っている手法の具体的な内容 評価時に使用している指
Sparkの構成 | Hadoop Advent Calendar 2016 #14 | DevelopersIO
こんにちは、小澤です。 この記事はHadoop Advent Calendar 14日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO 前回はHadoop上で利用かのなカラムナストレージの紹介をさせていただきました 今回はApache Sparkとはどういったものなのかについて解説したいと思います。 Sparkとは よく「Hadoop/Spark」などのようにHadoopと同じ並びで名前が上がることが多いSparkですが、果たしてSparkとは何者なのでしょうか？Hadoopとどのように違うのでしょうか？ ということを今回は解説していければと思います。 Hadoopの技術スタックについてのおさらい まずはHadoopの技術スタック
GraphXよりも使いやすいグラフデータ処理ライブラリ「GraphFrames」
GraphXよりも使いやすいグラフデータ処理ライブラリ「GraphFrames」：Java、Pythonでのグラフデータ処理が簡単に 「Apache Spark」のグラフデータ処理ライブラリ「GraphFrames」がリリースされた。米Databricks、米カリフォルニア大学バークレー校、米マサチューセッツ工科大学がSparkの「DataFrame」をベースに共同で開発したもの。 オープンソースの高速な大規模分散データ処理フレームワーク「Apache Spark」（以下、Spark）の開発を主導する米Databricksは2016年3月3日（米国時間）、Sparkのグラフデータ処理ライブラリ「GraphFrames」をリリースした。GraphFramesは、Databricksと米カリフォルニア大学バークレー校、米マサチューセッツ工科大学（MIT）がSparkの「DataFrame」をベ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
.NET for Apache Spark™ | Big data analytics