Apache Kafka Meetup Japan #3 https://kafka-apache-jp.connpass.com/event/58619/ 発表資料
Kafka・Storm・ZooKeeperの認証と認可について #kafkajp
Apache Kafka Meetup Japan #3 https://kafka-apache-jp.connpass.com/event/58619/ 発表資料
Big Data Use Cases - MetiStream
A Collection of Real-World Use Cases Big Data has changed the way organizations, capture, analyze and utilize data in many industries. Are you planning or starting a big data project? Whether it’s your first project or you have completed several, you may benefit from the experiences of others. By reading real-world examples, you can more easily capitalize on the promises of big data and avoid some
[Storm] Ubuntu上でのStormのインストールとEclipse不要な開発環境の構築 (part 2, cluster mode編)[Storm] How to install Storm and prepare the development environment without Eclipse (part 2) – inet-lab
日が暮れるのも早くなり、秋を飛ばして冬が来そうな(=修論締め切りが近づいてきている)気配に心身ともに震え始めている学生の方の松浦です． さて、今回は以前の記事の続きをご紹介します． 内容はStormをcluster modeで動作させる環境を整えるところまでです．（前回の記事では二回に渡ってご紹介するという旨の記述をしたように思いますが、分量的に大きくなりそうなので、本記事を含めて全3回になる予定です．） $ sudo apt-get -y install zookeeper $ wget http://download.zeromq.org/zeromq-2.1.7.tar.gz $ tar zxf zeromq-2.1.7.tar.gz $ cd zeromq-2.1.7 $ make && sudo make install
Twitterの新ストリーム処理基盤、Heronのアーキテクチャは？（詳細 - 夢とガラクタの集積場
こんにちは。 前回論文の前半部、Stormの問題点を読みましたが、 今回は中盤部、Twitter Heronのアーキテクチャについてです。 あと、後半部のStormとHeronの性能比較については下記のページでまとめているのの 事例が増えただけでしたので、とりあえず省略する方向で＾＾；kimutansk.hatenablog.com では、前回の続きです。 5. Heron 5.1 Data Model and API Heronの主要な設計目標はStormのAPI互換性を維持すること。 そのため、HeronのデータモデルはStormと同様のものとなる。 StormのようにHeronはTopologyを実行し、SpoutとBoltの有向非循環グラフとなる。 同様に、SpoutはTopology内に入力Tupleを生成or外部から取得し、Boltは実際の計算処理を行う。 Heron Topo
Twitter Heronの論文でのStormの問題点は？（詳細 - 夢とガラクタの集積場
こんにちは。 前回あーいう形でサマリ記事を読んだので、次は実際に論文を読んでみるしかないだろう・・ ということで、Twitter Heronの論文を読んでみました。 今回は前半の、Stormの問題点を記述した個所と、設計検討結果についてです。 Twitter Heron ただ、全文そのまま訳しているのではなく、読みながらそれなりに意訳や切り捨ては入っています。 Abstract Stormは長い間Twitterにおけるリアルタイム解析のメイン基盤だった。 ただ、Twitterでのリアルタイム処理データ量が多様性の増加やユースケースの追加に伴って増加した結果、Stormの制約も多く明らかになった。 Twitterには共有インフラ上で動作する、よりスケールし、デバッグしやすく、性能が高く、管理しやすい基盤が必要になった。 これらの事情を受けてTwitter内でいくつかのオプションを基に検討した
Apache storm チュートリアルの和訳 - akashikの日記
英語の勉強も兼ねてApache Stormのチュートリアルを和訳してみました。 ほぼ直訳・一部意訳です。間違いは大目に見ていただけると助かります。 https://storm.apache.org/documentation/Tutorial.html チュートリアル このチュートリアルでは、Stormトポロジーの作り方とStormクラスタのデプロイ方法について学びます。Javaをメインの言語で使いますが、Stormの他言語対応を説明するためにPythonを使います。 序文 このチュートリアルは、storm-starterプロジェクトを使います。本プロジェクトをcloneし、例に従うことをおすすめします。「Setting up a development environment」と「Creating a new Storm projet」を読んで、セットアップしてください。 Stormクラ
Azure HDInsight とは
Azure HDInsight は、マネージドの、全範囲に対応した、クラウド上のオープンソースのエンタープライズ向け分析サービスです。 HDInsight を使用すると、Azure 環境で Apache Spark、Apache Hive、LLAP、Apache Kafka、Hadoop などのオープン ソース フレームワークを使用できます。 HDInsight および Hadoop テクノロジ スタックとは Azure HDInsight は、Apache Spark、Apache Hive、LLAP、Apache Kafka、Apache Hadoop などのビッグ データ フレームワークを Azure 環境で簡単に実行できるようにするマネージド クラスター プラットフォームです。 大量のデータを高速かつ効率的に処理できるように設計されています。 どのようなときに Azure HDIn
Storm×Couchbase Serverで作るリアルタイム解析基盤
Transcript 1. Copyright © NTT Communications Corporation. All rights reserved. Storm × Couchbase Serverで作る リアルタイム解析基盤 NTTコミュニケーションズ株式会社 技術開発部 松⽥田徹也 2015年年6⽉月11⽇日 2. Copyright © NTT Communications Corporation. All rights reserved. 今⽇日話すこと 2 n Couchbase Server概要（Couchbase Japan 河村さん） n リアルタイム解析について n Couchbase ServerとStormを使ってクラウド上で実装した事例例 • アーキテクチャ • 苦労したこと、⼯工夫した
Twitter HeronはStormに比べてどう進化しているのか？ - 夢とガラクタの集積場
こんにちは。 今月頭、TwitterがHeronという新しいリアルタイム解析基盤について発表していました。 読んでみると、StormとAPIの互換性を保ったまま新しいHeronというリアルタイム解析基盤を開発したそうな。blog.twitter.com ですので、一度Heronの記事を読んでまとめて、Stormと比較しておこうと思います。 StormもOSS化されて4年近く経過し、ストリーム処理プロダクトも世代交代の時期に来ているようですので、その意味でのまとめとしても。 その前に、そもそもStormって？ 2011年にTwitterがOSS化した耐障害性を持つ分散ストリーム処理基盤です。 どういうものかは下記あたりの資料を読むのが私が何か下手に書くよりわかりやすいと思います＾＾； 初めて広く広まったストリーム処理基盤のOSSで、その分野の走りだったのではないか、と考えています。 Twit
Streaming Data | H2O World Training
Note that the first row in the training data set is a header row specifying the column names. The response column (i.e. the "y" column) we want to make predictions for is Label. It's a binary column, so we want to build a classification model. The response column is categorical, and contains two levels, 'cat' and 'dog'. Note that the ratio of dogs to cats is 3:1. The remaining columns are all inpu
Twitter Heronの論文でのStormの問題とHeronの利点は？（サマリ - 夢とガラクタの集積場
こんにちは。 前回TwitterBlogのHeronの記事を読み込んでみたので、 次は論文を読むか、とはりきってみた所、有料だったので撃沈した今日この頃です。 この後開発が進んでいくことを考えると今買って読んでしまうか悩みますね・・ と思っていた所、下記のPaperを読んだ結果のサマリが投稿されているサイトが見つかったので、 実際論文読むかの参考という意味でも読んでみます。 blog.acolyer.org ただ、そのまま挙げているわけではなく、Nathanさんのブログの記事云々とか等、 一部省略している所もあります。 1. Twitterでは既にStormを使用していない。 Twitterでは既にStormは使用しておらず、Heronがストリーム処理の基本となっている。 ここ数カ月で既に数百のTopologyを複数のデータセンターで運用している。 ＝＝＝＝＝ このあたりは、さすがStor
Process events from Azure Event Hubs with Storm on HDInsight (Java) | Microsoft Azure
Search My account Portal Sign in Close Learn how to use Azure Event Hubs with Storm on HDInsight. This example uses Java-based components to read and write data in Azure Event Hubs. It also demonstrates how to write data to the default storage for your cluster, and how to send data to Power BI using the Power BI real-time streaming API. Note: This example is created and tested on HDInsight. It may
Apache Sliderを使ってStormもYARNに乗せる - Qiita
本日は、Hadoopと良く一緒に語られるApache Stormと、そのStormを真の意味でのHadoopファミリーとする上でのキーとなるミドルウェアである Apache Sliderについてちょこっとだけ書きたいと思います。 Apache Sliderとは？ YARNの登場により、様々な分散アプリケーションが1つのクラスタを総合的なリソース管理のもとに使いまわすことができるようになりました。 ただし、YARNを利用したい分散アプリケーションにはいくつかの制約が発生します。 その中でもとりわけ大きいものとして、 YARNに対してのリソースの要求や開放等のコードを書かなくてはならない。 ジョブ1つにつきリソースの確保やデーモン等の立ち上げという仕事が発生するため、スタンドアローンに比べてジョブの立ち上がりが遅い。 (ここで言うスタンドアローンとは、YARNを使わずにその分散アプリケーション
Apache Storm vs. Spark Streaming – two Stream Processing Platforms compared
Apache Storm vs. Spark Streaming – two Stream Processing Platforms compared Storm as well as Spark Streaming are Open-Source Frameworks supporting distributed stream processing. Storm has been developed by Twitter and is a free and open source distributed real-time computation system that can be used with any programming language. It is written primarily in Clojure and supports Java by default. Sp
StormとKafkaによるリアルタイムデータ処理
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、鈴木カズです。 社内向けの監視システム構築のため、StormやKafkaを利用して開発を行っていました。 そのときの経験をもとに、まずStormによる実際のシステムがどんなものかということを紹介し、KafkaSpoutの処理内容、カスタマイズ方法、Stormのメッセージ処理などを説明したいと思います。 読者としては、StormやKafkaについて興味があり記事を読んだりしたことがあるがもう少し具体的な話を知りたい方、これから開発予定があるような方を想定しています。 StormとKafka Stormは簡単に言うと、リアルタイムに流れてくる大量のデータを処理するための分散システムです。Twitterのメッセージの分析など
Cloudera Blog
The ongoing progress in Artificial Intelligence is constantly expanding the realms of possibility, revolutionizing industries and societies on a global scale. The release of LLMs surged by 136% in 2023 compared to 2022, and this upward trend is projected to continue in 2024. Today, 44% of organizations are experimenting with generative AI, with 10% having […] Read blog post
Cloudera Blog
The ongoing progress in Artificial Intelligence is constantly expanding the realms of possibility, revolutionizing industries and societies on a global scale. The release of LLMs surged by 136% in 2023 compared to 2022, and this upward trend is projected to continue in 2024. Today, 44% of organizations are experimenting with generative AI, with 10% having […] Read blog post
Stormの概要 - ワザノバ | wazanova
https://www.youtube.com/watch?v=qjZnezdSKnw 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約6時間前 SKYLIGHT を開発しているTildeに所属しているCarl Lercheが、Apach Stormを紹介している講演のビデオです。 Stormは、Twitter, Spotify, Groupon, Flipboardなどで使われている、分散型のリアルタイムコンピューティングシステムですが、SKYLIGHTのバックエンドでも利用されているようです。 Stormは分散型のパワフルなワーカー。分散型と言えば、多くのサーバを利用できるということだが、一方でオペレーションが大変になる。しかし、Stormは障害耐性が本当に優れている（詳細後述）。高速: １秒間に百万メッセ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Data Engineering Fellowship Program Through Insight Fellows
Storm Configについて - takeuchikzmのブログ