StormとKafkaによるリアルタイムデータ処理
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、鈴木カズです。 社内向けの監視システム構築のため、StormやKafkaを利用して開発を行っていました。 そのときの経験をもとに、まずStormによる実際のシステムがどんなものかということを紹介し、KafkaSpoutの処理内容、カスタマイズ方法、Stormのメッセージ処理などを説明したいと思います。 読者としては、StormやKafkaについて興味があり記事を読んだりしたことがあるがもう少し具体的な話を知りたい方、これから開発予定があるような方を想定しています。 StormとKafka Stormは簡単に言うと、リアルタイムに流れてくる大量のデータを処理するための分散システムです。Twitterのメッセージの分析など
１人、Stormソースコードを読んでみよう（No.２ - 夢とガラクタの集積場
というわけで始まってしまった（？）この記録。 まずは、ディレクトリの中身概要を確認してみます。 確認の結果下記のようになっていました。 Storm ├─bin 起動／環境構築スクリプト ├─conf Stormの設定ファイル ├─log4j Stormのログ出力設定ファイル ├─src │ ├─clj │ │ ├─backtype StormのコアClojure開発部 │ │ └─zilch ZeroMQ/VirtualPort用のClojureコード │ ├─dev │ │ └─resources テスト用に使用されるスクリプト（？） │ ├─jvm StormのコアJava開発部 │ ├─multilang │ │ ├─fy ？？？ Stormのトポロジ構築を行うスクリプト（言語何でしょう・・） │ │ ├─py PythonでSt
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
