Apache Kafkaのレプリケーション - 夢とガラクタの集積場
こんにちは。 前回に続いて、Apache Kafkaのネタです。 今期の最新バージョンからレプリケーション機能が追加されたとのため、 レプリケーション機能の設計を実際に確認してみます。 https://cwiki.apache.org/confluence/display/KAFKA/Kafka+Replication レプリケーション追加の大目的 Kafkaにレプリケーション機能を追加した目的はKafkaの持続性と可用性を高めるため。 KafkaにおいてPublishされたメッセージが失われることなく消費されることを保証したかった。 これらの問題はマシン障害、ソフトウェア障害等様々なエラーで発生する可能性がある。 レプリケーション機能追加において気にしたことは下記。 1.持続性の度合いを設定可能 一つ一つのデータをロストしたくないアプリケーションにおいては書込みレイテンシがかかる代わりに
Amazon KinesisとApache Kafkaの類似点／相違点まとめ - 夢とガラクタの集積場
こんにちは。 Amazon Kinesisについて調べたり実装してみたりしたため、 モデルがよく似たApache Kafkaとの類似点や相違点が気になってきました。 というわけで、実際比べてみた結果どうだったのかをまとめてみます。 1.2つのプロダクトの類似点 Amazon KinesisとApache Kafkaの大きな類似点として、以下があります。 1.メッセージを取得したタイミングで削除するのではなく、一定期間経過後に削除するモデルを取っている Kestrel、RabbitMQといったプロダクトはメッセージを取得され、利用側から応答が返った段階で削除するモデルを取っている。 「メッセージキュー」と言いあらわした場合、削除するモデルの方がイメージ的には近い？ Amazon Kinesis、Apache Kafkaはメッセージの提供を行うのみで削除は行わない。一定時間経過後に削除している
Amazonの中の人によるAWS re:Invent 出張報告会での注目スライドサマリ(Gremlin) - 夢とガラクタの集積場
こんにちは。 既に旬（？）自体は明らかに過ぎているre:Inventネタですが、個人的な勉強にもなるので続けます。 3つ目はBDT303、AWS上でグラフベースの製品リコメンドシステムを構築した事例の話になります。 3.BDT303 Using AWS to Build a Graph-Based Product Recommendation System（スライド）（動画） 実際どのサイトでの話かというと、「Magazine Luiza」というブラジルでの耐久消費財を扱うチェーン店での話です。 ブラジルにおいては家庭用品を扱う最も大きな小売店チェーンのうちの一つとのことでした。 規模は下記の画像参照・・・ですが、2280万人のユーザを抱えて捌いているというのはかなり大規模になりますね。 で、まずそもそもレコメンデーションで重要になる要素は何かという話から。 レコメンデーションシステムにお
KafkaクラスタでConsumerを接続した際の動作 - 夢とガラクタの集積場
こんにちは。 Producerからメッセージを投入時の動作を確認した前回に引き続き、動作を確認していきます。 今回はConsumerがKafkaクラスタに接続した時の動作について、です。 1-1.Consumerのコマンド確認 前回と同じく、Consumerのコマンドを確認します。 重要になるのはgroup、topic、後は必須がZooKeeperURLとなっています。 # cd /opt/kafka # bin/kafka-console-consumer.sh [2014-03-18 07:22:07,118] ERROR Missing required argument "[zookeeper]" (kafka.utils.CommandLineUtils$) Option Description ------ ----------- --autocommit.interval.m
Apache Spark Streaming＝大規模準リアルタイムストリーム処理？ - 夢とガラクタの集積場
こんにちは。 Sparkについて調べてみよう企画第２段（？）です。 １回目はまずSparkとは何かの概要資料を確認してみました。 その先はRDDの構造を説明している論文と、後Spark Streamingというストリーム処理基盤の資料がありました。 とりあえず、そんなわけで（？）お手軽に概要がわかりそうなSpark Streamingの方を調べてみました。 まず見てみた資料は「Overview of Spark Streaming」（http://spark.incubator.apache.org/talks/strata_spark_streaming.pdf）です。 というわけで、読んだ結果をまとめてみます。 Spark Streamingとは何か？ 大規模ストリーム処理フレームワーク ・100オーダーのノードにスケールする ・秒単位のレイテンシで処理を実行可能 ・Sparkのバッチ
Akka StreamsによるReactive Streamsって？ - 夢とガラクタの集積場
こんにちは。 最近気になっていた「Reactive Streams」について試してみました。 1. Reactive Streamsとは？ 少し前にReactive Streamという情報がWebに流れていました。 Reactive Streams 何かというと、 "Reactive Streams is an initiative to provide a standard for asynchronous stream processing with non-blocking back pressure on the JVM." つまり、 JVM上で動作するバックプレッシャー機能を保持するノンブロッキングな非同期ストリーム処理標準化のための提案 ということになります。 実際どういう意図で始まり、概要がどういうものか、についてはOkapiesさんがまとめています。 非同期ストリーム処理の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
