Apache Kafka概要確認（その12 分散方式 - 夢とガラクタの集積場
こんにちは。今回は実際分散協調をどうやっているかという話。 ある意味分散システムとしてのコアです。 19.分散方式 以後、BrokerとConsumerの協調に用いるZookeeperのディレクトリ構成とアルゴリズムについて記述する。 Zookeeper上のディレクトリ構成判例 [xyz]という形で[]で囲った個所はトピック名やナンバーによって変動する値を示す。 そのまま"xyz"というZnodeが存在しているとは限らない。 例として、「/topics/[topic]」は/topicというディレクトリの配下にトピック名の名前を持つZnodeが存在することを示す。 同様に「[0...5]」と記述した場合は0、1、2、3、4・・・という形でZnodeが存在することを示す。 また、「->」は実際のZnodeの値を示すことに使用される。 例えば、「/hello -> world」と記述した場合、「
apache kafkaでconsumer.idを指定しないとconsumerが偏る件 - xuwei-k's blog
kafkaの基本的な概念は理解してる前提で細かい説明省略して書くので、ご了承ください。 前提として 旧consumer (JavaではなくScalaで書かれてるやつ。新consumerはよく調べてない) version 0.9.0.0(旧consumerなら他のversionでも同じ気はする) partition.assignment.strategyはデフォルトのrange あるtopicに関して、partition数よりconsumer数が多い(実際わりとそれが普通？以下で説明) という場合です。まず 「あるtopicに関して、partition数よりconsumer数が多い」とは、多い余ったconsumerは単にconsumeせずスタンバイ状態にしたいだけです。 スタンバイ状態にしたい、というか、あるtopicに関してpartition数より多いconsumerは、完全に同時には動か
Kafka のトピック・パーティションの決め方を考察する - uchan note
Apache Kafka は分散キューまたは pub/sub メッセージ配信システムとして使われるミドルウェアである。Kafka は pub/sub システムで一般的にある「トピック」に加えて、各トピックを分散処理のために分割する「パーティション」という機能を持っている。この記事では、どちらもメッセージを分類するという機能をもつ「トピック」と「パーティション」の使い分けを考察してみる。 トピック トピックとは日本語で「話題」という意味がある。pub/sub システムでは、関連するメッセージを集める単位として使われる言葉らしい。筆者は pub/sub システムの一般的な概念をそんなによく知らないのではっきりしたことを言えないが、「アクセスログトピック」とか「システムログトピック」とか「気温と湿度のログトピック」というように、メッセージの種類ごとに分けるのがトピックだと考えている。 メッセージ
Prelertでプログラミングレスな異常検知に挑戦！ - Taste of Tech Topics
こんにちは！ @tereka114です。 最近、データの中から特異点や異常な箇所を発見したいニーズが高まっています。 そんななか、先日、Elastic社が行動分析技術の大手プロバイダPrelertを買収したとのニュースがありました。 ちなみにPrelert社とは異常検知を自動化するため、データの知識が不要なアプリケーションをエンドユーザーに提供していた企業です。 Prelertのサイトを確認すると、Elasticsearchに入れたデータに対して異常検知することができそうです。 これは面白そう！ ということで、Prelertを使って異常検知を行ってみました。 今回は、次の流れで説明していきます。 Prelertとは Prelertのインストール 公式サイトからのダウンロード インストール 起動確認 実際に異常検知をやってみる。 データ投入 マッピング定義 Logstashを使ったデータ投入
Docker と Kubernetes を使って『変化に強いインフラ』を作る | Wantedly Engineer Blog
WHY『変化に強いインフラ』を作ることで、技術にこだわり続ける環境ができ、ビジネスの変化にいち早くキャッチアップできます。 そのためにどのようにして、『変化に強いインフラ』を作ることが出来るのか模索したものをまとめます。 WHATKubernetes 上にアプリケーションを載せるCI/CD 環境構築GitHub Flow の開発スタイルでを元に QA で自分で書いたコードが確認でき、マージをしてmasterへpushしたら、Produciton へすぐにデプロイするサーバースペックを簡単に変えれる/内部で使われるライブラリ等も変更しやすいようにするDeploy の仕組みを自由に変更できるソースコードは以下です。 Github: koudaiii/jjug-ccc2016fall-devops-demoref. GitHub Flow 『変化に強いインフラ』を作っていく上での定義とルール変化
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
kafka-python - How do I commit a partition?
How to get latest offset for a partition for a kafka topic?