At Zendesk we’ve invested heavily in Kafka. We’ve authored the Maxwell MySQL change capture application and the ruby-kafka client library. Today we’d like to announce a new open source project: Racecar. Racecar makes it dead easy to write, configure, test, and run Kafka consumers in Ruby, and integrates nicely into Rails applications. It sacrifices some flexibility in exchange for simpler operatio
Apache Kafka More than 80% of all Fortune 100 companies trust, and use Kafka. Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-critical applications. Manufacturing 10 out of 10 Banks 7 out of 10 Insurance 10 out of 10 Telecom 8 out of 10 10/10 Largest insurance
Log pipeline for Cloud Foundry with Apache Kafka Apache Kafka Meetup Japan #1 at Yahoo! JAPAN 31 May 2016 Taichi Nakashima About me @deeeet (Twitter) / @tcnksm (GitHub) http://deeeet.com PaaS (based on Cloud Foundry) Dev&Ops Gopher 2 About me 3 TL;DR なぜLog pipelineの構築にApache Kafkaを採用したか? (どのようにCloudFoundryと連携しているのか?) 4 Cloud Foundry https://www.cloudfoundry.org/ OSS Platform as a Service 構築基盤 APIや
+++ date = "2015-08-31T15:53:58+09:00" draft = true title = "Go言語でApache KafkaのProducerとConsumerを書く" +++ 最近仕事でApache Kafkaの導入を進めている.その練習としてKafkaのProducerとConsumerをGo言語で実装してみたのでそれについてつらつらと書いてみる. ConsumerがPull型であるのもKafkaの特徴である.これによりConsumerの処理能力やネットワーク帯域に合わせてメッセージ流量を調整することができる. http://kafka.apache.org/documentation.html#theconsumer ProducerとConsumerを書く このProducerとConsumerはlogstashやfluentdのoutput/inp
Apache kafka 最近仕事でApache Kafkaの導入を進めている.Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか(特にメッセージの読み出しについて)? を簡単にまとめておく(メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです). バージョンは 0.8.2 を対象に書いている. Apache Kafkaとは? 2011年にLinkedInから公開されたオープンソースの分散メッセージングシステムである.Kafkaはウェブサービスなどから発せられる大容量のデータ(e.g., ログやイベント)を高スループット/低レイテンシに収集/配信することを目的に開発されている.公式のトップページに掲載されているセールスポイントは以下の4つ. Fast とにかく大量のメッセージを扱うことができる Scal
This page describes a proposed Kafka Improvement Proposal (KIP) process for proposing a major change to Kafka. Getting StartedIf this is your first time contributing: Sign up for the Developer mailing list dev@kafka.apache.org . The instructions to sign up are here: http://kafka.apache.org/contactCreate a wiki ID (https://cwiki.apache.org/confluence/signup.action self-service is currently not avai
Why we built this Kafka is a messaging system that was originally developed at LinkedIn to serve as the foundation for LinkedIn's activity stream processing pipeline. Activity stream data is a normal part of any website for reporting on usage of the site. Activity data is things like page views, information about what content was shown, searches, etc. This kind of thing is usually handled by loggi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く