シシド・カフカさんが気になって調べていたら Apache Kafka 入門していたメモ - ようへいの日々精進XP
ども、かっぱです。 tl;dr 何気なくラジオから流れてきたシシド・カフカという名前のアーティストについて調べようと思ったら、Apache Kafka に入門していたのでメモ。 shishido-kavka.com 上記はシシド・カフカさんのオフィシャルサイト。 kafka.apache.org 上記が今回入門した Apache Kafka。 参考 以下の書籍、記事を参考にさせて頂いた。また、随所で引用させて頂いている。誠に有難うございます。 Apache Kafka Apache Kafka 入門 Apache Kafkaに入門した Apache Kafka ―入門からTrifectaを用いた可視化まで― fluent-plugin-kafka: fluentd と Kafka の連携 Apache Kafka について 背景 Apache Kafka とは... 2011 年に Lin
Apache Kafkaに入門した
Apache kafka 最近仕事でApache Kafkaの導入を進めている．Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか（特にメッセージの読み出しについて）? を簡単にまとめておく（メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです）． バージョンは 0.8.2 を対象に書いている． Apache Kafkaとは? 2011年にLinkedInから公開されたオープンソースの分散メッセージングシステムである．Kafkaはウェブサービスなどから発せられる大容量のデータ（e.g., ログやイベント）を高スループット/低レイテンシに収集/配信することを目的に開発されている．公式のトップページに掲載されているセールスポイントは以下の4つ． Fast とにかく大量のメッセージを扱うことができる Scal
Apache Kafka 0.11 の Exactly Once Semantics
This document discusses exactly once semantics in Apache Kafka 0.11. It provides an overview of how Kafka achieved exactly once delivery between producers and consumers. Key points include: - Kafka 0.11 introduced exactly once semantics with changes to support transactions and deduplication. - Producers can write in a transactional fashion and receive acknowledgments of committed writes from broke
KafkaとAWS Kinesisの比較
This document compares Apache Kafka and AWS Kinesis for message streaming. It outlines that Kafka is an open source publish-subscribe messaging system designed as a distributed commit log, while Kinesis provides streaming data services. It also notes some key differences like Kafka typically handling over 8000 messages/second while Kinesis can handle under 100 messages/second.Read less
Kafkaによるリアルタイム処理
This document discusses Kafka, a distributed messaging system originally created by LinkedIn and now an Apache project. It provides an overview of how Kafka works and how various companies use it, including for log processing (LinkedIn), analytics (Facebook, Twitter, Google), and integrating with other technologies like Hadoop, Zookeeper, HBase and Storm. It also covers Kafka's scalability, perfor
Fast Data を扱うためのデザインパターン
1. ® © 2016 MapR Technologies 1® © 2016 MapR Technologies 1© 2016 MapR Technologies ® Fast Data を扱うためのデザインパターン Ian Downard, Technical Evangelist with MapR Portland Java ユーザーグループ 2016 年 10 月 18 日 2. ® © 2016 MapR Technologies 2® © 2016 MapR Technologies 2 概要 • このプレゼンテーションでは Apache Kafka を紹介し、Kafka API の 使い方について説明します。また、Fast Data への適用のために Kafka パイプラインのスループットを最大化するための戦略について も解説します。 • 説明で使われているコード例は
内部データパイプラインへのKafka Streamsの適用 - LINE ENGINEERING
! This post is also available in the following languages. 英語, 韓国語 By Kawamura Yuto | 2016.08.19 2021.01.08LINEでエンジニアとして働いています。Apache Kafka、Apache HbaseなどのOSS技術をベースにLINEの中核的なデータパイプラインとストレージを開発・運営しています。 Kafka Streamsのご紹介 こんにちは。LINEでサーバ開発エンジニアとして働いているYuto Kawamuraです。主にHBase、KafkaといったLINEの中核的なストレージを開発・運営しています。 昨年下期からは、IMF(Internal Message FlowまたはFund)と呼ばれる新規プロジェクトも担当しています。このIMFプロジェクトの目的は大きく2つあります。 内部シ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
introductiontoapachekafka
GitHub - pambot/ozymandias: Real-time image processing at scale using Kafka and Spark Streaming
Implement Producer and Consumer in Python – Keep it simple and stupid
DMM.comでSpark+Kafkaを使ったアーキテクチャ事例
ETLは過去のものか - Apache Kafkaがデータ処理の未来なのか？
http://sites.computer.org/debull/A12june/pipeline.pdf