Kafka Streamを使ったストリーム処理の概要と運用時の考慮点 - joker1007’s diary
最近、仕事で分散ストリーム処理に手を出していて、その基盤としてApache KafkaとKafka Streamsを使うことにしたので、動作概要とストリーム処理のイメージについてまとめておく。 kafkaそのものについては今更説明の必要は無いだろうと思う。 Kafka Streamsはkafkaを基盤にして分散ストリーム処理を簡単に書くためのDSLライブラリ。 https://kafka.apache.org/documentation/streams/ 延々流れてくるデータを変換して別のtopicに流したり、時間のウインドウを区切ってカウントした結果を流したり、みたいなのがサクっと書ける。 Apache Flinkなんかと似た様なことができる。 Kafka Streamsが良いのは以下の点。 ただのConsumer/Producerのラッパーなのでfat-jarファイル一つで簡単に動かせ
Apache Kafkaに入門した
Apache kafka 最近仕事でApache Kafkaの導入を進めている．Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか（特にメッセージの読み出しについて）? を簡単にまとめておく（メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです）． バージョンは 0.8.2 を対象に書いている． Apache Kafkaとは? 2011年にLinkedInから公開されたオープンソースの分散メッセージングシステムである．Kafkaはウェブサービスなどから発せられる大容量のデータ（e.g., ログやイベント）を高スループット/低レイテンシに収集/配信することを目的に開発されている．公式のトップページに掲載されているセールスポイントは以下の4つ． Fast とにかく大量のメッセージを扱うことができる Scal
Stream processing in Ruby
Reactive applications seems to have been the new hotness this year. Whether it’s at a conference about Big Data, DevOps or IoT, the same use case is coming up repeatedly - the need to process real-time streams of data. There’s even a reactive programming manifesto for those really feeling the need to get polemical about it. A couple of years back I did a piece of consultancy work where I needed to
Pass: The Standard Unix Password Manager
Introducing pass Password management should be simple and follow Unix philosophy. With pass, each password lives inside of a gpg encrypted file whose filename is the title of the website or resource that requires the password. These encrypted files may be organized into meaningful folder hierarchies, copied from computer to computer, and, in general, manipulated using standard command line file ma
武漢含む湖北省全体への渡航中止 外務省が勧告 新型肺炎で | NHKニュース
中国の湖北省武漢を中心に新型のコロナウイルスによる肺炎が相次いでいることを受けて外務省は24日夕方、中国に滞在している日本人を対象に出している「感染症危険情報」のうち湖北省全体の危険レベルを「３」に引き上げ、渡航の中止を勧告しました。 茂木外務大臣は記者会見で「武漢市での感染は、ますます増えており、感染の地理的拡大が懸念される」と述べました。 そのうえで外務省内に対策チームを立ち上げたことを明らかにし、「関係省庁や現地大使館と連携し、在留邦人の安全確保を第一に、政府一丸となって対応したい」と述べました。 また、茂木大臣は在留届などにより、合わせて710人の日本人が武漢にいることが確認されているとして、「順次、安否確認をしているが、現地邦人に緊急の事態が生じたという情報には接していない。生活物資などの支援の要望があれば、すぐに対応できるよう緊密に連絡をとっていきたい」と述べました。 渡航中止
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【独自】｢売却は苦渋の決断だった｣メルペイのOrigami買収の舞台裏
GitHub - ennui2342/qswarm: Ruby stream processing DSL