ストリーム処理を支えるキューイングシステムの選び方
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
クラウド上で動作するアプリケーションの管理・デプロイフレームワーク「Apache Brooklyn 1.0」リリース | OSDN Magazine
Apache Brooklynはクラウド上で動作する分散型アプリケーションのモデリングおよびモニタリング、管理のためのフレームワーク。2015年にApache Software Foundationのトップレベルプロジェクトとなっていた。自律型コンピューティングに着想を得ており、クラウドアプリケーションの管理仕様である「OASIS CAMP」やデプロイのための仕様である「TOSCA」の両標準をサポートしている。 YAML形式でアプリケーションの情報やデプロイ・実行に必要なコンポーネントの情報、デプロイ時に必要となる処理などを記述（モデリング）することで、それを元にアプリケーションのデプロイや管理を行える。デプロイ・管理できるプラットフォームとしてはAmazon EC2など20種類以上のパブリッククラウドをサポートしており、プライベートクラウドやベアメタル環境でも利用できる。REST API
Apache Kafkaに入門した
Apache kafka 最近仕事でApache Kafkaの導入を進めている．Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか（特にメッセージの読み出しについて）? を簡単にまとめておく（メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです）． バージョンは 0.8.2 を対象に書いている． Apache Kafkaとは? 2011年にLinkedInから公開されたオープンソースの分散メッセージングシステムである．Kafkaはウェブサービスなどから発せられる大容量のデータ（e.g., ログやイベント）を高スループット/低レイテンシに収集/配信することを目的に開発されている．公式のトップページに掲載されているセールスポイントは以下の4つ． Fast とにかく大量のメッセージを扱うことができる Scal
Private Presentation
Private content!This content has been marked as private by the uploader.
Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す
Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを本格的に業務利用（PoCではなく本番運用）した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取
Benchmarking Streaming Computation Engines at Yahoo!
Benchmarking Streaming Computation Engines at Yahoo! (Yahoo Storm Team in alphabetical order) Sanket Chintapalli, Derek Dagit, Bobby Evans, Reza Farivar, Tom Graves, Mark Holderbaugh, Zhuo Liu, Kyle Nusbaum, Kishorkumar Patil, Boyang Jerry Peng and Paul Poulosky. DISCLAIMER: Dec 17th 2015 data-artisans has pointed out to us that we accidentally left on some debugging in the flink benchmark. So the
Apache Flink とは？ - Qiita
「Apache Flink」は、分散ストリーム処理プラットフォームのひとつのOSSです。 同類のモノとしては、「Apache Storm」や「Apache Spark Streaming」などがあります（同じApacheで、さすがに同類のモノを出し過ぎだろう、と私も思っています）。 他のプラットフォームとして異なる特長は、以下になります。 高パフォーマンス＆低レイテンシ（真のストリーム処理が可能） 耐障害性に優れる（自動でイベント処理継続） ストリーム処理、バッチ処理の両方をサポートし、高レベルのAPIが提供されるAll-in-One構成 Flink Stack Flinkの全体像です。 ストリーム処理だけでなく、バッチ処理も可能であり、CEP（複合イベント処理）やML（機械学習）、SQLライクなAPIも提供しています。 この辺りは、Sparkと似ていますね。ただ、Sparkはバッチ処理か
そろそろLDAPにしてみないか？：第7回 ApacheのBasic認証をLDAPで｜gihyo.jp … 技術評論社
Basic認証の危険性とLDAP化の概要 多くの読者の皆さんがご存じのように、パスワード認証を要求するWebページをApache上で作成するためには、通常は.htaccessと.htpasswdなどを用いたBasic認証を使用します。 たとえば、http://www.example.com/secret/以下にてパスワード認証を実現するには次のような設定を行うのが一般的でしょう。 リスト1 .htaccessやhttpd.confの設定（部分） AuthUserFile /home/passwd/.htpasswd AuthGroupFile /dev/null AuthName "Secret Area" AuthType Basic require valid-user リスト2 /home/passwd/.htpasswdの例 tanaka:vDVcobip.AMqE suzuki:
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
.NET for Apache Spark™ | Big data analytics
Apache Flink® — Stateful Computations over Data Streams