Prestoを使ってKafkaにクエリを投げる
Prestoを使えばKafkaに入っているメッセージにSQLでクエリが投げれるみたいなのでやってみました。 KafkaからHBaseやらNoSQLに入れ直すのはめんどうなのでPrestoを使ってみた感じです。 ちなみにPrestoは複数のデータソースに対して分散SQLクエリを発行するエンジンです。Kafkaは接続出来るデータソースの1つにすぎません。 環境CentOS7に全部まとめてインストールして動作を確認します。 CentOS 7Java 1.8Presto 0.180Kafka 0.11.0.0kafkaインストールまず、kafkaのインストールから。 root$ yum update -y root$ yum install java Kafkaのサポートバージョンはpresto 0.180のドキュメントを見るとKafkaは0.8.xでテストしていると書かれています。 Presto
Apache Kafkaの公式ドキュメントをさらっと読んでまとめてみた
Apache Kafka(以下、Kafka)の使用を検討した時に、公式ドキュメント をさらっと読んだのでまとめておく。 さらっと読んだ程度なので、間違っているところがあるかもしれませんのでご注意を。 主に、公式ドキュメント1～3章のまとめです。 対象のバージョンは0.9.0。 読む前にやっておくといいことまず、公式ドキュメントを読む前にイメージを掴むために以下を読んだ。 すごくわかりやすいです。 http://deeeet.com/writing/2015/09/01/apache-kafka/ http://www.slideshare.net/yanaoki/kafka-10346557 概要 Kafkaは大量のメッセージを高速に扱うことができる分散メッセージシステムで、メッセージングキューとして必要な様々な機能があります。 特徴は、速さ、拡張性、耐久性、分散処理。メッセージングキュー
Spring Securityを使っているWebアプリのUnitテスト
Spring Securityを使っているWebアプリのUnitテストについて調べたのでメモしておく。 基本的に次のSpringのドキュメントを動かしてみただけなので詳細はSpringのドキュメントを見てください。 http://docs.spring.io/spring-security/site/docs/current/reference/html/test-method.htmlhttp://docs.spring.io/spring-boot/docs/current/reference/html/boot-features-testing.htmldependency<dependency> <groupId>org.springframework.security</groupId> <artifactId>spring-security-test</artifactId>
Hadoop NamenodeとResourceManagerのHA構成について
Hadoop NamenodeとResourceManagerのHA構成についてメモしておきます。 Hadoopはコミュニティー版を使ってHAなNamenodeとResourceManagerを持つHadoop Clusterを構築します。 簡単にHA構成が作りたいのであれば、CDHのCloudera Managerがおすすめです。 HA構成について今回作るHA構成について簡単な説明。 Namenode HAactive / standby構成Quorum Journal Manager (QJM) Namenodeのメタデータを複数のJournal Nodeで保持するためのManager。Quorumとあるように複数のJournal Nodeで過半数で書き込みに成功した場合にメタデータの更新が行われる。 Automatic failover ZookeeperのQuorumとZKFail
Spring Bootを使ったWebアプリのユニットテスト自動化について
Spring BootでRDBやRedisを使うWebアプリのユニットテスト自動化について書く。とりあえず、H2DBとRedisをUnitテスト実行時に自動的に立ち上げるようにしてテストの自動化が出来るようにする。 WebアプリのUnitテストWebアプリを作るとき、MySQLやRedisなどのミドルウェアにデータを保存する。開発時にもMySQLやRedisが必要になる。当然、書いたプログラムのUnitテストを書くことになるが、これらのミドルウェアにデータが保存されるとなると開発時だけでなくUnitテストのときにも同等の役割をするミドルウェアが必要になる。また、DBの中に保存されているデータの管理もしなければならず意外とメンドウ。 次の項目があるとテストが楽。 環境の自動構築 (DBを立ち上げたり、停止したり)テストデータの用意 (DBへのmigrationを含む)という、無理矢理な説明だ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
