え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
こむろです。ただいま花粉真っ只中の関東に帰ってきています。 2017/03/14にPivotalにて Apache Geodeハンズオン が開催されていたので参加してきました。 某氏から4ヶ月ほど前に宿題として積まれていて、面白そうな技術だなと思っていたのですが、なかなか手をつけられておらず、実際に手を動かして使ってみる良い機会だったので思い切って参加してみました。 基本的な機能のみですが、実際に動かしてみつつ、疑問に思ったことを色々と聴いてきました。 かなり長いため、面倒な人はまとめくらいまで飛ばしてしまって良いかもしれません。面白そうだなと思ったら実際に手を動かして見たほうが良いと思います。アプリケーションに簡単に組み込める(後述)ため、気軽にさっと始めることができます。 Apache Geodeって? Apache Geodeとはざっくりいうとインメモリデータグリッドを構成できる分散
はじめに 前回の投稿にて、簡単なGeodeの構築をおこないました。 今回は、Geodeでのクラスタを構築します。公式にクラスタ構築のチュートリアルがあるのですが、1サーバないでクラスタを組むという事をやっていたり、色々余計な説明もあるので、実際にサーバを分散させた状態で構築する場合を想定し、最低限の設定で構築する手順を記載していきます。 構築のイメージ サーバーは4台使用したレプリケーション環境を構築します。locatorが2台、serverが2台、これにより、1台落ちたとしても、サービスを継続可能なクラスタとなります。(性能要件を満たせるかは別問題ですが) Locatorの起動 locatorを起動します。単独起動の時とは違い、クラスタを構成するlocatorのホスト名とportを起動時に指定します。 # サーバー01 gfsh>start locator --name=locator1
はじめに 分散システム型 KVS 実装の一つである Apache Geode にて、サーバーサイドで何かロジックを実行したいときには Function Execution という機能を使うのが一般的です。ただ、 Functoin Execution は高機能であるため、設定項目や実ロジック以外のコーディング量が多くなりがちで、特定ロジックをクラスター内のデータ配置とか関係なくいずれかのキャッシュサーバーノードで一度だけ実行して返り値も要求しない、といった単純なケースに使うのはやや気が引けるかもしれません。 本記事では、Apache Geode にて、Function Execution 機能を使わずにもっとお手軽にサーバーサイドでロジックを実行する方法を紹介します。以下、任意のロジックを実行する実体を「コマンド」と呼称することにします。なお、本記事の方法は Apache Geode 1.6
はじめに 分散型のKVSであるApache Geodeについて、はじめて使ってみること主体に記載していきます。 理屈をここで書く気はないので、詳しく知りたい方は公式を見てください。または、別の機会に詳しく説明するかも。 http://geode.apache.org インストール Linux環境を前提に進めます。 また、動作にはJavaの実行環境が必要となります。 最新のモジュールは下記を参照してください https://geode.apache.org/releases/ wget -O - http://ftp.meisei-u.ac.jp/mirror/apache/dist/geode/1.6.0/apache-geode-1.6.0.tgz | tar zxvf - PATHへ追加はお好みで GFSHの起動 [Geodeのダウンロード先]/bin/gfshを立ち上げて、コマンドラ
今日、訪問先でお話ししていて、Apache Geodeが話題になりました。そういえばApache Igniteは少し聞いたことがあったのですが、Apache Geodeとの違いとはどういうところだろう?ということで少し調べたメモ書きです。 インメモリデータグリッド そもそも、「インメモリデータグリッド」なる用語をあまりマークしていたので改めて。 以下の記事中の言葉を借りると、 大量のデータを多数のサーバのメモリ上で分散して管理する技術 とのことです。 www.itmedia.co.jp データベース的にいうと、スケーラブルなインメモリデータベースでしょうか。 以下のページではGridGainとRedisの比較(GridGainはApache Igniteの商用版みたいなの)もやっているようなので、比較対象になるというところでそんなにずれてはいないと思います。 www.gridgain.co
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く