RubyのCassandraクライアントでバッチ処理。 - nori3tsu's blog

大量データの読み込み, 書き込みのバッチ処理を効率よく行うため、Cassandraクライアントにはバッチ処理用の仕組みが用意されています。 環境 cassandra (0.12.1) 読み込み 大量データを処理するバッチ処理では、Cassandra内のデータを意識せずに読み込むと メモリ上に全て展開されてしまって、メモリが足りなくなることがあります。 例えば1,000,000件のデータがあった場合、それを一度に読み込むと1,000,000件のデータがメモリに溜まってしまうので、メモリを圧迫してしまいます。 解決方法の一つとして、1,000,000件全てをメモリに格納するのではなく、分割取得して処理する方法があります。 Cassandraクライアントでは、get_rangeメソッドが分割取得に対応しています。 下記のトリガーで分割取得を行います。 1. メソッドにブロックが渡された場合 2.

[crist18]

Cassandraのバッチ処理。