『TokyoCabinet 64GBの壁』
こんにちは、 CyberX エンジニア今井です。 先週から始めたエンジニアブログですが、 今回は自分が担当です。 とはいえ、ブログに何を書くべきか大分悩みました。 悩んだ結果、最近アプリの運用中に起こった TokyoCabinetの容量が64GBになると、 データが書き込めない件について取り上げたいと思います。 そもそも、64GBもデータを入れることがおかしいって言われると あれですが… 最近、KVSを使うことも、大分主流になり、 弊社でもTokyoTyrant + TokyoCabinetを利用しております。 自分が知る限りでは、今までトラブルなく運用していたようですが、 先日、TokyoCabinetにデータが書き込めない事象が発生。 原因としては64bit環境で容量64GB以上のTokyoCabinetのデータファイルを扱うには、 HDBTLARGEオプションを指定する必要があるよう
第4回 JavaでCassandraにアクセスする | gihyo.jp
キースペース、カラムファミリの設定は以上です。 他にも、レプリケーション数やレプリケーションをどのように行うかなどの指定がありますが、今回は割愛します。 コミットログとデータディレクトリを設定する 次はコミットログとデータディレクトリの設定を行います。 Cassandraは、書き込み時には操作をすべてコミットログに追加で書き込んでいき、その実体（Memtableといいます）はメモリ上にカラムファミリごとに展開していく仕組みになっています。Memtableはサイズの閾値等をもっており、その閾値に達するとディスクに書き出します。この操作のことを「フラッシュ」といい、ディスクに書き出す構造のことを「SSTable」といいます。SSTableは一度書き出されるとその内容は不変で、実際の物理データとしては以下の3つがセットで書き出されます。 インデックス ブルームフィルタ データファイル インデック
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
