DynamoDBのパーティション分割問題について｜ハンズラボエンジニアブログ｜ハンズラボ株式会社

こんにちは、井上です。 DynamoDBを使用していて、スループットは十分なはずなのに、書き込み/読み込みエラーが発生する、というケースはありませんでしょうか。 ハンズラボでは以前からこの問題に悩まされており、原因が分からないまま必要以上に高いスループットを設定したりしてお茶をにごしていたのですが、サポートやSAの方に相談したところ、パーティションの分割による問題であることが分かりました。 このパーティション問題は結構ハマりどころだと思うので共有しておきます。 背景 昨年、お客様の購入履歴（約2億3,000万レコード）などのデータをDynamoDBへ移行しました。 その際、店舗の閉店時間から、翌日の開店時間までの間にデータ移行を行う必要があったため、書き込みスループットを最大限に上げ、並列処理にて一気にデータを投入しました。 初期インポートは無事成功し、スループットを通常オペレーション上必

[dekokun]

こりゃ難しい。パーティション分割後のスケールダウン。

[kuenishi]

どのような水平分散のDBでもこの問題からは逃れられなくて、スケールダウンするのはもっと難しい。There's no free lunch

[honeybe]

意訳：困ったら札束で殴り倒せ！(ぇ / この辺り計算とか面倒すぎて…設定間違えると飛ぶようにお金が飛んで行くし…

[taiji_inoue]

書きました。[DynamoDB]