オンプレNFSサーバーからAWS S3へ無停止マイグレーション 〜双方向リアルタイム同期処理の自前構築〜 - LIVESENSE ENGINEER BLOG

概要 オンプレNFSサーバー 移行対象アプリケーション 無停止マイグレーションの選択と段取り 双方向リアルタイム同期処理の自前実装 背景: AWS DataSyncの利用を断念 設計: 同期処理の構成要素と実装 初回のフル同期と同期漏れの確認 循環更新の防止 NFSからS3方向への同期 S3からNFS方向への同期 ファイル操作順序の一貫性と削除操作のリスク S3 Bucket更新イベントはフォルダの粒度でも発生する 同期漏れは手動でリカバリ 移行後 これから 概要 テクノロジカルマーケティング部インフラストラクチャーグループの春日です。 弊社ではアルバイト求人サイトの マッハバイト を運用しており、2023年9月現在オンプレからAWSへの移行が進んでいます。 上記移行プロジェクトの一環として、マッハバイトの求人画像ファイルが保存されているオンプレNFSサーバーのデータをAWS S3 Buc

[iwtn]

オンプレからクラウド、可用性の高い環境への移行