SQLite on EFSは書き込みロックできる

はじめに こんにちは。がれっとです。 先日ECSとRDSをやめて、AWSコストを9割削減しましたという記事を投稿したところ、興味深いコメントを見つけたので検証してみました。 結論 EFS上のファイルには通常のSQLite相当のロックを行うことができ、SQLiteの書き込みが競合してバイナリファイルが壊れるといったことは基本的にない。 検証内容 SQLiteは書き込みロックをOSによるファイルロックを使用して実現しているため、Network File System上のファイルに対してうまくいかないというコメントを発見しました。 たしかに、SQLite公式ドキュメントにもその旨が記載されています。 そのため、本当にEFS上のSQLiteは書き込みが競合して壊れるのか、検証していきます。 AWS 構成図 マウントポイントによってロックのかかり方が異なる可能性を否定できなかったため、念の為アベイラ

[heguro]

調べたらAWS公式でSQLite on EFSできるようになったよというニュースがあった https://aws.amazon.com/jp/about-aws/whats-new/2017/03/amazon-elastic-file-system-amazon-efs-now-supports-nfsv4-lock-upgrading-and-downgrading/

[z67kjh]

https://note.com/hisaotsu/n/na7110f3544b9#iEkso ロック周りの処理は改善っていうか別物っすね。知らんかった

[nmcli]

NFSv4 のメリットがこんなところに。なるほど。

[sh19910711]

"EFS上のファイルには通常のSQLite相当のロックを行うことができ、SQLiteの書き込みが競合してバイナリファイルが壊れるといったことは基本的にない / NFSv4: ロック周りの処理が改善されている"

[tmatsuu]

一般的なRDBMSと違ってデフォルトの動作がロック待ちではなくロック失敗となるのは注意だな。おそらく.timeoutを設定すればロック待ちになる認識。あとは全体ロックになる気がするので同時書き込み時の性能は期待薄。

[rxh]

面白いなあ。

[t2y-1979]

おもしろい

[knjname]

素晴らしい

[shodai]

結果 EFS上のSQLiteファイルには、通常のSQLiteと同様にロックを取って読み書きできるようです。 NFSv4ではロック周りの処理が改善されているため、問題が生じなかったものと考えられます。

[toaruR]

『NFSv4ではロック周りの処理が改善されている』

[perl-o-pal]

検証用のコードでたまたま上手く行った…というようにしか見えない。多重度が増えたり、複雑なトランザクション発生したり、AWS上で障害が起きていたときでも上手くいくとは到底思えないなあ。

[kazuph1986]

検証素晴らしい。もちろんロックされている状態での書き込み処理は失敗する。