GoogleのCloud Pub/SubをやめてRedisのPub/Subに戻した話 - GAミント至上主義
要点を言えば、公式Pythonライブラリでメモリの問題が2回発生した上に、バージョンアップでさらにコントロールできないものになったので使うのをやめた。 自社用データ収集のプロジェクトoceanusでは、データをBigQueryに保存するだけでなく、データのリアルタイム処理、ストリーミング処理用にPub/Subにも送信している。 github.com 例えば、コンバージョンとか特定のイベントが来たらメールするとか、Googleスプレッドシートに書き込むとか。 開発してからしばらくは同一ネットワーク内（GKE）に自分で立てたRedisのPub/Subで行っていたが、Google Cloud Pub/Subの方が、自分でスケーリングとか考えなくていいし、どこからでもアクセスできたり、他のGCPサービス（Cloud Functions）と連携もしやすいので移した。 しかし、Cloud Pub/Su
Google Cloud Pub/SubのPythonクライアントがメモリリークするので調査して解決？ - GAミント至上主義
要約 Google Pub/Subクライアントを使い、ずっと動かし続けてたらメモリリークが見つかった 調査したらクライアント自体のバグか仕様だった。そもそも動かし続けるように作られてない multiprocessingのProcessを使い、別プロセスで動かし、メッセージを一定数ごと受け取ったらそのプロセスごと再起動するようにした oceanusのpubsubからデータを受け取り処理を行うrevelationで、pubusbをRedisからGoogle Cloud Pub/Subにしたところ、メモリリークが発生した。 データはbizoceanのイベントログが送られてきて、一つ数KB、～10メッセージ/秒が来る。 起動時は50MBだけど1時間に数MB増え、1週間で数百MBになり、他のPODにも影響してしまう。 本番のKubernetes(GKE)では下記コマンドでメモリの増加を確認。 % k
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
