Snowflake で Python プロファイリング機能を活用してメモリボトルネックを改善する - estie inside blog

estie で Staff Engineer をしている @Ryosuke839 です！前回のブログからしばらく間が開きましたが、ふたたび Snowflake ネタです！今回は Snowflake 上で Python を使っていて遭遇した問題と、その解決策についてご紹介します。 Snowflake で Python がメモリを使い果たしてしまう estie では以前のブログ記事（post post）でもご紹介したように、dbt Python model を Snowflake 上で多用しています。 マルチプロダクト戦略のためにデータパイプラインの数も増加しており、dbt の実行時間も気になるようになってきたため dbt の並列数（threads）の値を上げてみたところ、次のようなエラーが頻発するようになってしまいました。 04:33:15 Database Error in model f

[misshiki]

“プロファイリング機能を使うことでコードのボトルネックを特定することができる 必ずしもドキュメントに全てが書かれているわけではない ソースコードを読むと仕様を確実に知ることができる”