【ログ分離】 ログデータを DB に保存してはいけません
はじめに TROCCO では ETL ジョブや、dbt 連携、ワークフローなど、様々なジョブで実行ログをリアルタイムで見ることができます。 これによりエラー時のトラブルシュートをスムーズに行うことができます。 そして、この実行ログですが、DB にあるジョブのレコードの1カラムに書き込まれていました。 このように TROCCO の実行ログの表示機能は、データベースのアンチパターンの上に成り立っています。 ログデータは TEXT 型で DB に保存されているためサイズが大きく、また TROCCO の成長に応じてジョブ数は増えるため、ログデータもサービスの成長とともに無限に成長してしまいます。 おかげさまでアカウント数は増加の一方であり、それに伴い DDL が遅くなったり、また SELECT のパフォーマンスも当然落ちるため、INDEX に気をつけたりする必要がありました。 SRE ではこれに課
シェルスクリプトによる AWS の操作 - Qiita
シェルスクリプトで AWS の ELB 関係の処理を実行します。 aws コマンドを利用しているので role の設定などにより aws が正しく動作する必要があります。 add2as EC2 インスタンスを生成して AutoScaling Group に追加します。 処理内容 内部では AutoScaling Policy を取得して実行しているだけです。 AutoScaling されているので AutoScaling Policy に従って自動的に terminate します。 制限 スクリプト中では AutoScaling Group と AutoScaling Policy を自動取得しているので以下に示す制限があります。 AutoScaling Group は1個のみ定義されている事 AutoScaling Policy は 1以上の増分指定されているものを利用 スクリプト中に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
