タグ

awsとメンテナンスに関するgirledのブックマーク (3)

  • Amazon Redshift で VACUUM DELETE の自動実行が開始

    Amazon Redshift で、VACUUM DELETE オペレーションが自動実行されるようになりました。これにより、それまでの UPDATE および DELETE オペレーションで削除マークが付けられていた行により占有されていたディスク空間が返却されます。また、テーブルのデフラグが実行されるため、断片化で消費されていた空間が解放され、ワークロードのパフォーマンスが向上します。 VACUUM DELETE の実行スケジュールは、クエリ負荷とテーブル内の削除済み行数に基づいて設定されます。例えば、ユーザーやクエリへの影響を抑えるため、負荷の高い期間には VACUUM DELETE の実行頻度が下がります。VACUUM DELETE の実行は、入力されたクエリの負荷が高いときには自動的に一時停止し、しばらくたってから再開されます。Amazon Redshift ではバキューム処理が不要な

    Amazon Redshift で VACUUM DELETE の自動実行が開始
    girled
    girled 2018/12/25
    クエリパフォーマンス見てたらメトリクスが追加されてたので。暗黙だったものが可視化されるのはいいこと。
  • これからAmazon Redshiftを始める技術者が注意すべき22つのポイント | DevelopersIO

    はじめに 2年ほど前にRedshiftを使う際に注意すべき点をまとめた記事を書いたのですが、その後Redshift案件をいくつか経験し、項目を追加したくなったのでもう一度まとめました。Redshiftを業務で使う方はぜひ読んでほしいです。1から11までは以下のページになります。 これからAmazon Redshiftを始める技術者が注意すべき11つのポイント 注意事項一覧 ALTER TABLE RENAMEでテーブル名を変更するとViewの参照先が変わるので注意! ALTER TABLE APPENDで移動したデータは未ソートになるので注意! UDFのパフォーマンスに注意! TO_TIMESTAMP関数がないので注意! VARCHAR(65535)は推奨されていないので注意! 統計情報の鮮度とソートされていない行の割合に注意! 削除マーク付きのレコードが増えるとパフォーマンスが落ちるので

    これからAmazon Redshiftを始める技術者が注意すべき22つのポイント | DevelopersIO
    girled
    girled 2017/11/15
    VACUUMが全然終わらなくって夜中起こされたのでディープコピーでソートする方式を検討してみようかなあ。つか、データ多すぎるんじゃ。
  • Amazon Redshift: VACUUM処理が必要なテーブルを改めて洗い出す | DevelopersIO

    当エントリで紹介しているものより、もうちょっと便利なSQLを 下記エントリで紹介しています。宜しければご参照ください。 Amazon Redshift: ソートキーを指定してないとVACUUMの恩恵に預かれないというお話(&VACUUM対象テーブル抽出 改良版SQL付) | Developers.IO 超小ネタです。 以前、以下のエントリを投稿しましたが、スキーマを分割していたりすると、そもそも『このテーブル、どこのスキーマだっけ?』となる事がありました。なので、以前の内容を踏まえつつ、若干の手直しを加えたものを備忘録として投稿しておこうと思います。 Amazon Redshift Useful SQL: VACUUM処理が必要なテーブルを洗い出す | Developers.IO 手直し版が以下SQL。svv_table_infoテーブルからスキーマの情報を参照して、併せて出しています。

    Amazon Redshift: VACUUM処理が必要なテーブルを改めて洗い出す | DevelopersIO
    girled
    girled 2017/10/24
    毎日DigdagでRedshiftにテーブル作りまくってるのでVacuumメンテもこのクエリ使ってDigdagタスクで自動化。ストレージミニマリスト。
  • 1