メンテナンス・障害情報・機能追加｜さくらインターネット公式サポートサイト

2017年09月09日 障 害 発 生 の お 知 ら せ さくらインターネット株式会社 平素よりさくらインターネットをご利用いただき、誠にありがとうございます。 9月9日より、ご提供サービスにおきまして、以下の通り障害が発生いたしました が、収束いたしました。 ご利用中のお客様には大変ご迷惑をおかけいたしましたことを深くお詫び申し上 げます。 障害が収束いたしましたので、本障害について報告書として下記にご説明いたし ます。 ＜ 記 ＞ 発生日時 : 2017年9月9日10時27分 影響範囲 : さくらのクラウド（オブジェクトストレージ） 障害内容 : バケットに接続しにくくなる障害が発生いたしました --------------------------------------------------------------------- 2017年10月11日 さくらのクラウドサービスに

[tagomoris]

あああ、ラック間でのノード数不均衡と rack awareness の合わせ技かー……

[bata64]

さくらのクラウドのストレージは、OracleのZFSストレージでトラブったから内製してたのでは無かったかな。ともあれ中の人はご苦労様です。。。

[efcl]

さくらのクラウドのオブジェクトストレージの障害報告書。障害復旧まで約1ヶ月。 システムの高負荷を避けるための対応、システムログの分析などで長期化

[k_enoki]

お疲れ様でした…

[ono_matope]

Amplidataかな。めっちゃわかる。昔Cassandraで似たようなことやった。

[yosida95]

40ノードが保持するデータの33%を2ノードにリバランスしたら溢れることはやる前に予想できるのでは。そして基本的な監視が入っていればストレージが枯渇したことももう少し早く気づきそうな……。

[smbd]

オブジェクトストレージ怖い(白目

[halfrack]

分散ストレージのレプリケーションアルゴリズムに関わる設定ミスという感想。私の扱う規模だとノード冗長より複雑なのは手に負えないので無効にしてる。

[causeless]

"@tagomoris あああ、ラック間でのノード数不均衡と rack awareness の合わせ技かー…… / “メンテナンス・障害情報・機能追加｜さくらインターネット公式サポートサイ…" via https://twitter.com/tagomoris/status/918101413921660928

[yhanada00]

"増設するノードが既存とは異なる機種であったため、各ノードの消費電力やラックの積載重量を考慮し、1ラック18台までの収容とし、残りの2台はラックDへ収容することといたしました"あるある。

[albacore]

長い戦いだった...

[sora_h]

詳報でてたけどうーん

[hazeblog]

ひえ…9日から障害続きっ放し…

[at_yasu]

つらそう

[su_zu_ki_1010]

中の人はローテーションでちゃんと休息を取れているのかが気になる。睡眠不足だとコマンドを打つ手もおそろかになって不要な別の障害を起こしかねない。

[celitan]

辛い

[uraway]

大変そう

[t-cyrill]

ずっとメンテ、10日経ってて大変そう。さくらさんのオブストはSwiftなのかな。

[sucrose]

無限にコピペが続きそう

[ya--mada]

なにこれ？本気で原因わかってないの？という障害報告じゃないか。ホントの事が言えないとか。/物理配置の話まで出てきた。ツラい。

[dk19810313]

s3から移行する提案しかけてたけど、やんなくてよかった。