Twitter、数万台のHadoopクラスタとコールドストレージをGoogle Cloud Platformへ移行すると発表 － Publickey

Twitter、数万台のHadoopクラスタとコールドストレージをGoogle Cloud Platformへ移行すると発表 Twitterは、自社で運営している大規模なHadoopクラスタをGoogle Cloud Platformへ移行すると発表しました。 A new collaboration with Google Cloud - Twitter Twitterは基本的に自社でデータセンターを保有し運用してきました。2017年1月にTwitterのブログに投稿された記事「The Infrastructure Behind Twitter: Scale」によると、Twitterのデータセンターは5つの大陸にあり、合わせて数十万台のサーバが運用されています。 同社が運用しているHadoopクラスタは世界最大級の規模として、以下のように説明されています。 Hadoop: We have

[koyhoge]

インフラ基盤だけGCPに移すのか、Hadoop環境をDataprocに移行するのか気になる。

[khei-fuji]

気になった記事。/ Twitter、数万台のHadoopクラスタとコールドストレージをGoogle Cloud Platformへ移行すると発表 -

[Nean]

ペタペタ。

[akulog]

やばい規模。。。

[ryo-yamaoka]

Twitterのストレージ、やはり半端じゃない

[Nyoho]

Twitter社、ものすごい大規模なデータを持っているのをGoogleに移行するのか。処理も大変そうじゃわ。

[thaim]

ある程度のデータ量ならクラウドよりオンプレの方がいいかと思っていたけど。この規模になると逆に対応できない、みたいな事なのかしら

[nabeop]

“前述の500PBのうちコールドストレージが300PBとなるのかもしれません。” 500 とか 300 とか関係無く、このサイズのデータを扱えているというのがスゴイ...

[rlho]

300PBって… 300PBって…！やばい…！

[ono_matope]

ほえー

[pullphone]

hadoop クラスタ、めっちゃ玄人な人以外が手を出すとかなり厳しいので、せめてインフラ部分は外に出したい（ぶっちゃけTreasureDataとか使った方が良い）

[kamezo]

５つの大陸に数十万台のサーバまではわかった。500PB？　PBってなに？　ペタバイト？　テラバイトの1024倍？　じゃあ500PBって50万テラバイト？＠＠

[touka_tt]

300PBのデータ移行ヤバすぎる

[koyancya]

300,000TB やばい......

[nabeen919]

規模感: Twitter、数万台のHadoopクラスタとコールドストレージをGoogle Cloud Platformへ移行すると発表 － Publickey:

[joker1007]

データ量半端ねえな……。dropboxは確かクラウドから剥がしたんだっけ。こういう流れもあるんだな。

[withnic]

GCS +Dataproc?

[den8]

他にも言及している人がいるけど、DataprocでやるかGCEで構築するかでだいぶ話が違う。おそらく後者なんじゃないか？

[karumado]

データ量が桁違いだな。

[koba789]

マジビッグ

[albacore]

お、GCP

[InoHiro]

500PBすごい...