AVATAR製作時、その超巨大データはどのように大陸間転送されたか？ - Wataru's blog

3D映画として現在大ヒットを飛ばしているAVATAR。私の周りでも凄く話題になっていて、IMAXを持つ映画館に近いうちに見に行きたいと思っています。 本日は、AVATAR製作時に使われたITシステムの話を、ご紹介したいと思います。 34ラックという、驚きの超巨大システム AVATARのデータ総容量は、何と、3PB(ペタバイト)!もの大きさだったそうです。毎週、ときには日ごとに数TB(テラバイト)ものデータが出来る上に、それらを色々なフォーマットで保存しなければならないためだそうです。 これだけのデータを処理するために、ITシステムのラック総数は何と34本、そして各ラックには32台のサーバが搭載され、プロセッサ総数は40,000、メモリ合計は104TBに達したそうです。しかも、全てのサーバが10GbEで接続されていたとのこと。 とてつもなく巨大なシステムですね。ここまで来ると小規模なスパコン

[THAL]

これ

[koroharo]

fasp、地味に要注目。

[petronius7]

グラフにあるとおり大陸間を1Gbpsで転送するとしても、3PB転送するのにはぶっ通しで9ヶ月かかる。1日数TBの伝送量だとホントにギリギリ間に合ったって感じなんだな。

[ichan]

次世代シーケンサーのデータでも使えるか

[kirara_397]

栞: AVATAR製作時、その超巨大データはどのように大陸間転送されたか？ - Wataru’s Blog: Aspera社のFASPという製品

[zetamatta]

AVATARのデータ総容量は3PB!/システムのラック総数は34本/撮影スタジオ（ロサンゼルス）とレンダリング会社（ニュージーランド）が遠い!/FTP代替の製品FASPはUDPを使い、アプリケーション層でパケットロスを管理!

[oooooooo]

当初 32PB を FTP で / UDP の FASP で 5 ～ 30 倍のスループット

[katzchang]

映画でのCG製作で、遠隔拠点同士で大量データを扱う話。

[nakanushi]

”AVATARのデータ総容量は、何と、3PB(ペタバイト)!”

[gungle]

通信路の品質があがった今日ではTCP自体がボトルネックになることがある。そのため、大量データはUDPを使うことも視野に入れた方が良い：

[topaz2]

速くなったとはいえ 150Mbps くらいじゃ大陸外に CG スタジオ置くリスクも事前評価した方がいいんでは？

[wataken44]

34 racks, each with 「four chassis」 of 32 machines の部分が抜けてる。34rack * 4Chassis * 32Blade * 2Processor * 4Core = 34816。6Coreとか8Coreとかが混じってるとすると40000くらいか。

[Idios]

FTPに代わる高速データ転送

[uzuki-first]

ネットワークの技術はわからないけど、見ていておもしろい

[yo0511]

一般の現場でこういう苦労が必要な時期に来てる。これだけを取り出しても商売になりそう。

[dealforest]

ITシステムのラック総数は何と34本、そして各ラックには32台のサーバが搭載され、プロセッサ総数は40,000、メモリ合計は104TBに達したそうです。

[kato_pe62]

3PB ものデータを転送していた製品、FASP

[peppers_white]

３PTまでいくと圧縮、解凍もしんどいだろうなあ・・・。HDD速度依存になるし

[blackshadow]

バイオインフォもデータ量増大に悩んでいるので参考になる

[fukken]

AVATARのデータ総容量は3ペタバイト。TCPは遅いので別のプロトコルを使ったとか

[fmht7]

「AVATARのデータ総容量は3PB」「映像データはロサンゼルスからニュージーランドに逐次伝送」「Aspera社のFASPという製品を使用」

[mikage014]

高速通信でUsadaFoxを思い出したがこちらはTCPだった http://internet.watch.impress.co.jp/docs/news/20091127_331925.html

[sakushin_lo]

"FTPの15～30倍のスループットをたたき出した"

[suikyo]

CGIはニュージーランドだったのか

[Tokunious]

データ総容量3PB(ペタバイト)ってスゴすぎ

[syuu1228]

TCPじゃ遅いんだよーとの話らしいRT @takesako: そういえばAVATAR映画の最後のスタッフロールでIT部門の人たちの名前が出てましたね →「AVATAR製作時、その超巨大データはどのように大陸間転送されたか？」

[world_standard]

ｼｽﾃﾑｽﾍﾟｯｸでびびりました。　RT そういえばAVATAR映画の最後のスタッフロールでIT部門の人たちの名前が出てましたね →「AVATAR製作時、その超巨大データはどのように大陸間転送されたか？」

[ShenaMikan]

これはすごい。そしてAVATARのデータが3PBだというのに驚き。やはりフィルム時代が戻ってくるかも。

[TAKESAKO]

そういえばAVATAR映画の最後のスタッフロールでIT部門の人たちの名前が出てましたね →「AVATAR製作時、その超巨大データはどのように大陸間転送されたか？」

[daisukebe]

AsperaのFTP技術。3D技術にばかり目がいきがちだけど。。