タグ

2023年9月7日のブックマーク (1件)

  • Yahoo! Japanの大規模データウェアハウスを支えるテラデータの技術

    テラデータの大規模なデータウェアハウスとHadoopのデータレイクを併用 多くのユーザーがサービスを利用することで、Yahoo! Japanでは日々膨大なデータが生まれている。Webサイトやアプリケーションには1日に約610億ものリクエストが発生、そこから日々125テラバイトを越えるデータが生成される。これらユーザーのアクセスから生まれる大量データは、当然ながらYahoo! Japanのビジネスを最適化し、利用者の利便性の向上に使われる。 Yahoo! Japanがデータウェアハウスを構築したのは、2002年のことだった。当時のデータ量は6テラバイトほど、分析スキルの高いユーザーにのみアドホック分析の環境が公開された。 その後、Yahoo! Japanのデータウェアハウスは徐々に成長する。2016年には扱うデータ量は1.7ペタバイトにまで拡大、ユーザーからのデータ処理リクエストは、1日に3

    Yahoo! Japanの大規模データウェアハウスを支えるテラデータの技術
    tgk
    tgk 2023/09/07
    「2018年には、データウェアハウスは3.3ペタバイト規模に拡大、1日当たりのクエリー数は100万を超える」