タグ

2019年7月4日のブックマーク (2件)

  • Apache Sparkコミッターが教える、Spark SQLの詳しい仕組みとパフォーマンスチューニング Part2

    2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリングに関する技術の情報を共有するイベント。データエンジニアリングの最前線で活躍するエンジニアたちが集い、自身の知見を共有します。プレゼンテーション「Deep Dive into Spark SQL with Advanced Performance Tuning」に登壇したのは、Databricks Inc.の上新卓也氏。講演資料はこちら Optimizer 上新卓也氏:これでLogical Planにキャッシュを使うプランが含まれてきたので、その次の処理としてはOptimizerですね。 これは今までプランの書き換えなどはやってこなかったんですが、ここからプランをガシガシと

    Apache Sparkコミッターが教える、Spark SQLの詳しい仕組みとパフォーマンスチューニング Part2
    msykt
    msykt 2019/07/04
    Spark SQL が生成するコード、どんなものなのか興味ある
  • コンテナの導入は構築やテスト/検証から本番運用への移行で足止めされている状況――IDCがユーザー調査

    Kubernetesがコンテナオーケストレーションツールのデファクトスタンダードを確立 参考資料:Dockerコンテナの導入状況に関するユーザー調査結果・調査年別(作成:IDC Japan) コンテナの導入状況について調査した結果、番環境で使用している企業は9.2%となり、2018年調査からの上昇率は1.3ポイントにとどまった。さらに導入構築/テスト/検証段階にある企業は16.7%となり、これも2018年調査からわずかな上昇となった。 この結果から、Dockerコンテナは導入構築やテスト/検証に時間を要し、番運用になかなか移れていない状況にあると考えられる。また、使用を計画、検討している企業と情報収集や調査を行っている企業の割合が2018年調査からやや低下している。 この傾向は、導入意向のある企業とそうでない企業がはっきりしてきており、具体的な導入に向けた検討や調査の段階に移ってきてい

    コンテナの導入は構築やテスト/検証から本番運用への移行で足止めされている状況――IDCがユーザー調査
    msykt
    msykt 2019/07/04
    “また、使用を計画、検討している企業と情報収集や調査を行っている企業の割合が2018年調査からやや低下している。”