タグ

ブックマーク / www.gixo.jp (2)

  • Apache Airflow でタスクスケジューリングしてみた ~公式ドキュメントの読み解き方~ - GiXo Ltd.

    Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう!」っと思ってもAirflow公式ドキュメントは英語、かつ専門的過ぎて難解かもしれません。たぶん、はじめてタスクスケジューラーを触る人にとっては、頭から順に読んでいっても分からないと思います。そのため「公式ドキュメントの読み解き方」について、私なりの考えをご紹介します。 とりあえずチュートリアルまでやろう 前回でもご説明しましたが、AirflowのタスクスケジューリングはPythonプログラミングで行いますが、Pythonプログラミングスキルが殆どなくてもできます。ただ、Bashシェルを順に呼ぶだけのバッチであれば、Pythonの条件式(if)やループ(for)などの記述は必要ありません。それを信じで

    Apache Airflow でタスクスケジューリングしてみた ~公式ドキュメントの読み解き方~ - GiXo Ltd.
    endor
    endor 2019/09/24
  • Amazon Redshift Spectrum を使ってみた ~Redshift Spectrum は Redshift のデータレイクの入り口になる~ - GiXo Ltd.

    Amazon Redshift Spectrum を使ってみた ~Redshift Spectrum は Redshift のデータレイクの入り口になる~ Amazon Redshift Spectrum によってデータ分析の業務フローが変わる 先日、サンフランシスコで開催された AWS Summit 2017(2017.4.18 – 19)で Amazon Redshift(以下、Redshift) の新機能な発表がありました。Redshift は、データウェアハウス 用のデータベースとして大量データを素早く、そして通常のデータベースと変わらない感覚で使えることから、2012年11月のリリースから多くの企業で使われてきました。そして、ここ2年ほどは大規模なアップデートはなく、成熟したサービスでは?っと思ってました。今回発表された Amazon Redshift Spectrum は、その

    Amazon Redshift Spectrum を使ってみた ~Redshift Spectrum は Redshift のデータレイクの入り口になる~ - GiXo Ltd.
  • 1