はてなブックマーク

tl;dr SQLiteのOLAP版だよ OLAP系のクエリにおいて、PandasやSQLiteより早いらしいよ CSV・Parquet・Pandas DataFrameの読み書きできて便利だよ 背景 ポジション・競合 一言で言うとSQLiteのOLAP版です。位置づけとしては、論文(DuckDB: an Embeddable Analytical Database (SIGMOD 2019 Demo))記載のSystem Landscapeがわかりやすいです。 （DuckDB: an Embeddable Analytical Database (SIGMOD 2019 Demo)より） このLandscapeでは、データベースを Standalone（クライアント・サーバモデル）か、組み込み（シングルマシン・インプロセス）か OLTPかOLAPか の二軸に分割しています。その上で、 ク

クリスマスも年の瀬も近づいていますが、新年来てほしくないですよね？明日も来てほしくないですよね？時の進みをDeferしたいですよね？ Airflowのドキュメント見ていたら、"Defer"という魅力的なキーワードを見つけたので調べてみました。 tl;dr 2.2でDeferrable Operatorというのが出たよ 2.0で登場したSmart Sensorを置き換えるよ Pythonの非同期IOの仕組みを使い、Workerではない場所(Triggerer)で処理を待つよ 使えるOperatorはまだ少ないよ AWS/GCPのmanaged Airflowでは使えないよ。Astrnomerか自前の環境か必要だよ 登場の背景 Deferrable Operatorですが、基本的にはSensorを改善するものです。 （ただし、外部リソースにアクセスするOperator全般に使えるらしい） その

※具体的なアンケートの質問は不明？ この記事 ↑の上位20製品について、簡単に調べてみました。 私がよく知らない製品（Flyteとか）、みんな知っているだろう製品（Sparkとか）は記載薄めです。 なお、私の知識は 知っている Apache Airflow, Trino, Prefect, Apache Spark, Amundsen, Apache Flink, Apache Kafka,Apache Duid, pandas 名前だけ知っている dbt, Apache Pinot, Apache SuperSet, Great Expectations, Dask, Apache Arrow, Apache Gobblin 知らない Dagster, Flyte, RudderStack, Ray な感じです。 目次 dbt Apache Airflow Apache Superset