AWS Glue for Apache Spark が Google BigQuery 向けネイティブ接続を発表
AWS Glue for Apache Spark が Google BigQuery へのネイティブ接続をサポートするようになりました。これにより、ユーザーは Apache Spark ライブラリ用の BigQuery コネクタをインストールしたり管理したりすることなく、BigQuery からデータを効率的に読み書きできるようになります。ユーザーは、ノーコードのドラッグアンドドロップで使用できる AWS Glue Studio の視覚的なインターフェイス内で BigQuery をソースまたはターゲットとして追加したり、AWS Glue ETL ジョブスクリプトでコネクタを直接使用したりできるようになりました。この新しいコネクタを AWS Glue の ETL (抽出、変換、ロード) 機能と組み合わせると、ETL パイプラインの作成が容易になり、ETL デベロッパーはデータパイプラインの構
How Drop used the Amazon EMR runtime for Apache Spark to halve costs and get results 5.4 times faster | Amazon Web Services
AWS Big Data Blog How Drop used the Amazon EMR runtime for Apache Spark to halve costs and get results 5.4 times faster February 2022 update – When this Blog post was published in June 2020 AWS Glue V1 offered an average starting time of 10 minutes. In September 2020 Glue V2 was released offering 10X faster start times. Because of this the part of this blog post that compares the starting times be
Apache Flink PlaygroundsでApache FlinkとApache Kafkaによるストリーム処理の雰囲気を感じてみた | DevelopersIO
Amazon Kinesis Data Analyticsでは、Apache Flinkをベースとしたストリーム処理が可能です。 Apache Flink PlaygroundsはFlinkの機能を手早く試せる環境をDocker Composeを使って構築できます。 今回はApache Flinkがどういったものなのかを知る為にApache Flink Playgroundsで遊んでみました。 apache/flink-playgrounds: Apache Flink Playgrounds Apache Flink 1.9 Documentation: Flink Operations Playground Apache Flink Apache Flink is an open source platform for distributed stream and batch data
AWSの各サービスを一行で把握する - Qiita
概要 AWSの主要な各サービスを一行でまとめてみました。全てのサービスを網羅しているわけではないです。 AWS認定資格試験テキスト AWS認定 ソリューションアーキテクト-アソシエイトの本の復習がてらです。 読んだら何のサービスか聞かれて答えられるようになるかも。 ちなみにアイコンは公式のAWS アーキテクチャアイコンから取得できます。 ネットワークとコンテンツ配信 全ての始まりはネットワーク構築から。 リージョン・・・AWSがサービスを提供している国と地域のこと。 アベイラビリティーゾーン(AZ)・・・データセンターの集まり。リージョン内に複数のAZが含まれている。 VPC (Virtural Private Cloud) プライベートなネットワークを構成するサービス。ゲートウェイ、サブネット、ルートテーブルなどを利用する。 CloudFront サーバのキャッシュを配信するCDN(Co
AWS Glue ジョブタイプ『Spark』が Apache Spark 2.4.3 と Python 3.6をサポートしました | DevelopersIO
AWS Glue ジョブタイプ『Spark』が Apache Spark 2.4.3 と Python 3.6をサポートしました 本日から Apache Spark 2.4 と Python 3 による『Spark』ジョブを使用してスクリプトを実行できるようになりました。今後はPython 2（Spark 2.2 又は Spark 2.4）と Python 3（Spark 2.4）のいずれかを選択可能になりました。早速確認してみたいと思います。 Spark ジョブ の作成 Configure the job properties 画面の [Type] でSparkを選択すると、[Glue version]でSparkのバージョンと言語を選べるように変わりました。今後のデフォルトは、Spark 2.4, Python 3 (Glue Version 1.0)になります。 組み合わせを見ると、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
