ZendeskのチケットデータをAmazon Elasticsearch Serviceへ自動的にアップロードする | DevelopersIO
はじめに 前回のブログでPythonを使用してZendeskのチケット内容を取得することができました。 PythonでZendeskのチケットを取得する 今回は取得したデータをAmazon Elasticsearch Serviceへ自動的にアップロードする方法をご紹介します。 前提 Amazon Elasticsearch ServiceはAmazon VPCプライベートサブネットに作成 Amazon API Gateway経由でAWS Lambdaを実行させる Zendeskの自動化とwebhookでAmazon Elasticsearch Serviceへデータを入れるまでを自動化する Amazon Elasticsearch Serviceへ入れるデータスキーマ { "ticket_id": 12345, "url": "https://subdomain.zendesk.com/
EMRのステップ実行でPySparkを使ってRedshiftに出力する | DevelopersIO
こんにちは、小澤です。 Sparkにはspark-redshiftというライブラリがあります。 GitHub - databricks/spark-redshift: Redshift data source for Spark 今回は、このライブラリを使って、EMRのステップ実行からPySparkを呼び出して、Redshiftに結果を出力する方法を解説します。 SparkのDataFrameとデータベース SparkのDataFrameは入出力としてHDFSなどに置かれているファイルやHiveのメタストアを利用するの他にデータベースの利用も可能です。 これは適切にドライバの設定を行えば、入出力先としてRedshiftも利用可能であるということになります。 それを補助してくれるライブラリがspark-redshiftになります。 PySparkからの利用方法 必要なライブラリとEMRのバー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
