make は強いタスクランナーだった。Lambda Function のライフサイクルを Makefile でまわす | DevelopersIO
Lambda Function のローカル開発を考察したとき に、不十分だったタスクランナーの導入を今回やりました。make についての細かい解説は本稿では行いません。Lambda Function 開発の要件を満たすためにタスクランナーとしてどのような Makefile の書き方があるかを示します。 Lambda Function をテストし、デプロイするためのツールはありますが、 複数の Function を全部プロイしたり 逆にひとまとまりの Lambda だけデプロイしたり 環境を指定してデプロイしたり ということを考えると工夫が必要になります。そこで登場するのがタスクランナーです。たくさんのタスクランナーが候補としてあり、一長一短あるところ、make が要件を満たすのではないかということで Makefile を書いていきます。ちなみに私自身これまで Makefile を書いたこと
ZendeskのチケットデータをAmazon Elasticsearch Serviceへ自動的にアップロードする | DevelopersIO
はじめに 前回のブログでPythonを使用してZendeskのチケット内容を取得することができました。 PythonでZendeskのチケットを取得する 今回は取得したデータをAmazon Elasticsearch Serviceへ自動的にアップロードする方法をご紹介します。 前提 Amazon Elasticsearch ServiceはAmazon VPCプライベートサブネットに作成 Amazon API Gateway経由でAWS Lambdaを実行させる Zendeskの自動化とwebhookでAmazon Elasticsearch Serviceへデータを入れるまでを自動化する Amazon Elasticsearch Serviceへ入れるデータスキーマ { "ticket_id": 12345, "url": "https://subdomain.zendesk.com/
EMRのステップ実行でPySparkを使ってRedshiftに出力する | DevelopersIO
こんにちは、小澤です。 Sparkにはspark-redshiftというライブラリがあります。 GitHub - databricks/spark-redshift: Redshift data source for Spark 今回は、このライブラリを使って、EMRのステップ実行からPySparkを呼び出して、Redshiftに結果を出力する方法を解説します。 SparkのDataFrameとデータベース SparkのDataFrameは入出力としてHDFSなどに置かれているファイルやHiveのメタストアを利用するの他にデータベースの利用も可能です。 これは適切にドライバの設定を行えば、入出力先としてRedshiftも利用可能であるということになります。 それを補助してくれるライブラリがspark-redshiftになります。 PySparkからの利用方法 必要なライブラリとEMRのバー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
