CloudFormationの管理を楽にする - Speee DEVELOPER BLOG
娘にぞっこんアラサーエンジニアのpataijiです。 アラサーという言葉を初めて自分に使ったのでドキドキしています。 先日開催されたSpeeeKaigi#3 でCloudFormationのテンプレート管理をなんとかする、「Cloudruler」を紹介しました。 ↓ SpeeeKaigi#3 についてはこちら tech.speee.jp 当日のスライド speakerdeck.com CloudFormationを使用している方にはそれなりに共感いただけると思うのですが、テンプレートファイルの管理ってかなり大変じゃないですか？ 最近では、SAMのおかげで簡単にサーバーレスアプリケーションを作ることが出来るようになりましたが、VPC、EC2、RDS等をCloudFormationで管理する大変さは変わりません。 テンプレートをYAMLで書けるようになり、JSONしか対応していなかった頃と比べ
Kinesis Firehose、Athena、QuickSightを利用したデータ集積基盤の構築 - Speee DEVELOPER BLOG
Speee開発基盤部、兼ヌリカエエンジニアの森岡です。 2017年6月2日に行われたJAWS-UG勉強会【AWS Summit Tokyo 2017】にて、弊社Speeeより hatappi と私が発表させて頂きました。 私が発表した内容はKinesis Firehose, Athena, QuickSightを使って、データ集積基盤を作る。というものです。スライドはこちらになります。 speakerdeck.com 今回は、この発表内容について、補足情報を追加してお話をさせて頂きます。 Kinesis Firehose、Athena、QuickSightを利用したデータ可視化ツールの１つの実装例として見て頂ければと思います。 最初に 弊社Speeeでは、ヌリカエという外壁塗装の一括見積もりサービスを運用しています。 外壁塗装を望まれているお客様にヒアリングを行い、お客様の状況に合わせて適
Airflowによるデータパイプラインのスケジュールとモニタリング - Speee DEVELOPER BLOG
こんにちは！WEBマーケティング事業部エンジニアの@hatappiです。 現在私のプロジェクトでデータパイプラインのスケジュールとモニタリングをAirflowというオープンソースのツールを使用して運用しています。 今回は導入や使い勝手の話です。 Airflowとは？ airbnbがオープンソースで開発したワークフロー管理プラットフォームです。 ※ 現在はApache Incubatorのオープンソースプロジェクトになっています。 Airflowはバッチ同士の関係を管理し、可視化することが出来ます。 また、実行した際のLogや実行時間の推移など、様々なデータの閲覧をデフォルトの機能として使用することが出来ます。 データパイプラインとは？ プロジェクトを運用していると、複数のテーブルにデータが入っており、それらのサマリーを作成するといった経験をしたことはありませんか？ これらの一連のプロセスの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
