タグ

batchに関するMukeのブックマーク (2)

  • データ分析部が開発・運用するバッチ アプリケーション事情 - Gunosyデータ分析ブログ

    はじめに こんにちは、データ分析部の森です。 この記事ではGunosyデータ分析部がどのような視点に基づいてバッチアプリケーション(以下、バッチ)を開発・運用しているかしているのかを紹介します。 クライアントアプリ開発やAPI開発と比較してバッチ開発のノウハウなどをまとめたWeb記事の数は少なく感じます。 また、言語に関わらずWebフレームワークの数に対して、バッチフレームワークの数も少数です。 このような点を踏まえると一般的には難易度の高くない(ノウハウを必要としない、フレームワークに頼る必要のない)、もしくはニーズがあまりないなどの印象があるのかもしれません。 一方で我々は日々バッチ開発を行い、数多くの地雷を踏んできました。 これらの経験を踏まえてどのような点に気をつけているのかについて共有します。 理想的には多くの方の経験を共有して、建設的な議論に発展するとうれしいです。 はじめに

    データ分析部が開発・運用するバッチ アプリケーション事情 - Gunosyデータ分析ブログ
  • GCPからAWSへ移行しKuroko2はAWS Batchにした - hatappi.blog

    2017/07/15にGCPからAWSへ移行した理由を記載しました 数週間かけて少しづつやってきた自宅サービスのGCPからのAWS移行がすべて完了した まずGCPからAWSへ移行した理由としてはいくつかあるのですが、一番は会社で使用するインフラ環境がGCPからAWSに移ったので 個人も変えようという理由です 今まではアプリケーションはRailsで作成されており定期的なバッチ処理はKuroko2でスケージューリングして処理していた これを下記のようなインフラ構成に変更した Railsに関してはDocker上で動かせるようにして動作環境でAWS Elastic Beanstalkを使用している リクエストにはAWS Certificate Managerで証明書を無料で発行してhttpsでリクエストを出来るようにしている またコストを抑えるためにEBやRDSは自動停止・自動起動が出来るようにし

    GCPからAWSへ移行しKuroko2はAWS Batchにした - hatappi.blog
  • 1