ECS Scheduled Taskの管理をecscheduleでGitOps化しました - コネヒト開発者ブログ
こんにちは。コネヒトのテクノロジー推進グループでインフラエンジニアをしている laughk です。 今回は定期実行バッチで利用しているECS Schedule Taskの管理に Songmu/ecschedule を導入し、GitOps化した話をまとめます。 サマリ ecscheduleを導入する前の定期実行バッチの管理状況と課題 技術選定 - ecshceduleを選定した理由 導入プロセス GitOps化 導入後どうなったか ecscheduleを導入する前の定期実行バッチの管理状況と課題 コネヒトでは提供するサービスのWeb基盤にAmazon ECSをフル活用しており、定期実行バッチにおいてもECS Scheduled Taskを利用しています。ECS Scheduled TaskはECS Taskを cron のように定期実行でき、とても便利なものです。一方でその管理においては利用
Pythonでいい感じにバッチを作ってみる - prefectをはじめよう - JX通信社エンジニアブログ
JX通信社シニア・エンジニアで, プロダクトチームのデータ活用とデータサイエンスのあれこれ頑張ってるマン, @shinyorke（しんよーく）です. 最近ハマってるかつ毎朝の日課は「リングフィットアドベンチャー*1で汗を流してからの朝食」です. 35日連続続いています. 話は遡ること今年の7月末になりますが, JX通信社のデータ基盤の紹介&「ETLとかバッチってどのFW/ライブラリ使えばいいのさ🤔」というクエスチョンに応えるため, このようなエントリーを公開しました. tech.jxpress.net このエントリー, 多くの方から反響をいただき執筆してよかったです, 読んでくださった方ありがとうございます！ まだお読みでない方はこのエントリーを読み進める前に流して読んでもらえると良いかも知れません. 上記のエントリーの最後で, 次はprefect編で会いましょう. という挨拶で締めさせ
メルペイにおける大規模バッチ処理 | メルカリエンジニアリング
この記事は MERPAY TECH OPENNESS MONTH の 13日目の記事です。 こんにちは、メルペイ ソフトウェアエンジニアの laughngman7743 です。 メルペイではマイクロサービスにおけるデータストアのデータや、アプリケーションのログを有効活用できるような基盤づくりをデータプラットフォームチームとして行っています。 データプラットフォームではラムダアーキテクチャに基づき、スピードレイヤとして Cloud PubSub と Cloud Dataflow を利用した仕組みに加え、バッチレイヤとして Cloud Composer と Cloud Dataflow を利用した仕組みを構築しています。 この記事ではバッチレイヤのアーキテクチャについてご紹介します。 スピードレイヤのアーキテクチャについては 「GCPでStreamなデータパイプライン始めました」 を参照くださ
商用サービスのサーバーレス構築は「すごく大変」、リクルートLSが語る (1/3)
「じゃらんnet」の新サービスを支える機械学習基盤の構築 同セッションで取り上げられたシステムは、リクルートLSの新サービス「トリップAIコンシェルジュ」を支えるバックエンドシステムだ。セッションではまずリクルートLSの山田氏が、新サービスの背景やシステム要件などを説明した。 リクルートLSでは今年6月、旅行予約サイト「じゃらんnet」に情報を掲載する宿泊施設向けの新サービスとして、このトリップAIコンシェルジュを発表した。現在は一部宿泊施設がテスト運用を開始しており、正式リリースは2018年春の予定だ。 トリップAIコンシェルジュは、じゃらんnetの予約完了画面に追加されるチャットボットサービスである。予約客からのさまざまな問い合わせに対し、宿泊施設スタッフに代わってAIが自動で、かつ即座に回答することで、予約客へのサービス品質を向上させると同時に、宿泊施設スタッフの業務負担を軽減する狙
CodeBuildでサーバレスバッチ環境を運用する - Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)
この記事は Akatsuki Advent Calendar 2018 の15日目の記事です。 前回は sejimhpさんの、環境改善の必要性〜真っ白な Terminal から tmux へ移行〜 でした。 はじめに システムを運用する上で、安価で運用負荷の少ないバッチ処理を設計したいニーズは多いと思います。そもそもバッチ処理自体を極力除外したいのですが、日々の運用ツールなども含めると、どうしても実装しなければならない場面が出てきます。 本記事では 安く サーバレスで 並列性高く スケジューラでもイベントドリブンでも 実行できる、AWS上でのバッチ環境の実装の話をしたいと思います。 よくあるAWSのバッチ処理のアーキテクチャパターン AWSのバッチ処理のアーキテクチャパターンは Best Practice for Online Game Development on AWS が詳しいです。
Healthchecksで定期実行ジョブの着火もれを検出する - 続 カッコの付け方
日次でも月次でも、まず殆どのシステムで何かしらのバッチジョブというものを動かしていると思いますが、 そのバッチが確かに実行された ことを保証・監視することは結構難しいです。ジョブが起動しましたのタイミングでログを書き、終わってもログを書くとすれば、ジョブが成功したか失敗したかはわかりますが、そもそもジョブが着火すらしかなったはわかりません。*1 例えば、「このジョブが終わるとここにファイルが出ているはずだ！このDBのレコードが更新されているはずだ！」などと、そのジョブ固有の結果を観測して判定することはできますが、汎用的な手法ではありません。 私は詳しくはないですが、商用のジョブ管理ツールはそれぐらいは見てくれるのかもしれませんが、もっと簡単にこれを実現できます、しかも今風に。 Healthcheckesとは ググりにくく、ネーミングセンスとしては最悪ですが、上記に挙げたような機能を実現する
【新サービス】AWS BatchがGA(一般利用開始)になったので使ってみた | DevelopersIO
こんにちは、せーのです。今日は本日よりGAになった新サービス「AWS Batch」を使ってみたいと思います。 AWS Batch クラウド上で特定のバッチ処理を流したい場合、最初に考えるのはEC2を立ち上げてバッチを書いてcronあたりにセットする方法でしょう。もう少しAWSに詳しくなるとLambdaを使ってサーバレスにバッチを流すことを考えるかもしれません。ただLambdaでは処理時間5分を超えるような大規模なバッチは流せません。いくつかのバッチをフローとして次々流すのであればSWF(Amazon Simple Workflow)というサービスもあったりするのですが、こちらはとにかく仕組みを覚えるのが大変です（経験者談）。どのサービスも一長一短、ちょうどいい感じのものはないものか、という要望に答えるのがこの「AWS Batch」となります。 AWS BatchとはAWSフルマネージドなB
Treasure Data Service と Redshift のハイブリッドアーキテクチャ - トレジャーデータ（Treasure Data）ブログ
*トレジャーデータはデータ収集、保存、分析のためのエンドツーエンドでサポートされたクラウドサービスです。 Treasure Data Service はそれ自身がデータの収集から可視化までの一気通貫したサービスですが，他の様々なサービスと連携することによって各々の分析ニーズにマッチしたアーキテクチャを構成することができます。今回は Amazon Redshift とのハイブリッドアーキテクチャ等の具体的なケースを見て，視野を広めていきましょう。 バッチ処理 Treasure Data Service は標準ではHiveQLによってクラウドストレージに集計処理を実行することができるのですがこれはいわゆる「バッチ処理」という分類で，スケジューリングされたクエリが定時的にバックエンドで集計されるものです。 以前紹介したダッシュボード（上図）：MetricInsights などでは独立したウィジェ
JobSchedulerの機能と設定～基礎編
JobSchedulerの機能と設定～基礎編：OSS「JobScheduler」で実現するこれからの運用自動化（1）（1/2 ページ） 本連載では運用管理の一要素である「バッチジョブ管理」に着目し、より効率よいバッチジョブ管理を実現するためのツールであるオープンソースの「JobScheduler」について解説します。 はじめに サーバ仮想化やクラウドの浸透により、システム環境はますます複雑化しています。このような中、近年ではDevOpsに代表されるとおり、迅速にサービス提供を実施するために効率よい開発や運用を実施することが求められています。 本連載では運用管理の一要素である「バッチジョブ管理」に着目し、効率よいバッチジョブ管理を実現するためのツールであるオープンソースのソフトウェア「JobScheduler」について解説します。 ※以降、本編の中で記載する「ジョブ」は「バッチ形式で実行する
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
