EC2とcronで動いていたバッチ基盤をマネージド化した - Uzabase for Engineers
概要 ソーシャル経済メディア「NewsPicks」SREチームの中川です。 皆さんはバッチ処理基盤はどうされていますでしょうか。 NewsPicks では少し前まではそれらをEC2、cronの組み合わせで動作させていました。 何年も前からこの仕組みだったのですがSREとしてはEC2の面倒見るのも手間ですし、それ以上にcronを変更する際のオペレーションミスが目立ったのが懸念点でした。 その為、まずはAWSマネージド化するための基盤を整備し、その後バッチアプリを載せ替えていくようにしました。 対応前の基盤構成 同じSREチームの安藤さんが CloudNative Days Tokyo 2023 で登壇されたときの資料をお借りします。 ご覧の通り、大体のサービスはマネージド化していましたがバッチ基盤だけは旧来のままEC2インスタンスを利用していました。 10年モノのサービスのインフラを漸進的
データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし
こんにちは、id:shallow1729です。最近はインフラ寄りなお仕事をよくやっていますがこれまでにいくつかデータ移行やデータ基盤構築などのバッチ処理のお仕事をしてきました。以前にも一度そういった経験を元に記事を書いたのですが、MySQLやシステムに関する知識が以前よりも増えた今もう一度書き直したいなと思いました。 なので今回はバッチ処理を書く時のテクニック2022版という感じです。今の仕事の関係でMySQLやrailsを前提にしている話が多いですが、おそらく他のデータベースを使っている人にも役に立つ話が多いのではないかと思います。ただ、今回の記事は経験に基づくものが多く、あまりよくないアイデアもあるかもしれません。改善点や間違いなどあればご指摘ください。 冪等性を持つように 冪等性とは端的に言えばある操作を複数回実行しても一回しか実行しなかった時と同じ結果になる性質の事です。長時間かか
Amazon LinuxのEOLに伴いバッチをサーバレス化しFargateに移行した話 - クラウドワークス エンジニアブログ
はじめまして、2020年3月に中途入社したSREチームの @bayashiok です。 今回は入社後、Fargateでサーバレスバッチ基盤を構築した話を書いていきます。 目次 目次 経緯 Fargateを選んだ理由 1. リソースの見積もりがCPU/Memoryだけですむ 2.スケーリングを考えなくて良くなる 3. セキュリティレベルの向上につながり管理負荷が減る 現行システムで発生している問題点の解消 構成 FargateのトリガーとしてRundeckを採用 理由1： バッチ実行が行われる場所でログを見たかった 理由2： ジョブ失敗やSlack通知の仕組み、リトライ方法やジョブ連携などの作り込みを簡単にしたかった ecs-taskとの連携について デプロイ 1. wrapperコンテナのデプロイ 2. バッチのデプロイ Fargateタスク実行について 移行後の総括 よかった点 悪かった
広告配信を支えるバッチ基盤をサーバーレス移行した話（ECS Fargate, Step Functions）@ Serverless Meetup Tokyo #16
Zucks inc. (VOYAGE GROUP inc.) https://serverless.connpass.com/event/165352/ https://youtu.be/dSoIQhobDb8?t=8021
AWSサービスで実現するバッチ実行環境のコンテナ/サーバレス化/ Container service of batch execution environment realized by AWS service
AWS DevDay Tokyo 2019での発表資料です
EC2上のPythonバッチをECSのDigdagに置き換えた話 - Gunosy Tech Blog
広告技術部のUT@mocyutoです。 ついに桜が開花し、やっと春の訪れを感じはじめましたね。 外で気持ちよく飲みたい季節になってきました。 はじめに システム概要 なぜ移行するのか Celeryをやめたい LevelDBをやめたい 移行計画 アーキテクチャ ECS Athena CI/CDフロー Pluginか自前実装か 移行後 よかったこと まとめ はじめに 今回はEC2上のPythonのバッチをECSのDigdagに置き換えた話をします。 システム概要 今回の移行対象は広告配信に関するバッチ処理を行うシステムでした。 役割としては以下のようなものがあります。 広告の配信候補を作成 広告の枠情報を作成 クリックなどのイベントの集計 なぜ移行するのか 大きく分けて以下の２つの理由がありました。 Celeryをやめたい LevelDBをやめたい Celeryをやめたい 今まではバッチにはP
新卒１年目がバッチサーバーにECSを使ってDockerを導入した話 | feedforce Story
こんにちは！株式会社フィードフォース新卒エンジニアの@kielzeです。最近は会社から支給されたMacBookProのTouchBarにsushiを流したりしています。 フィードフォースには新しい技術に積極的に挑戦できるような環境があります。そして、挑戦した結果がよいものであれば、本番環境でもガンガン使われます。 若手も新卒も関係無く、全てのエンジニアがその挑戦権を持っています。 今回は、先輩エンジニアである@tsubさんが、当時新卒1年目で社内で使われているバッチサーバーのDocker化に挑戦した話をしようと思います。 ちなみにtsubさんはとても知識が豊富で何を聞いても答えてくれるので、とても頼もしい先輩です！ Dockerを導入した経緯フィードフォースでは、データフィードマネージメントサービス「DF PLUS」を提供しています。 このサービスの裏側では、お客様から頂いた商品データなど
AWS Batch – AWSでバッチ処理ジョブを実行する | Amazon Web Services
Amazon Web Services ブログ AWS Batch – AWSでバッチ処理ジョブを実行する 私は1978年秋に大学に入学しました。モンゴメリー・カレッジのコンピュータ・サイエンス部門は、強力な（当時の）IBM 370/168メインフレームを中心に構築されました。 Keypunchマシンを使用してカードデッキを準備する方法、実際のコードの前にジョブの名前と優先順位を設定し、FORTRAN、COBOL、またはPL / Iコンパイラを呼び出す暗黙のジョブ制御言語（JCL） 。デッキを提出ウィンドウに持ってきて、ジョブIDと引き換えにオペレーターに渡してから、数時間後に戻って印刷出力とカードデッキを回収します。私はその印刷物を慎重に研究しましたが、仕事に就いて数時間を待ってから、実際の稼動時間はほんの数秒であったことに気付いていました。仲間の学生と私がすぐに学んだように、学校のIT
【ハウツー】ゼロからはじめるバッチプログラミング - 反復処理編 (1) 大量ファイルの一括処理 | パソコン | マイコミジャーナル
大量のファイルを処理する 前回、コマンドを用いてファイルやディレクトリを操作する方法を説明しましたが、多くの場合、バッチファイルの処理で期待するのは個々のファイル処理ではなく、人の手では面倒な大量のファイルの処理でしょう。たとえば、ファイル名を一定の規則で並べ変えたり、拡張子を変換するといった目的が考えられます。 こうした、複数の対象に対して同一のコマンドを連続的に実行するにはforコマンドを使います。forコマンドは、指定した複数のファイルや値、文字列を順にコマンドで処理します。 for %変数 in (セット) do コマンド for %%変数 in (セット) do コマンド forコマンド名の直後の % 記号に続く変数は、連続する処理で現在の処理対象となっている文字列を格納します。この変数をコマンドで利用することで、大量のファイルなどを順に同じコマンドを用いて処理できます。forコ
【ハウツー】ゼロからはじめるバッチプログラミング - 環境変数編 (1) バッチプログラミングと環境変数 | パソコン | マイコミジャーナル
環境変数とは バッチファイルは、事前に用意されているコマンドやアプリケーションを、あらかじめ記述したコマンドの手順に従って実行することが主な役割ですが、状況に依存した条件を処理に組み込みたい場合は、内容が複雑になり、プログラミングのような構造的な流れが発生します。このような、状況に依存して実行するコマンドや値を選択しなければならないバッチ処理を実現するには、利用者との対話やコマンドの結果なる値などをバッチファイルの実行時に取得しなければなりません。 バッチファイルの記述時ではなく、実行時に何らかの値を得るには、その値を保存する方法が必要になります。バッチファイルに直接記述された整数や文字列は、何度実行してもその値が変化することはありません。これに対して、実行時に状況に従って渡される環境変数と呼ばれる動的な情報があります。環境変数は、一般的なプログラミング言語における変数のようなもので、あら
【ハウツー】ゼロからはじめるバッチプログラミング - 装飾編 (1) タイトルの変更 | パソコン | マイコミジャーナル
バッチ処理のためのコマンド コマンドプロンプトから、キーボードで直接コマンドを入力するスタイルでは滅多に使われないコマンドがいくつかあります。入力したパラメータを、そのまま表示するechoコマンドなどもその1つですが、コマンドプロンプトのタイトルバーのテキストを変更したり、テキストの色を変更したりするコマンドも用意されています。こうしたコマンドは、バッチファイルで使用することで、バッチ処理のちょっとした演出などに応用できます。本質的な処理の役には立ちませんが、知っておけば味付け程度にはなるはずです バッチファイルの作り方については、「ゼロからはじめるバッチプログラミング - コマンドの魅力を再確認」のバッチファイルの項を参照してください。 タイトルの変更 コマンドプロンプトのウィンドウのタイトルバーに表示されている「コマンド プロンプト」というタイトルをtitleコマンドで変更できます。バ
鉄板焼きのお店から学ぶ、バッチ処理“超”入門
鉄板焼きのお店から学ぶ、バッチ処理“超”入門：Javaバッチ処理は本当に業務で“使える”の？（1）（1/2 ページ） バッチ処理を知っている人も知らない人でも 多くの業務システムでは、ユーザーと直接対話処理を行う「オンライン処理」とは別に、バッチ処理が裏方としてシステムを支えています。しかし、裏方としての活躍であるせいか、Webアプリケーションなどのオンライン処理と比較して、表立って取り上げられることが少なく、公開されているノウハウも少ないのが現状です。 本連載では4回にわたって、バッチ処理についてその特徴をまとめ、最近話題になっているJava言語で開発するバッチアプリケーションについて解説します。連載の中では、Javaバッチアプリケーションを実際に体験するために、オープンソースのJavaバッチアプリケーションフレームワークの1つである「TERASOLUNA Batch Framework
Javaでバッチ処理を行うフレームワーク，NTTデータがオープンソースとして公開
NTTデータは2008年1月29日，Javaでバッチ処理を行うためのフレームワーク「TERASOLUNA Batch Framework for Java」をオープンソース・ソフトウエアとして公開した。同時にSpring Frameworkをベースにした「TERASOLUNA Server Framework for Java（Web版）」も公開。2007年11月に公開した「TERASOLUNAフレームワーク」の第２弾となる。 「TERASOLUNA Batch Framework for Java」はトランザクション・モデル，入出力種別，異常系処理のに対応した処理モデルを提供する。「NTTデータのJavaバッチ処理のノウハウを結集した」(NTTデータ)。 「TERASOLUNA Server Framework for Java（Rich版）」は，オープンソースのJavaフレームワークS
バッチ処理はJavaでバッチリ？その現状とこれから
「Java News.jp（Javaに関する最新ニュース）」の安藤幸央氏が、CoolなプログラミングのためのノウハウやTIPS、筆者の経験などを「Rundown」（駆け足の要点説明）でお届けします。（編集部） バッチ処理の変遷 Javaの登場以来、ホストコンピュータ、専用サーバなどで動いていた数多くのレガシー（既存資産）システムが、Java環境へ移行してきました。Web上のオンラインアプリケーションにおいては、特にJavaの活躍の場が増えたといってもよいでしょう。 その中でも移行が遅れており、旧来のマシン環境、旧来の言語での利用が続いてきたものに「バッチ処理」が挙げられます。 ■そもそも「バッチ処理」とは何か？ ここでいうバッチ処理はWindowsのバッチファイル（.bat）を示すのではありません。大量のトランザクションデータを扱い、大量のデータを順次処理することを示します。 また、バッチ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSがAWS Fargateのバッチサポートを導入
Spring Batch: バッチとオフライン処理の簡単な開発