600ページを超える書籍である「データ指向アプリケーションデザイン」の要点を最近の話題を交えながら解説します。 Data Engineering Study #18 の発表資料です プレゼンテーション https://www.youtube.com/watch?v=ZiKWXc0fSCw イベントURL https://forkwell.connpass.com/event/269125/ データ指向アプリケーションデザイン https://www.oreilly.co.jp/books/9784873118703/

処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー

すごいタイミングですごい本が出たもんだ。 本日はKubernetes Advent Calendar 2020 その1 向けのエントリー。 本当はCF for k8sの記事を書くつもりだったのだけど、先週盛り上がりまくったDockershimのDeprecated話の後ですごーく良い本が出てきたので、これは紹介せねばということで急遽内容を変更。 jaco.udcp.info CF for k8sの話も途中まで書いちゃっているのでまた日を改めて公開する。 あの神資料が本になったよ ということで今日の話題はこちら。 イラストでわかるDockerとKubernetes Software Design plus 作者:徳永 航平発売日: 2020/12/05メディア: Kindle版 今ではDockerやKubernetesに関する本もだいぶ出揃い、使い方を学ぶのには困らなくなってきた。それに、基

こんにちは。メルペイで、決済・振込申請のバックエンドソフトウェアエンジニアをしている id:koemu です。 今日は、バッチ処理を行う理由について、考察を深めて設計に活かしていく話をしたいと思います。 はじめに バッチ処理とは、ある決まったタイミングで1つのプログラムが複数のデータを 一括処理 することを指します。この反対の言葉として、オンライン処理があります。オンライン処理とは、お客様の操作を初めとしたイベントをもとに 逐次処理 されるものです。OLTP(Online Transaction Processing)とも言います。 本エントリでは、バッチ処理を採用するにあたり、どういったユースケースが適切なのかを整理して、今後のソフトウェアの設計の指針にできることを目指しています。今回は、「バッチ処理を採用するとき」と「バッチ処理の設計」の2つについて取り上げます。 バッチ処理を採用する

Atlassian TEAM TOUR Tokyo 2024 開催決定！組織が進化を続けるためのヒントをお届けします。詳細・お申し込みはこちら

2019/10/16 初心者向けCTFのWeb分野の強化法 CTFのweb分野を勉強しているものの本番でなかなか解けないと悩んでいないでしょうか？そんな悩みを持った方を対象に、私の経験からweb分野の強化法を解説します。 How to strengthen the CTF Web field for beginners !! Although you are studying the CTF web field, are you worried that you can't solve it in production? For those who have such problems, I will explain how to strengthen the web field based on my experience. (study group) https://yahoo-osa

Now that “everyone” is doing ABM, the focus is shifting from how to get started to optimizing performance and results. The recent study from ITSMA and the ABM Leadership Alliance highlights the growing maturity of ABM as a strategic marketing discipline, and the lessons learned from the most effective and experienced programs. The ABM Leadership Alliance builds on the findings from last year’s stu

Goを使ってみた AWS SDKでGoが使えるようになったということで、すもけのブログを読んでみました。簡単そうですね！しかも、コンパイルしたらLinux/Mac/Windows用の実行ファイルにしてくれるという神仕様です。そこで、業務利用に適応できるか確認したいと思います。 AWS SDK for Go ファーストインプレッション IAMRoleを使おう EC2を業務利用しようと思ったらクレデンシャル情報のベタ書きはリスクが高いです。そこで、EC2インスタンスにIAMロールを設定することになります。GoでもIAMRoleが使えるのか試してみました。 Amazon LinuxにGoのインストール 最も簡単な方法でセットアップします。AWS SDK for Goもセットアップ。 $ sudo yum -y install golang $ mkdir go $ echo 'export GO