AWSコスト配分タグの運用に入門してみた
あけましておめでとうございます！🎍 昨年は円安なども相まってAWSのコスト高騰が度外視できない状況があった年かと思います。 今回はコスト削減やコスト最適化を考える上で重要となる現状把握や分析のために役立ちそうなAWSコスト配分タグの運用を、他のAWSサービス・機能とも絡ませながら取り上げようと思います。 AWSコスト配分タグとは AWS コスト配分タグ とはAWSリソースのコストを詳細に追跡するためのタグです。どのタグをつけたリソースにいくらコストが掛かっているかの可視化に利用できます。 前提として、AWSにはリソースにメタデータを付与するための AWS リソースのタグ付けという機能が存在しますが、このタグ付け機能を元にコスト管理にも応用したものと考えられます。 コスト配分タグの種類 コスト配分タグには以下の2種類が存在します。 AWS生成のタグ ユーザー定義タグ AWS生成のタグはその
Introducing retry strategies for AWS Batch | Amazon Web Services
AWS Compute Blog Introducing retry strategies for AWS Batch This post is contributed by Christian Kniep, Sr. Developer Advocate, HPC and AWS Batch. Scientists, researchers, and engineers are using AWS Batch to run workloads reliably at scale, and to offload the undifferentiated heavy lifting in their day-to-day work. But even with a slight chance of failure in the stack, the act of mitigating thes
JMSJobQueueBundleユーザーのためのMessengerコンポーネント移行ガイド（Symfony4時代のasyncジョブ実行入門） | QUARTETCOM TECH BLOG
JMSJobQueueBundleユーザーのためのMessengerコンポーネント移行ガイド（Symfony4時代のasyncジョブ実行入門） SymfonyでWebアプリケーションを作るとき、HTTPリクエストから直接実行するには重い処理があったらどうするか？ 以前の記事 でも書いた通り、非同期処理を実装することが多いですね。 Symfony2時代の非同期処理のスタンダードは JMSJobQueueBundle でした。 JMSJobQueueBundleも一応Symfony4に対応してくれたのですが、不具合があって利用できない時期が長く、メンテナーの方が忙しいようでプルリクエストへの返信も遅れがちでした。乗り換え先をどれにするのが良いかTwitterで聞いてみたところ、 Symfony\Component\Messenger を使うと良いよというアドバイスをもらい、使ってみたらとても良
運用していると状況確認したいときがあるのでメモ。 ## 実行中ジョブ Sidekiq::Workers.new.each do |process_id, thread_id, job| puts "#{process_id}, #{thread_id}, #{job}" end ## 待ち状態のジョブ Sidekiq::Queue.new("#{QUEUE_NAME}").each do |job| puts "#{job}" end ## 削除 Sidekiq::Queue.new("#{QUEUE_NAME}").clear ## リトライ待ちのジョブ Sidekiq::RetrySet.new.each do |job| puts "#{job}" end ## 削除 Sidekiq::RetrySet.new.clear ↑を踏まえてのワンライナーとか ## 実行中キュー確認 Si
This blog post is a direct follow up on my previous blog post on different levels of async in Rust. You may want to check that one out before diving in here. Alright, so now we know that we can make our programs asynchronous by using non-blocking I/O calls. But last time we only saw examples that remained completely sequential, defeating the whole purpose of async. Let’s change that with something
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回も「Terraformで構築する機械学習ワークロード」ということで、今回はその処理をBatch on EC2に載せてみたいと思います。 いままでの記事は以下です。 構成イメージ 構成としては、前回とほぼ変わらないので割愛します（FargateがEC2となったのみの差分）。 動作環境 Docker、Terraformはインストール済みとします。 Terraformを実行する際のAWSリソースへの権限は、aws-vaultで環境構築をしておきます。 aws-vaultについては以下も参考にされてください。 ホストPCとしてのバージョン情報配下です。 OS: Windows 10 バージョン22H2 docker: Docker version 24.0.2-rd, build e63f5fa te
Sidekiqがどうやって動いているのか、コードを読んで概要を掴めた気がしたのでメモしてみる - Madogiwa Blog
みなさん、こんにちは。まどぎわです。 rubyで非同期処理やるときのデファクトスタンダード的なgemsidekiqのコードを読んで、概要が割とつかめた気がしてきたので、どういう感じで動いてるか自分の理解の範囲でメモしてみました🙇 github.com sidekiqの機能としては大きく分けて、 Redisへのqueueのpush Redisからqueueのpopとjobの実行 だと思ったので、それについてsidekiqのコードと合わせて概要を整理してみました。 ※記載しているコードについては、読みやすいコードを削除しているので全文が読みたい方は、それぞれのリンク先で確認いただけますと🙏 前提 今回調べたsidekiqのversionは、2019/04/28現在のmasterである、6.0.0.pre1です。 # frozen_string_literal: true module Si
Bit is where developers share components and collaborate to build amazing software together. Discover components shared… How Does Synchronous JavaScript Work?Before we dive into asynchronous JavaScript, let’s first understand how the synchronous JavaScript code executes inside the JavaScript engine. For example: const second = () => { console.log('Hello there!'); }const first = () => { console.log
候補としては以下の通り Sucker Punch gem 恐らくこれが一番手堅い選択肢 config.active_job.queue_adapter = :async 手法としてはSucker Puhchと恐らく同じ gemを入れなくて済む 本番環境では非推奨とコードに書いてあるらしい(未確認) https://dev-pupuboku.hatenablog.com/entry/2020/01/01/102415 config.active_job.queue_adapter = :inline もうこれでいいんじゃないか？ 本当に非同期でやっているかは不明。要確認 「ワーカープロセスを立ち上げない非同期処理」は上記の通り問題なく実現可能な様だが、 proc/consはきちんと理解する必要がある。 proc 環境構築が楽 ワーカプロセスが不要 永続化のための仕組みが不要(redis/rd
Suppose we have such email: class UserMailer < ApplicationMailer def welcome_email(user) @user = user mail(to: @user.email, subject: 'Welcome') end end That is delivered using default ActiveJob & ActionMailer's method: UserMailer.welcome_email(user).deliver_later. (you also need to set config.active_job.queue_adapter = :sidekiq [or some other adapter] in your application.rb to use deliver_later me
Launch production-grade architectures using Pinecone's vector database in minutes with the AWS Reference Architecture | Pinecone
BlogLaunch production-grade architectures using Pinecone's vector database in minutes with the AWS Reference ArchitectureNov 27, 2023 - in Engineering Pinecone’s vector database scales to billions of vectors and returns queries in milliseconds. We’ve heard from customers that our many open-source Jupyter notebooks and example applications are ideal for hands-on learning and exploring new AI techni
I'm creating a sort of background job queue system with MongoDB as the data store. How can I "listen" for inserts to a MongoDB collection before spawning workers to process the job? Do I need to poll every few seconds to see if there are any changes from last time, or is there a way my script can wait for inserts to occur? This is a PHP project that I am working on, but feel free to answer in Ruby
Runnerの動作原理 | 株式会社トレンドソリューションズ | Trend-sol | GitLab | コンサルティング
目次 CI/CD Pipelineを動かすRunnerとは何かRunnerの種類Pipelineの並列実行設定 CI/CD Pipelineを動かすRunnerとは何か GitLab Runner は、GitLab CI/CD と連携してパイプラインでジョブを実行するアプリケーションです。Runnerは複数の実行形態(Excutor)があります。例えば、SSH, ShellのようなRunnerを導入した環境でそのままjobを実行するものと、Kubernetes, Docker, VirtualBoxのような仮想環境を利用してjobを実行することもできます。 Runnerの種類 GitLab Runnerは以下の３種類があります。 Shared runners：SaaS版の場合はGitLabが提供する共有runnerで、self-managed版ではGitLab instanceの設定になる
Step Functions + Batchで並列処理するステートマシンを作ってみた | DevelopersIO
こんにちは。AWS事業本部のKyoです。 前回に続き、Step Functions + Batchで科学計算をイメージしつつ、できるだけシンプルなステートマシンを構築してみます。 今回は並列処理を実装するため、「Parallel」というステートを利用します。 何をやるのか 並列計算を行い、最後にそれらの計算結果を入力とした計算を行います。 詳細 前回作成したBatchのジョブ定義 Incrementを今回も利用します。 Incrementは1つの入力ファイルから1つの出力ファイルを生成します。入力ファイルには任意の数字が含まれており、そこに「1」を足したものを出力ファイルに書き込みます。入力・出力ファイルともにS3の任意のパスからダウンロード・アップロードします。 Parallelでの並列計算には２種類のブランチA, Bが存在し、任意の回数のIncrementを行います。Aでは2回、Bでは
gracefully stop php laravel sqs worker in Docker on ECS Fargate | ForDoDone
Using AWS SQS to process asynchronous messages is a great way to handle scheduled jobs, and work that doesn’t need to happen in real-time inside your user driven application. Containerizing a PHP Laravel app and using an orchestration service like ECS Fargate allows you to easily run thousands of job queue workers in an infinite and embarrassingly parallel fashion. php artisan queue:work sqs If yo
開発環境で複数のRailsアプリを起動する場合はActiveJobのキュー名に気を付けよう - patorashのブログ
アプリ連携を作っていた時に起きた現象なので、複数Railsアプリを起動する場合は気をつけましょう。 FooアプリとBarアプリがあって、どちらもActiveJobを使っていました。どちらもqueueの名前はdefaultのままにしていました。そして、同じRedisを共有していました。 こっちはFooアプリのジョブ。 class FooJob < ApplicationJob queue_as :default def perform puts "Foo" end end こっちはBarアプリのジョブ。 class BarJob < ApplicationJob queue_as :default def perform puts "Bar" end end そして、FooアプリもBarアプリもsidekiqを起動。 bundle exec sidekiq これで、BarJob.perfor
RUST FOR RUSTACEANS 著者: Jon Gjengset 本書を読んだ感想を書いていきます。 この記事で触れていることは本の内容の一部です。 序文でdtolnay先生のメッセージが読めます。 きっかけもともとJon GjengsetさんのRust動画をyoutubeでみていたので、本もおもしろいにちがいないと思い買いました。 まとめ非常におもしろかったです! StackとHeapについてから、型やAPI Design、Test,Macro,Async,Pin,Unsafe,Concurrency,FFIと多様なトピックがあり、Rustの開発者の方がどういう風に考えているか垣間見え勉強になりました。 The Bookに書いてあることは前提になっていると思います。 普段の職場ではRustを書いている人がいないので、同僚の方々から口頭で教わるような話が書いてある本は非常に貴重でし
【LINE DEVELOPER DAY 2021】言語を書き換えるプロジェクトの知見、ReactNativeアプリ開発の舞台裏【イベントレポート】
LINE株式会社 Kyoto Developer Division Client Engineering Team Software Engineer 植松 啓誠 2019年入社。LINE証券・LINEほけん等の金融サービスでフロントエンド開発に従事。現在は出前館で、React Nativeアプリの開発を担当。 最初に紹介するセッションは、2018年新卒入社でPerlやKotlinのコードを書いているソフトウェアエンジニア大原康平氏による「8年続くPerlプロダクトをKotlinに書き換えた話」だ。 今回Kotlinに書き換えたPerlプロダクトは「LINEポイントクラブ」。LINE Payでの支払いや、LINEの各種サービスの利用などで貯めることができるLINEのポイントサービスである。 LINEポイントクラブには「貯めるタブ」と「使うタブ」があり、貯めるタブは動画を見たり、アプリをイン
I have a new graphtec fc8600 Sign lab will send cut jobs to the cutter, and it. Which driver do you use in Signlab and how does the cutter connect to the plotter? Looking to produce vinyl cut signage, but also create designs that require digitally printed or digitally printed and cut signs and graphics? SignLab VinylPro is the. Downloading SignLab Print and Cut 9.1SignLab Print and Cut is the prof
Essential Effects を読んで Cats Effect を勉強した - たにしきんぐダム
Scala Advent Calendar 2021 1日目の記事です。 scala-cli のこと書こうと思ったのですが、ちょっと時間なかったので読書記です！ essentialeffects.dev typelevel.org TL;DR Essential Effects という本を読んで Cats Effect という、Scala で IO とか parallel and concurrent なプログラムを勉強したよ とてもわかり易かったのでおすすめです、あと猫がかわいい The Effect Pattern Essential Effect 1章の話のメモ この本ではまず初めに IO モナドを使って副作用をラップしてやることのメリットの解説から始まります。本の中では、そのようなプログラムの方法を Effect Pattern と呼んでおり(多分この本でしか言ってない?)、その
AWS Batch スケジューリングポリシーを学べるワークショップ Fair-share scheduling on AWS Batch をやってみた | DevelopersIO
コンバンハ、千葉（幸）です。 AWS Batch について学べるワークショップはないかなと AWS Workshops を調べていたところ、Fair-share scheduling on AWS Batchというものを見つけました。 一通り手を動かしてみたのでその内容をご紹介します。ワークショップを実行する際に横に並べて見ていただければとおもいます。 このワークショップで学べること 2021年11月に登場した AWS Batch のフェアシェアスケジューリングについて学べます。 上記のブログでは AWS Batch におけるキューイングの考え方が gif で紹介されているので、興味がある方は見てみるとよいでしょう。 フェアシェアスケジューリングのイメージは以下です。 （画像引用元は上記のブログ） キューには緑のジョブが4つ、その後に青のジョブが4つ入れられています。従来の FIFO 方式
Solid Queue README -- DBベースのActive Jobバックエンド（翻訳）｜TechRacho by BPS株式会社
概要 MITライセンスに基づいて翻訳・公開いたします。 英語記事: solid_queue/README.md at main · basecamp/solid_queue 原文更新日: 2024/03/30（b3cb4ed） ライセンス: MIT 日本語タイトルは内容に即したものにしました。 Solid Queueは、Active Jobで利用できるDBベースのキューバックエンドであり、シンプルさとパフォーマンスを念頭に置いて設計されています。 通常のジョブエンキューや処理に加えて、ジョブの延期、コンカレンシー制御、キューの一時停止、数値によるジョブ単位の優先度指定、キュー順序に基づいた優先度指定、バルクエンキュー（Active Jobのperform_all_laterで使われるenqueue_all）もサポートしています。 （ログ出力、instrumentation（計測）、CLIツ
About self-hosted runners A self-hosted runner is a system that you deploy and manage to execute jobs from GitHub Actions on GitHub.com. For more information about GitHub Actions, see "Understanding GitHub Actions." Self-hosted runners offer more control of hardware, operating system, and software tools than GitHub-hosted runners provide. With self-hosted runners, you can create custom hardware co
Introducing AWS Amplify Video on Demand | Amazon Web Services
AWS for M&E Blog Introducing AWS Amplify Video on Demand Today, we’re excited to bring you a new video-on-demand (VOD) resource type to AWS Amplify that allows you to easily store, manage, and serve file-based video content from AWS within minutes through the Amplify Command Line Interface (CLI). In this blog post, we explore how you can use Amplify Video to incorporate file-based video streaming
週刊Railsウォッチ: Active SupportにObject#withが追加、カスタム名前空間のサポートほか（20230328前編）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） 🔗Rails: 先週の改修（Rails公式ニュースより） 公式更新情報: Ruby on Rails — This Week in Rails: Impro
Rails + shoryuken + FakeSQSで行う非同期処理 - 日々の学びのアウトプットするブログ
はじめに 今回は、Railsアプリケーションで非同期処理を実現するために、 「Rails + Shoryuken + SQS」 の構成にチャレンジしてみることにしました。 今回はその中で、ローカル開発環境での設定について記事を書きたいと思います。 目次 はじめに 目次 背景 今回の記事で扱うこと 環境 Github 今回の構成 Docker-composeの構成 app worker db fake_sqs shoryukenの設定 Gemのインストール config/shoryuken.yml config/initializers/shoryuken.rb workerの作成 shoryukenの起動スクリプト 動作を試してみる 参考文献 背景 開発の目的として、 定期実行処理を非同期処理として行いたい という目的がありました。 Railsで非同期処理を実現する方法としては、Sidek
LaravelのJOBとQUEUEを使用して非同期処理を実装してみた。 | SRIA BLOG – 宮城県仙台市のWEBシステム開発・スマホアプリ開発
こんにちは。遠藤です。 今回はLaravelのJOBとQUEUEを使用して非同期処理を実装してみたので、つまずいた点にも触れながら実装方法について解説させていただきます。 ちなみに今回実装した非同期処理は以下のようなものです。 A：新規会員入会 → B：会員登録処理実施（ → C：非同期で関連する会員のDB情報更新） → 処理終了 Cの処理が重い処理だったため、非同期での実装を試みました。 JOBとQUEUEについて .envの設定 DBにQUEUE用のテーブルを作成 JOBクラスの作成 QUEUEへ格納 WorkerによるJOBの実行 SupervisorによるWorkerの管理 JOBとQUEUEについて LaravelにおいてJOBとは処理そのもののことです。例えば、会員管理システムにおいて会員のDB情報を更新するする処理のことをJOBと呼びます。 LaravelにおいてQUEUEと
Suman Karumuri Sr. Staff Software Engineer, Observability Notifications are a key aspect of the Slack user experience. Users rely on timely notifications of mentions and DMs to keep on top of important information. Poor notification completeness erodes the trust of all Slack users. Notifications flow through almost all the systems in our infrastructure. As illustrated in Figure 1 below, a notifica
patchbay - Poor Man's Web
TL;DR patchbay.pub is a free web service you can use to implement things like static site hosting, file sharing, cross-platform notifications, webhooks handling, smart home event routing, IoT reporting, job queues, chat systems, bots, etc, all completely serverless and requiring no account creation or authentication. Most implementations need nothing but curl and simple bash snippets. Why did you
こんにちは！エンジニアの小幡です。最近だいぶ暖かくなってきましたね。 外出自粛が続いているので、一人用のホットプレートを買ってしまいました。好きな焼肉やら炒め物を昼休みに気軽に作れるので自分的にはQOL爆上がりです。 さて、表題のバッチ処理については弊社柿木からの記事もありましたが、EC2インスタンス上のcronで管理していたバッチ処理を順次AWS Batchへ移行しています。 そこで、今回は私が業務を通して初めて触ったAWS Batchや合わせて利用している周辺サービスについての概要を皆さまに共有できればと思います！ AWS Batchとはバッチ管理・実行ができるフルマネージドのサービスです。利用するためには以下の３点を最低限設定する必要があります。 ・ジョブ定義 ・コンピューティング環境 ・ジョブキュー ジョブ定義 ジョブ定義とはその名の通り実行するバッチ処理作業がどのようなものかを定
Introducing pg_later: Asynchronous Queries for Postgres, Inspired by Snowflake Aug 16, 2023 • 4 min read We’ve released a new Postgres extension called pg_later, which enables asynchronous query execution in Postgres. If you’ve used Snowflake’s asynchronous queries, you might already be familiar with this capability. Submit your queries to Postgres now, and come back later and get the query’s resu
Building a JobSystem
Programming · Oct 6th, 2022 If the hero were the phrase "premature optimization is the root of all evil", then I'd be its villain. I might be an uninteresting and boring villain, but its villain nonetheless. Anyway, there is one idea that really caught me on fire, ever since I first came across it. Pretty much most game engines that you will come across, as well as any tutorials that may claim to
Summary Boa v0.17 is now available! This is one of the biggest Boa releases since the project started, and after around 7 months of development, we are very happy to present you the latest release of the Boa JavaScript engine. Boa makes it easy to embed a JS engine in your projects, and you can even use it from WebAssembly. See the about page for more info. In this release, our conformance has gro
週刊Railsウォッチ: Rails 8でKamalがデフォルトのデプロイツールになるほか（20240529前編）｜TechRacho by BPS株式会社
こんにちは、hachi8833です。Rails 7.2.0のマイルストーン↓は、先週ぐらいには残り3つだったのが7つになったり5つになったりと変動しつつ、さっき見たら残り2つになっていました。 参考: 7.2.0 Milestone 週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごと
Elixir and Phoenix can do it all! Author Name Jason Stiebs @peregrine @peregrine Image by Annie Ruygt We’re Fly.io. We run apps for our users on hardware we host around the world. Fly.io happens to be a great place to run Phoenix applications. Check out how to get started! As an Elixir/Phoenix developer going on 10 years it is very easy to take for granted everything that Elixir and Phoenix can do
To Thread or Not to Thread: An In-Depth Look at Ruby’s Execution Models
Opens in a new windowOpens an external siteOpens an external site in a new window Deploying Ruby applications using threaded servers has become widely considered as standard practice in recent years. According to the 2022 Ruby on Rails community survey, in which over 2,600 members of the global Rails community responded to a series of questions regarding their experience using Rails, threaded web
GitHub - digital-fabric/ever: Callback-less event reactor for Ruby
I'm planning to add a compatibility mode to Tipi, a new Polyphony-based web server for Ruby. In this mode, Tipi will not be using Polyphony, but will employ multiple worker threads for handling concurrent requests. The problem is that we have X number of threads that need to be able to deal with Y number of concurrent connections. After coming up with a bunch of different ideas for how to achieve
I am a Sr. Software Developer at Oracle Cloud. The opinions expressed here are my own and not necessarily those of my employer. Queues can be useful tool to scale applications or integrate complex systems. Here is a basic use case. User registers and we need to send a welcome email. We record data in the User table and separately call API of email service provider. Sending email via background pro
Sonic WangSonic Wang is a software engineer at DoorDash, since 2020, where he works on the marketplace and merchant teams. When moving from a monolith to a microservices architecture, engineering teams often need to master a new programming paradigm. During our own migration, we opted to base our new backend architecture on Kotlin, shifting away from Python. Kotlin coroutines were an area our engi
laravelのキューにjobを入れる方法を記載していきます。 queueの作成とjob実行の流れ、 まずコンテナに入り、 php artisan make:job QueueTest を実行しましょう。 そうすると、 App配下にJobsフォルダができて、その中にQueueTest.phpができています。 これから、あるページにアクセスしたり、あるボタンを押したりしたときに このQueueTest.phpのhandle()に入ってくるようになります。 今はQueueTestという名前ですが、 実際はメール用のQueueならQueueEmail.phpや通知用のQueueNotice.phpとなり、そこにjobが入ってくるというイメージです。 これはまずおいといて、 例えばfollowなんかをされたりしたときに通知を送りたいなと思ったら、 まずこのqueueTestをインスタンス化します。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RailsConsoleでSidekiqジョブの状況を見る - コピペコードで快適生活
HTTP status codes with async Rust - FP Complete
Terraformで構築する機械学習ワークロード（Batch on EC2編） | DevelopersIO
Understanding Asynchronous JavaScript
ActiveJobでワーカープロセスを立ち上げない非同期処理
How to test ActionMailer + ActiveJob with Rspec (Example)
How to listen for changes to a MongoDB collection?
📙 RUST FOR RUSTACEANSを読んだ感想 | Happy developing
Cadlink Signlab Plotter 9.1 Download - lasopango
About self-hosted runners - GitHub Docs
Tracing Notifications - Slack Engineering
AWS Batchでバッチ処理はバッチリ?!｜narudesu
Introducing pg_later: Asynchronous Queries for Postgres, Inspired by Snowflake | Tembo
Boa release v0.17 - Boa
Elixir and Phoenix can do it all!
Queues - DB vs Redis vs RabbitMQ vs SQS
The Beginner’s Guide to Kotlin Coroutine Internals
Laravelとhorizon-supervisorの解説(redis落ちたら終わり＾＾b) | 合同会社FIELD