SREチームの長田です。 今回は、カヤックのメンバーが業務で使うために開発・公開しているOSSなプロダクトをまとめて紹介しようという企画です。 KAYAC organization以下にあるものだけでなく、在籍中のメンバーが作ったものもひっくるめて、実際に業務で使用しているものを中心に 紹介しています。 以下の3つのカテゴリに分けて記載しています。 各カテゴリ内はアルファベット順です。 ツール編 人間が手動で実行するもの アプリケーション編 どこかに常駐して、イベントを受け取ると動作するもの ライブラリ編 ツールやアプリケーションから参照されるもの 集めてみたらそこそこの量になったので、本記事では詳細な説明は省いています。 GitHubリポジトリのURLや関連記事のリンクを併記していますので、より詳しく知りたい場合はそちらを参照ください。 (...) 内はそのプロダクトで使用している主なプ
Rails: SidekiqからSolid Queueに移行したときの方法と注意点（翻訳）｜TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: How we migrated from Sidekiq to Solid Queue - BigBinary Blog 原文公開日: 2024/03/05 原著者: Chirag Shah 日本語タイトルは内容に即したものにしました。 私たちBigBinaryは、neetoでさまざまなプロダクトを構築しています。現在22のプロダクトを開発中で、それらはいずれもSidekiqを利用しています。Solid Queueが公開された後で、私たちのneetoFormで使われているSidekiqをSolid Queueに移行する決定を下しました。 なお、現時点のSolid Queueはcronスタイルのジョブや定期的に繰り返されるジョブ実行をサポートしておらず、これに関するプルリク#155がオープンされています。そういうわけで、Solid
Terraformで構築する機械学習ワークロード（Batch on Fargate編） | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回も「Terraformで構築する機械学習ワークロード」ということで、前回の記事ではLambdaを使いましたが、今回はその処理をBatch on Fargateに載せてみたいと思います。 前回記事は以下です。 構成イメージ 構成としては以下のようなものを作成していきます。 前回との違いとしては、まずLambdaの代わりにBatch on Fargateを使う点です。 Fargateのタスク(ジョブ)上のコンテナイメージで物体検出モデルの一つであるYOLOXを動かしていきます。 また、それ以外にもBatchを使用する場合は、S3イベントとBatchの間にEventBridgeが必要となります。 動作環境 Docker、Terraformはインストール済みとします。 Terraformを実行する際の
Rethinking Serverless with FLAME Author Name Chris McCord @chris_mccord @chris_mccord Imagine if you could auto scale simply by wrapping any existing app code in a function and have that block of code run in a temporary copy of your app. The pursuit of elastic, auto-scaling applications has taken us to silly places. Serverless/FaaS had a couple things going for it. Elastic Scale™ is hard. It’s eve
Years ago I wrote about my trouble with a job queue in Postgres, in which table bloat caused by long-running queries slowed down the workers’ capacity to lock jobs as they hunted across millions of dead tuples trying to find a live one. A job queue in a database can have sharp edges, but I’d understated in that writeup the benefits that came with it. When used well, transactions and background job
GitHub - oldmoe/litestack
All your data infrastructure, in a gem! Litestack is a Ruby gem that provides both Ruby and Ruby on Rails applications an all-in-one solution for web application data infrastructure. It exploits the power and embeddedness of SQLite to deliver a full-fledged SQL database, a fast cache , a robust job queue, a reliable message broker, a full text search engine and a metrics platform all in a single p
Executing Cron Scripts Reliably At Scale - Slack Engineering
Cron scripts are responsible for critical Slack functionality. They ensure reminders execute on time, email notifications are sent, and databases are cleaned up, among other things. Over the years, both the number of cron scripts and the amount of data these scripts process have increased. While generally these cron scripts executed as expected, over time the reliability of their execution has occ
async/await in Swift was introduced with iOS 15, and I would guess that at this point you probably already know how to use it. But have you ever wondered how async/await works internally? Or maybe why it looks and behaves the way it does, or even why was it even introduced in the first place? In typical SwiftRocks fashion, we're going deep into the Swift compiler to answer these and other question
GoodJob, via its introductory blog post, was highlighted last week at Rails World. A new Active Job queue backend, Solid Queue, was announced, and I’m excited to see where it goes! I attended Rails World in Amsterdam this past week. During the conference, a new Active Job backend was announced: Solid Queue (video), which has the potential to become first, first-party backend in Rails. Solid Queue,
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回も「Terraformで構築する機械学習ワークロード」ということで、今回はその処理をBatch on EC2に載せてみたいと思います。 いままでの記事は以下です。 構成イメージ 構成としては、前回とほぼ変わらないので割愛します（FargateがEC2となったのみの差分）。 動作環境 Docker、Terraformはインストール済みとします。 Terraformを実行する際のAWSリソースへの権限は、aws-vaultで環境構築をしておきます。 aws-vaultについては以下も参考にされてください。 ホストPCとしてのバージョン情報配下です。 OS: Windows 10 バージョン22H2 docker: Docker version 24.0.2-rd, build e63f5fa te
Ruby on Rails 7.2.0がリリースされました。 Rails 7.2 has been released! Better production defaults, Dev containers, new guides design, and more! https://t.co/uLlVLd4Jsg — Ruby on Rails (@rails) August 10, 2024 リリース情報: Ruby on Rails — Rails 7.2: Better production defaults, Dev containers, new guides design, and more! 英語版Changelogをまとめて見るにはGItHubのリリースタグ↓が便利です。v7.2.0タグの日付は日本時間の2024/08/10 09:04でした。 リリースタグ: Release
Launch production-grade architectures using Pinecone's vector database in minutes with the AWS Reference Architecture | Pinecone
BlogLaunch production-grade architectures using Pinecone's vector database in minutes with the AWS Reference ArchitectureNov 27, 2023 - in Engineering Pinecone’s vector database scales to billions of vectors and returns queries in milliseconds. We’ve heard from customers that our many open-source Jupyter notebooks and example applications are ideal for hands-on learning and exploring new AI techni
Solid Queue README -- DBベースのActive Jobバックエンド（翻訳）｜TechRacho by BPS株式会社
概要 MITライセンスに基づいて翻訳・公開いたします。 英語記事: solid_queue/README.md at main · basecamp/solid_queue 原文更新日: 2024/03/30（b3cb4ed） ライセンス: MIT 日本語タイトルは内容に即したものにしました。 Solid Queueは、Active Jobで利用できるDBベースのキューバックエンドであり、シンプルさとパフォーマンスを念頭に置いて設計されています。 通常のジョブエンキューや処理に加えて、ジョブの延期、コンカレンシー制御、キューの一時停止、数値によるジョブ単位の優先度指定、キュー順序に基づいた優先度指定、バルクエンキュー（Active Jobのperform_all_laterで使われるenqueue_all）もサポートしています。 （ログ出力、instrumentation（計測）、CLIツ
Introducing pg_later: Asynchronous Queries for Postgres, Inspired by Snowflake Aug 16, 2023 • 4 min read We’ve released a new Postgres extension called pg_later, which enables asynchronous query execution in Postgres. If you’ve used Snowflake’s asynchronous queries, you might already be familiar with this capability. Submit your queries to Postgres now, and come back later and get the query’s resu
週刊Railsウォッチ: Rails 8でKamalがデフォルトのデプロイツールになるほか（20240529前編）｜TechRacho by BPS株式会社
こんにちは、hachi8833です。Rails 7.2.0のマイルストーン↓は、先週ぐらいには残り3つだったのが7つになったり5つになったりと変動しつつ、さっき見たら残り2つになっていました。 参考: 7.2.0 Milestone 週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごと
Elixir and Phoenix can do it all! Author Name Jason Stiebs @peregrine @peregrine Image by Annie Ruygt We’re Fly.io. We run apps for our users on hardware we host around the world. Fly.io happens to be a great place to run Phoenix applications. Check out how to get started! As an Elixir/Phoenix developer going on 10 years it is very easy to take for granted everything that Elixir and Phoenix can do
Rails 外から Sidekiq の Job を動かしたい場合に、Railsが起動していなくてもEnqueue だけ出来たらいいなと思い試したメモです。 注意点として ActiveJob は使えませんでした（使いませんでした？） モチベーションJob管理は Sidekiq のままで、Slack や他の WebサービスからのJob起動がRails の起動状態に依存せずに Enqueue 出来るようにしたいというところです。 環境Ruby 2.7.6 Ruby on Rails 7.0.3 Sidekiq 6.4.2 AWS SAM CLI 1.57.0 Enqueueを 行う AWS Lambda を構築AWS Lambda のローカル環境の構築やデプロイが簡単に行える AWS SAM で進めます。 アプリケーションの作成AWS SAM CLI のインストールはこちらを参考にします。 最初
Railsガイドにきちんと目を通して新しい知識を得る - Active Job の基礎編 - - PLAY BALL
ドキュメントを読み込むのは大事、ということでRailsガイドを頭から読んでいく取り組みをしています。 各章ごとに、（Railsガイドにちゃんと書いてあるのに）知らなかった機能を雑にまとめていきます。 今回は、Active Job の基礎の章です。 railsguides.jp キュー名の前に特定のプレフィックスをつける リンクはこちら active_job.queue_name_prefixを使うことでキュー名にプレフィックスを追加できます。 # config/application.rb config.active_job.queue_name_prefix = Rails.env BookJob.queue_name #=> "development_default" コールバック リンクはこちら _enqueueと_performがあります。 コントローラでいうbefore_acti
Rails 7.1.0 Active Job CHANGELOG（翻訳）｜TechRacho by BPS株式会社
概要 MITライセンスに基づいて翻訳・公開いたします。 英語記事: rails/activejob/CHANGELOG.md at v7.1.0 · rails/rails 原文更新日: 2023/10/05（d39db5d） ライセンス: MIT 参考: Active Job の基礎 - Railsガイド rc2以後の更新はありません。 🔗 Active Job CHANGELOG（7.1.0.rc2） 🔗 Make sure scheduled_at is a Time object when asserting enqueued jobs · rails/rails@69d65b8 エンキュージョブのアサーションでscheduled_atがTimeオブジェクトになるよう修正。 Rafael Mendonça França 同CHANGELOGより 🔗 Active Job CH
【AWS】起動テンプレートとBatch Compute環境を同時に書くと、起動テンプレートが3つ生成される - Qiita
【AWS】起動テンプレートとBatch Compute環境を同時に書くと、起動テンプレートが3つ生成されるAWSEC2AutoScalingAWSBatchLaunchTemplate 概要 以前作成したAWS BatchのAutoscalingGroup設定を確認すると「起動設定」になっていました。 今回、これを起動テンプレートにしたところなぜか3つも自動作成されました...色々試したので、記事にします。 前提・Cfnテンプレート まず、AWS BatchをCloudformationで作成すると、EC2を起動するためにAutoscalingGroupが作成されることを確認しました。なので、そのAutoscalingの設定を起動テンプレートにしてあげればよいのでは？と思い、以下のようにしました。 BatchComputeEnvironmentにLaunchTemplateを加えています。
【まとめ】CloudWatchとAWS Batchを使ってRDSに定期的にクエリを実行&失敗時はSlack通知するCFテンプレート - Qiita
【まとめ】CloudWatchとAWS Batchを使ってRDSに定期的にクエリを実行&失敗時はSlack通知するCFテンプレートAWSRDSCloudWatchCloudFormationAWSBatch 概要 以下の構成で実装しました。 CloudWatchEventsをトリガーとしてAWS Batchを起動し、登録しておいたプロシージャでRDSに対してクエリを実行する AWS Batchのジョブ実行結果が失敗した場合は、Lambda関数によってSlackに通知する 上記をCloudFormationで実装したので紹介します。 AWS Batchは初めて触るリソースだったのと、なかなか上記構成に該当の記事が見つからず苦戦したところもあったので、備忘も兼ねて丁寧に整理して記載しました。 実施手順 CloudFormationを実行するにあたり、事前準備も含め手順は以下の通りです。 ①AW
はじめに 一人アドベントカレンダーとしスタートしていました。 本記事は API シナリオテストツールでもある runn のチュートリアルをステップバイステップで理解して貰おう！というのが趣旨です。 25 日間のチュートリアルを経て、 runn を使っての API シナリオテストや、 API と連動させる自動化処理を一人で行えるようになることを目標にしています。 runn is 何？という方は、以下に紹介記事を書いていますのでよろしくお願いします。 チュートリアルを実際に試し、もし躓いた箇所があれば、記事のコメント欄にお知らせいただけると幸いです。 前日の記事は「Hello world!」でした。 curlコマンドをreplayさせる 昨日の記事 で初めて runbook を書いてみました。 今回は手軽に runn を始める際に便利な使い方を紹介します。 curl コマンドを叩いて API
Amazon Web Services ブログ 週刊AWS – 2024/6/3週 みなさん、こんにちは。ソリューションアーキテクトの根本です。 今週も週刊AWSをお届けします。 いよいよAWS Summit Japanが来週に迫ってきました。2024年6月20日、21日、会場は幕張メッセになります。ご都合つく方は是非会場にいらしてください。 私も会場に行く予定なので、見かけたら遠慮なくお声がけください！ それでは、先週の主なアップデートについて振り返っていきましょう。 2024年6月3日週の主要なアップデート 6/3(月) AWS Batch introduces the Job Queue Snapshot to view jobs at the front of the job queues AWS BatchにJob Queue Snapshot機能が追加されました。この機能により
AWS Batch ジョブが RUNNABLE 状態でスタックしたときにジョブの自動キャンセル設定をできるようになりました | DevelopersIO
AWS Batch ジョブが RUNNABLE 状態でスタックしたときにジョブの自動キャンセル設定をできるようになりました AWS Batch でジョブが RUNNABLE 状態でスタックしたときの対処方法に、今回のアップデートで新しい機能が追加されました。RUNNABLE 状態でスタックしたジョブを EventBridge で検知でき、一部の原因に対してはジョブを自動的にキャンセルできるようになりました。 背景 AWS Batch でジョブをサブミットした後、設定ミスなどの理由で RUNNABLE 状態のままで止まってしまい、後続のスターテスに遷移しないことがあります。 参考: Job states - AWS Batch よくある原因としては、コンピューティング環境の 最大 vCPU 数設定とジョブの要求 vCPU 数の不一致や IAM ロールの権限不足などが挙げられます。 参考: T
こんにちは、中山（ @k1nakayama ) です。 この記事は、AWS LambdaとServerless Advent Calendar 2022の21日目の記事です。 今回は先日行われたre:Invent 2022にて、新機能として発表されたAmazon EventBridge Pipesについて紹介いたします。 Amazon EventBridge Pipesとは EventBridgeマネージメントコンソールから引用 EventBridge Pipesは、これまでポーリングを行うことによってイベントデータを取得していた、DynamoDB StreamsやKinesis Data Streams、SQSなどのイベントソースからデータをポーリングして取得し、CloudWatch Logs、EventBridge EventBus、Step Functions、Redshiftクラス
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
カヤック発OSSカタログ - KAYAC Engineers' Blog
Rethinking Serverless with FLAME
River: a Fast, Robust Job Queue for Go + Postgres
How async/await works internally in Swift
Reflections on GoodJob for Solid Queue
Terraformで構築する機械学習ワークロード（Batch on EC2編） | DevelopersIO
Rails 7.2.0がリリースされました｜TechRacho by BPS株式会社
Introducing pg_later: Asynchronous Queries for Postgres, Inspired by Snowflake | Tembo
Elixir and Phoenix can do it all!
AWS LambdaでSidekiqのJobをEnqueueする｜Koji Iino
【Day3】curlコマンドをreplayさせる / runnチュートリアル
週刊AWS – 2024/6/3週 | Amazon Web Services
Amazon EventBridge Pipesとユースケース