タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
GitHub の merge queue で 「マージ待ち」を解消した話 - Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)
こんにちは。 株式会社アカツキゲームスで ATLAS というチームに所属してゲーム内通貨管理基盤の開発及び運用を行っています、なかひこくん (@takanakahiko) です。 最近バイクを買いました。 私の担当するゲーム内通貨管理基盤の開発現場では、「マージ待ち」なるものが存在しました。 今回は、その課題を GitHub の新機能である merge queue で解決した方法を紹介します。 この記事は 2023-07-20 時点での merge queue 及び GitHub Actions の仕様に則ったものです。 今後のアップデートによりこの記事の内容が正しくないものとなる可能性があります。 「マージ待ち」とは 私の担当するゲーム内通貨管理基盤の GitHub リポジトリでは PR のマージ後に走る、同時に実施できない 15 分程度の E2E test が存在しました。 すなわち
kaigi on rails 2024の発表資料です https://kaigionrails.org/2024/talks/willnet/
GitHubのMerge Queueとは何か？それと、認識しておきたいこと - Mitsuyuki.Shiiba
同僚に「GitHubのMerge Queueってあんまり知らないんだけど、どう思う？」って聞かれて「あー。僕もあれよく分かってないんだよね」って返事をして、ちょうどいい機会なので見てみた 見てみた感想としては、いくつか気をつけておきたい点があるけど、チームの開発の進め方にうまくはまれば便利な機能だな、という感じ（なんでもそうか・・・） Merge Queueって? 2023年の7月にGAになったGitHubの機能 プルリクエストをマージするときに「マージ先のブランチ（ベースブランチ）の最新の変更を取り込んでからChecks（つまりCI）を実行して、それが成功したらマージしといて！」ってお願いできる便利機能。名前のとおりQueueになっているので複数のプルリクエストからenqueueできて前から順番に処理してくれる そうは言われても最初に説明を見た僕は「？？？」状態だった。「なんでこんな機能
GitHub - Memuro-Town/MADO-queue: 窓口番号発券システム / Queue-ticket system for small Japanese municipalities. 芽室町で本番稼働中。
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Menu. Currently selected: Queueing a pull request to merge Today we are announcing the public beta of pull request merge queue for repos on GitHub Enterprise Cloud and open source organizations! 🎉 Merge queue helps increase velocity in software delivery by automating pull request merges into your busiest branches. Before merge queue, developers were often required to update their pull request bra
Kernel Queue: The Complete Guide On The Most Essential Technology For High-Performance I/O When talking about high-performance software we probably think of server software (such as nginx) which processes millions requests from thousands clients in parallel. Surely, what makes server software work so fast is high-end CPU running with huge amount of memory and a very fast network link. But even the
Remix + Cloudflare Workers + D1 + KV + Queue + R2 + DOで簡単なアプリを作る
Remix + Cloudflare Pages/WorkersをベースにD1とKVと組み合わせた構成で作るアプリの解説は巷に結構あるが、それらに加えてQueueやR2なども合わせた参照実装みたいなものが見当たらなかったので作った。 このアプリの機能は下記。 Googleアカウントを用いたOAuthログイン セッション管理にKV,ユーザー管理にD1を使う はてブのようなブックマーク機能(基本的なCRUD) URLとコメントを入力してD1へデータ登録できる URLの先のページからOGPを取得して登録 QueueのProducerとConsumerを使って非同期にタイトルと画像を取得 取得した画像はR2にアップロードする URLごとにブックマーク数を管理する Durable Object(DO)を使う。 Cron Trigger ついでに追加。アプリ的には不要だがせっかくなので設定だけしておく
RedisをナイーブにQueueにするとデータロストする／可視性タイムアウトの役割 - hacomono TECH BLOG
はじめに 基盤本部で今後のhacomonoのアーキテクチャ設計をしている @bootjp と申します。 最近はマイクロサービス化に向けての社内共通のイベントバスの設計や基盤周りの設計/実装を行っています。 以前にはこのような記事を書き、分散システムや分散データベース、分散ストレージなどが大好きです。 「Goで作って理解するRaftベースRedis互換KVS」という同人誌も書いています。 もし興味のある方はお手にとってみてください。 さて、今回は分散システムやマイクロサービスで頻繁に用いられるQueueについて焦点を当てた記事を書きます。 とくにマネージドサービスを用いない環境では、RedisでQueueを実装してる方は多いのではないでしょうか？ しかし、ナイーブなQueueの実装には罠があり、データロストの危険性があります。 実例とともにデータをロストしないためには何が必要なのかをこの記事
Pythonでリストを多用しがちな新人に贈りたい、array/tuple/set/queueの魅力と使い分けフローチャート - Qiita
はじめに みずほリサーチ＆テクノロジーズの @fujine です。 Pythonのリストってとても便利ですよね。可変長で任意のオブジェクトを保存できるため、シーケンシャルなデータなら何でもリストで実装したくなる気持ち、分かります。 でもちょっと待ってください！リスト以外にも便利なコレクション型があること、ご存知でしょうか？コレクション型を適切に使い分けることで、 プログラムの意図を（ドキュメントに頼らなくても）読み手に的確に伝えられる パフォーマンスが向上する などの効果が期待できます。 そこで本記事では、Pythonの組み込み型や標準ライブラリを対象に、リストと似たコレクション型をどのように使い分けるか？の案をフローチャート化しました。それぞれの特徴や使い方を、次章にて解説していきます。 用語の整理 先に、解説で使用する用語をざっくり整理します。 コレクション(Collection)型
2023/7/12にGithub Merge QueueがGAになりました。 https://github.blog/changelog/2023-07-12-pull-request-merge-queue-is-now-generally-available/ 機能のパッと見はPRをただキューに積んでくれるだけで「何が嬉しいんだろう？」と思う人も多そうなので、何が嬉しいのか事例付きで紹介できればと思います。 TL;DR 「PRの時点ではコンフリクトも無いしCIも通っているがマージしたらCI落ちた」というのが割とよくある 上記の対策として「マージ前にmain rebaseしてCIを再度回し、問題無いことを確認してからマージする」という作業を手動で行うしか無い Merge Queueを使用することでマージ後のCIチェックを自動化し、問題ある場合はマージせずに差し戻すことが可能になる Tab
Solid Queue のパフォーマンス特性に関する検証と考察 | BLOG - DeNA Engineering
はじめに ゲームサービス事業本部の三軒家です。 社内のとある Ruby on Rails プロダクトにて、ジョブキューシステムのバックエンドを Solid Queue に移行するプロジェクトを推進しています。 この記事では、Solid Queue への移行に際して実施した負荷試験の様子と、その結果として得られた Solid Queue のパフォーマンス特性に関する知見についてご紹介しようと思います。 TL; DR Solid Queue は、シングルスレッドな設定において、 1000 job/s 程度のスループットを安定して処理することができる 1000 job/s = 86400000 job/day なので、8000万 job/day ということになる 37signals1 の DHH氏は Tens of millions of daily HEY jobs now run off S
Sidekiq と Solid Queue の機能比較 - Kaigi on Rails day2 Sidekiq vs Solid Queue によせて - Techouse Developers Blog
Kaigi on Rails 2024 に参加しました こんにちは、クラウドハウス採用でエンジニアインターンをしている Higashiji です。 10 月の 25・26 日、Ruby on Rails についてのカンファレンス、 Kaigi on Rails 2024 が開催されました。 弊社からは新卒エンジニアの @izumitomo が「デプロイを任されたので、教わった通りにデプロイしたら障害になった件 ～俺のやらかしを越えてゆけ～ 」というセッションで登壇しました。 スライドがアップロードされているので、興味を持っていただけた方はぜひご覧になってください。 私はこれまでカンファレンスに参加したことがなかったのですが、カンファレンス参加費補助制度を使って初めて参加させていただきました。 本記事では、Shinichi Maeshima (@willnet) さんによるセッション Sid
Introduction⌗ Postgres queue tech is a thing of beauty, but far from mainstream. Its relative obscurity is partially attributable to the cargo cult of “scale”. The scalability cult has decreed that there are several queue technologies with greater “scalability” than Postgres, and for that reason alone, Postgres isn’t suitably scalable for anyone’s queuing needs. The cult of scalability would rathe
Rails: Solid Queueで重要なUPDATE SKIP LOCKEDを理解する（翻訳）｜TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: Solid Queue & understanding UPDATE SKIP LOCKED - BigBinary Blog 原文公開日: 2024/01/23 原著者: Chirag Shah サイト: BigBinary Blog 日本語タイトルは内容に即したものにしました。 参考: 週刊Railsウォッチ20240117: Solid Queue: 37signalsによるActive Job向けDBベースのジョブバックエンド 🔗 Solid Queueについて 最近になって、37signalsがSolid Queueをオープンソースとして公開しました（関連記事）。 Solid QueueはActive Jobで利用できるクエリバックエンドであり、データベース上に構築されます（これと対照的に、SidekiqやResqu
You don't need Kafka: Building a message queue with only two UNIX signals
You don't need Kafka: Building a message queue with only two UNIX signals Have you ever asked yourself what if we could replace any message broker with a very simple one using only two UNIX signals? Well, I'm not surprised if you didn't. But I did. And I want to share my journey of how I achieved it. If you want to learn about UNIX signals, binary operations the easy way, how a message broker work
Pull Request Merge Queue is now available in limited beta. Learn more about the feature and how to request early access. Why a merge queue? Maintaining high velocity and keeping your main branch green can be a challenge today. Many repositories try to do this by requiring all pull requests be up to date with the main branch before merging. This ensures the main branch is never updated to a commit
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
Kaigi on Rails 2025で登壇で作成した資料です。 会社の非同期処理の基盤をDelayedからSolid Queueにした話をもろもろ書きました。
ぶらり組込みRustライブラリ探索の旅 BBQueue編 -スレッドセーフなSingle Producer Single Consumer Queue- - Nature Engineering Blog
ファームウェアエンジニアの中林 (id:tomo-wait-for-it-yuki) です。あけましておめでとうございます。 今年の目標はNature Remoのファームウェア開発にRustを導入すること、です。そこで引くに引けない状況を作り出すためにRustに関するブログエントリを書き、既成事実を積み上げていきます。 ぶらり組込みRustライブラリ探索の旅、と題して組込みRustで使えるライブラリをゆるく紹介していくシリーズをやりたいと思います。第一弾はBBQueueです。 BBQueue 本エントリ内で紹介する使い方や内部実装は、v0.5.1をもとにしています。 github.com https://docs.rs/bbqueue/0.5.1/bbqueue/ 特徴 BBQueueはno_stdで使えるだけでなく、スレッドセーフで、排他制御なしに使える Single Producer
Introducing Solid Queue
A new DB-based queuing backend for Active Job that we open-sourced today. We’ve just open-sourced Solid Queue, a new backend for Active Job that we use in HEY to run about 1/3 of our roughly 18 million jobs per day. We’ll be moving more jobs in the coming days until we run HEY exclusively using Solid Queue. Besides regular job enqueuing and processing, Solid Queue supports delayed jobs, concurrenc
Rails: SidekiqからSolid Queueに移行したときの方法と注意点（翻訳）｜TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: How we migrated from Sidekiq to Solid Queue - BigBinary Blog 原文公開日: 2024/03/05 原著者: Chirag Shah 日本語タイトルは内容に即したものにしました。 私たちBigBinaryは、neetoでさまざまなプロダクトを構築しています。現在22のプロダクトを開発中で、それらはいずれもSidekiqを利用しています。Solid Queueが公開された後で、私たちのneetoFormで使われているSidekiqをSolid Queueに移行する決定を下しました。 なお、現時点のSolid Queueはcronスタイルのジョブや定期的に繰り返されるジョブ実行をサポートしておらず、これに関するプルリク#155がオープンされています。そういうわけで、Solid
goqite is a persistent message queue Go library built on SQLite and inspired by AWS SQS (but much simpler)
goqite (pronounced Go-queue-ite) is a persistent message queue Go library built on SQLite and inspired by AWS SQS (but much simpler). $ go get maragu.dev/goqite See goqite on Github Examples Queue package main import ( "context" "database/sql" "fmt" "log/slog" "os" "time" _ "github.com/mattn/go-sqlite3" "maragu.dev/goqite" ) func main() { log := slog.Default() // Setup the db db, err := sql.Open("
May 3, 2023 Volume 21, issue 2 PDF DevEx: What Actually Drives Productivity The developer-centric approach to measuring and improving productivity. Abi Noda, DX Margaret-Anne Storey, University of Victoria Nicole Forsgren, Microsoft Research Michaela Greiler, DX Engineering leaders have long sought to improve the productivity of their developers, but knowing how to measure or even define developer
Pull request merge queue is now generally available! - GitHub Changelog
Pull request merge queue is now generally available! Today we are announcing the general availability of pull request merge queue! 🎉 Merge queue helps increase velocity in software delivery by automating pull request merges into your busiest branches. Before merge queue, developers would often need to update their pull request branches prior to merging to ensure their changes wouldn't break the m
GitHub - rails/solid_queue: Database-backed Active Job backend
Solid Queue is a database-based queuing backend for Active Job, designed with simplicity and performance in mind. In addition to regular job enqueuing and processing, Solid Queue supports delayed jobs, concurrency controls, recurring jobs, pausing queues, numeric priorities per job, priorities by queue order, and bulk enqueuing (enqueue_all for Active Job's perform_all_later). Solid Queue can be u
Queue-itなしのピークトラフィック時 スケーリング費用が急激に増加 サイト障害や売り越しが発生 ボットによる正規カスタマーの購入を妨害 ユーザー体験の低下によりブランドの信頼損失 Queue-itありのピークトラフィック時* 平均33%のデータベース増強コストを削減 80%の顧客がより効率的な販売を実施 81%の顧客がより公平な販売を提供 88%の顧客がユーザー体験向上に成功
Photo by Ryutaro Uozumi on Unsplashモチベーション2023/02/09 に GitHub の Pull request merge queue が public beta ステータスでリリースされた。 うまく動かないところや、ドキュメントからは読み取れない動きがあったのでまとめる。 public beta リリース時点での検証のため、今後の修正や仕様変更で動作が変わる可能性が大いにある 概要 branch protetion のルールを守りながら、更新頻度の高いブランチ (main ブランチなど) へのマージを、安全に行えるもの。branch protection が設定された branch に対して merge queue を有効化できる。branch protection のルールを全て満たした PR のみ merge queue に追加することができ
RedisとAWS設定から解放！Solid Queueで実現する、RailsアプリのDB完結型ジョブスケジューリング - stmn tech blog
🏁 はじめに 株式会社スタメンにてプラットフォーム部で SRE / DevEx などに取り組んでいるもりしたです。今回は Ruby on Rails アプリケーションに Solid Queue を導入したお話を書こうと思います。 こんな人に読んでもらえるとうれしく思います。 Solid Queue に興味がある Ruby on Rails アプリケーションで手軽に定期実行ジョブを作りたい すでに稼働している定期実行ジョブの Solid Queue へのリプレイスを検討している 💡 Solid Queueとは？ DB完結型ジョブキューの基礎 Solid Queue は Active Job 向けに設計された、DBベースのキューイングバックエンドです。 Sidekiq や Resque のように Redis などの外部サービスが不要 Recurring Tasks 機能を利用することで C
New – Enhanced Dead-letter Queue Management Experience for Amazon SQS Standard Queues | Amazon Web Services
AWS News Blog New – Enhanced Dead-letter Queue Management Experience for Amazon SQS Standard Queues Hundreds of thousands of customers use Amazon Simple Queue Service (Amazon SQS) to build message-based applications to decouple and scale microservices, distributed systems, and serverless apps. When a message cannot be successfully processed by the queue consumer, you can configure Amazon SQS to st
【Python】multiprocessing.Queueを活用した並列処理の最適化（サンプルコード付き） - Sabrou-mal サブロウ丸
Pythonでプロセス並列処理を効率的に行うためのツールとして、multiprocessing.Poolは非常に便利です。しかし、下記のような状況では並列化により逆に処理速度が低下することがあります。 data = xxx # 非常に大きなオブジェクト (巨大なリストなど) def func(data, i, j): """並列化したい関数: data、i、jの3つの引数を受け取り、何かの処理を実行する関数""" return data[i] + data[j] # funcの入力 args = [ (data, i, j) for i in range(10) for j in range(10) ] with multiprocessing.Pool as pool: pool.map(func, args) これはなぜかというと、multiprocessing.Poolやmultip
Kaigi on Rails 2024で Sidekiq vs Solid Queueというタイトルで発表した - おもしろwebサービス開発日記
表題の通り、発表してきました。 Sidekiq vs Solid Queue | Kaigi on Rails 2024 スライドはこちら。 発表に至るまでの道のり イベントの懇親会などでエンジニアの人と話しているときに「最近気になっているgemあります？」のような質問に「Solid Queueですかねえ」と返すと「なんですかそれ？」と聞かれたりする イベントの懇親会などでSidekiqを使っている会社さんの中の人にProやEnterpriseつかってます？と聞くと「なんですかそれ？」と聞かれたりする 新しいRailsで標準になったが、既存のRailsアプリケーションには影響がないもの(例: importmaps)に対して「Railsアップグレードするならこれ対応しないといけないですか？」と聞かれたりする SidekiqとSolid Queueをお題にして話せばこの手の疑問を一気に解決でき
SQL Maxis: Why We Ditched RabbitMQ And Replaced It With A Postgres Queue
We recently ripped out RabbitMQ from our system and replaced it with a queue built on top of our Postgres db and written in SQL. The change took half a day to implement + test, and had a net delta of -580 LOC. Much more importantly, it drastically improved the reliability and resiliency of our system. This is a writeup of that change, the rationale behind it, and how we did it. Note: this is not a
This article was discussed on Hacker News. While considering concurrent queue design I came up with a generic, lock-free queue that fits in a 32-bit integer. The queue is “generic” in that a single implementation supports elements of any arbitrary type, despite an implementation in C. It’s lock-free in that there is guaranteed system-wide progress. It can store up to 32,767 elements at a time — mo
GitHub - NikolayS/pgque: PgQue – Zero-bloat Postgres queue. One SQL file to install, pg_cron to tick.
Zero-bloat Postgres queue. One SQL file to install, pg_cron to tick. Discussion on Hacker News. For teams who want a durable event stream inside Postgres. The model is closer to Kafka (log) than to ActiveMQ or RabbitMQ (task message queue). Shared event log, independent per-consumer cursors, zero bloat under sustained load. Pure SQL and PL/pgSQL, any Postgres 14+ — managed or self-hosted, no sidec
GitHub - pgmq/pgmq: A lightweight message queue. Like AWS SQS and RSMQ but on Postgres.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Redis不要のSolid QueueはSidekiq OSSに勝てるのか？Rails 8で非同期処理を徹底比較
背景と目的 Rails8.0 ではActive Jobの機能が拡充されたことに加え、これまでの Sidekiq や Resque などに加えて、新たに Solid Queue という選択肢が提示されました。しかしながら、Sidekiq の公式ドキュメントでは以下のような性能差が示唆されています： Active Job 経由と Sidekiq ネイティブ使用で 約1.2倍の差 Solid Queue と比較すると 最大15倍の差 果たしてこれらの差は現実にどの程度再現されるのか？ また、Solid Queue を使う場合に Sidekiq に並ぶ性能を発揮するにはどのような設定が必要なのか？ OSS ライセンスの範囲内で各方式の性能を定量的に検証しました。 実験環境 実験環境としては筆者のPCにてDocker Desktopのコンテナを利用しました。 Ruby: 3.3.5 Rails: 8
July 2, 2025 Volume 23, issue 3 PDF When Is WebAssembly Going to Get DOM Support? Or, how I learned to stop worrying and love glue code Daniel Ehrenberg Is WebAssembly (Wasm) really ready for production usage in web applications, even though that usage requires integration with a web page and the APIs used to manipulate it, such as the DOM? Simultaneously, the answer to this question is that "Wasm
River: a Fast, Robust Job Queue for Go + Postgres — brandur.org
Years ago I wrote about my trouble with a job queue in Postgres, in which table bloat caused by long-running queries slowed down the workers’ capacity to lock jobs as they hunted across millions of dead tuples trying to find a live one. A job queue in a database can have sharp edges, but I’d understated in that writeup the benefits that came with it. When used well, transactions and background job
Cloudflare WorkersログをR2+Queue+digdag+embulk+BigQuery で安価にETLする方法
カウンターワークスで主にDevOpsなところでお手伝いしている@tchikubaです。ベンチャー企業のTech支援やアジャイルコーチ、エンジニア向け研修など複数社に関わっています。 ✍️ はじめに Cloudflare Workers を本番環境で運用していると、避けて通れないのが「ログ基盤」の問題です。 カウンターワークスの環境では、Workers は単なるフロントの CDN としてだけではなく、 リバースプロキシとしての役割を持ち パスルールに応じて Vercel（Next.js） Rails API（ECS/Fargate） Go API（ECS/Fargate） メディア（WordPress or Cloudflare Workers） へリクエストを正しく振り分ける という、複数バックエンドの“ゲートウェイ”として機能しています。 カウンターワークスのシステム構成 この構成では、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sidekiq vs Solid Queue
Pull request merge queue (public beta) - GitHub Changelog
Kernel Queue: The Complete Guide On The Most Essential Technology For High-Performance I/O
Github Merge Queueの何が嬉しいのか | ymtdzzz.dev
Choose Postgres queue technology
Pull Request Merge Queue Limited Beta - GitHub Changelog
GitHub merge queue is generally available
非同期処理実行基盤 Delayed脱出 → Solid Queue完全移行への旅路。
DevEx: What Actually Drives Productivity - ACM Queue
ECサイト・申請登録のアクセス集中対策ならQueue-itの仮想待合室
GitHub の merge queue を試してみて分かったこと
A lock-free, concurrent, generic queue in 32 bits
「AIは1つの質問の裏で最大33回検索する」Queue調査 ChatGPTはGeminiの1.6倍の「裏側検索」を実行
When Is WebAssembly Going to Get DOM Support? - ACM Queue
note.com/udiscover
pikao.hatenablog.com
www.youtube.com
newsdig.tbs.co.jp
finance.biggo.jp
www.nikkei.com