Resque っていう Rake と Redis を使った Job Queue があるんだけど、これの味見をしようとしてハマったのでメモ。ハマった原因は Resque 2.0 系をインストールしてしまって混乱した感じ。 Redis インストールCentOS なので yum で入れる $ sudo yum --enablerepo=epel install -y redis Resque インストール#Gemfile gem "resque" $ bundle install --path vendor/bundle 注意：ここで gem "resque", github: "resque/resque" などとやってしまうと 2.0系が入って混乱する。上のように rubygems からインストールする。あと github のページも 1.x 系は https://github.com/re
This article was discussed on Hacker News. While considering concurrent queue design I came up with a generic, lock-free queue that fits in a 32-bit integer. The queue is “generic” in that a single implementation supports elements of any arbitrary type, despite an implementation in C. It’s lock-free in that there is guaranteed system-wide progress. It can store up to 32,767 elements at a time — mo
とろけるチーズたっぷりのチーズナンで食べる｜ラムカレー＆バターチキンカレー+翌朝ポテトオムレツ - Queue du Têtard オタマジャクシのしっぽ
Lamb curry and Butter Chicken curry｜Cheese Naan with Lamb Seekh Kebab とろけるチーズたっぷりのチーズナンで食べる ラムカレー＆バターチキンカレー｜ 久々にチーズナンでカレーが食べたいと言う友人。 じゃあ、小さめのカレーを二種類でどうかと提案したら 「バターチキンカレーがいい！」 「そしたらもう一個は少し辛いラムカレーにしよう」 ラムのランプ肉があるから、それでカレーとケバブに。 ラムカレー｜ 大きめにざっくり切ってヨーグルト+カイエンペッパー+ コリアンダー+ターメリック+ジンジャーのパウダースパイスに からめてからジップロックに入れて冷蔵庫のチルドルームに。 マスタードをオイルで香り出しし、火を止め オイルの余熱でショウガ+ニンニクを加熱。 冷凍の炒めタマネギを加えて焦がさないよう加熱し、 刻んだトマト+トマトペースト
RedisのSorted Setsで簡易的な遅延実行Queueを作って迅速にLINE LIVEのPC配信対応をリリースした話
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog みなさんこんにちは、LINE LIVE開発のYappoです。 今回は先日リリースされました一般向けのPC配信機能を実装するときに作った簡易的な遅延実行Queueについて書いていこうと思います。 関連エントリ：LIVE PRESS 公式ブログ - ゲーム実況にもぴったり！LINE LIVEでPC横型ライブ配信を試してみよう 背景 今までのLINE LIVEでの配信方法としては、アプリ上で直接配信する方法と、公式アカウント向けの専用画面(LINE OFFICIAL ACCOUNT MANAGER)とRTMPソフト(もしくは専用機材)を利用してPCからの配信する方法がありました。 この2つの方法は全く違う仕組みで実装されるように見え
Celery - Distributed Task Queue — Celery 3.0.11 documentation
Documentation has moved Celery is now using Read the Docs to host the documentation for the development version, where the pages are automatically updated as new changes are made (YAY!) The new location for this page is: http://docs.celeryproject.org/en/master/index.html. If you wanted documentation for the latest stable version instead, please go to: http://docs.celeryproject.org/en/latest/index.
es_rejected_execution_exceptionが出たのでthread_pool.bulk.queue_sizeを増やした - wyukawa's diary
題記の通りです。 fluent-plugin-elasticsearch 1.9.3からElasticsearch 5.3に書き込んでから下記のようなエラーがたまに出てるのに気付きました。 Could not push log to Elasticsearch: {...{"index"=>{"_index"=>"hoge-2017.03.31", "_type"=>"fluentd", "_id"=>"...", "status"=>429, "error"=>{"type"=>"es_rejected_execution_exception", "reason"=>"rejected execution of org.elasticsearch.transport.TransportService$7@1aa442ab on EsThreadPoolExecutor[bulk, que
tombloo/patches/model.Tumblr.queue.js at d5d7a247ef0ced18c6e6347116ab9996cc46c682 · to/tombloo
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Amazon Simple Queue Service (SQS) – 15 年が経過した今もキューを実行中! | Amazon Web Services
Amazon Web Services ブログ Amazon Simple Queue Service (SQS) – 15 年が経過した今もキューを実行中! 時の流れは早いものです! 私は、2006 年に Amazon Simple Queue Service (SQS) の本稼働の開始についての記事を書きました。その頃は、15 年後にまだブログを書いていること、そして、このサービスが、非常に多くの異なるタイプのウェブスケールアプリケーションのアーキテクチャの基本でありながら、引き続き急速な成長を続けていることは考えてもいませんでした。 SQS の最初のベータ版は、2004 年後半にひっそりと発表されました。そのベータ版以降、当社は多くの機能を追加しましたが、元の説明 (「分散アプリケーションコンポーネント間でメッセージをバッファリングするための信頼性が高くスケーラブルなホストされたキュ
週刊Railsウォッチ（20200811山の日短縮版）RSpec Queueでパラレルテスト、カロリーメイトとRubyのコラボ、Rubyのcoercionほか｜TechRacho by BPS株式会社
2020.08.11 週刊Railsウォッチ（20200811山の日短縮版）RSpec Queueでパラレルテスト、カロリーメイトとRubyのコラボ、Rubyのcoercionほか こんにちは、hachi8833です。昨日は山の日ということで短縮版でお送りします。 回答しそびれましたが、Ruby 2.7のirbがとてもよくなったので自分も最近pryを使わなくなってました。 Rubyプログラマのみなさんにアンケート！REPL（対話型インタプリタ）はirbとpry、どっちを使ってますか！？何か強いこだわりがあればコメントも一緒にお願いします！ — Junichi Ito (伊藤淳一) (@jnchito) August 8, 2020 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）
Update: I did mention that lock free data structures are really hard to write, it looks like there might be some issues that haven’t been addressed in the implementation of this LF Queue that we’re referencing. The rest of the analysis is still valid and hopefully useful to you, just know there’s actually more that needs to be done, don’t try to use that code for a mission critical application out
Posted by Jeff Vander Stoep, Android Security & Privacy Team and Chong Zhang, Android Media Team Android Q Beta versions are now publicly available. Among the various new features introduced in Android Q are some important security hardening changes. While exciting new security features are added in each Android release, hardening generally refers to security improvements made to existing componen
索引 ├ 使い方 目次 └ バグノート(1) 1章：jQuery入門 ├ jQueryのメリット ├ readyイベント ├ オブジェクトについて ├ メソッドについて ├ 情報の取得 ├ イベント(1) ├ イベント(2) └ 初歩なサンプル 2章：jQuery基礎 ├ thisについて(1) ├ thisについて(2) ├ jQueryとDOM要素 ├ 簡単な演出 ├ thisから辿る ├ 汎用的なアニメ(1) ├ 汎用的なアニメ(2) ├ アニメの停止 ├ アニメを管理する仕組み └ 汎用的なアニメ(3) 3章：jQuery発展 ├ イベントフロー(1) ├ イベントフロー(2) ├ イベントフロー(3) ├ 画像のプリロード ├ jQueryの高速化 └ メソッドチェーン 番外編：研究 ├ イベントを外す ├ cssアニメとの連携(1) ├ cssアニメとの連携(2) ├ cssア
GAE の Task Queue についてざっくり。 具体的な実装に関しては別エントリに書こうと思います。 Overview アプリケーションの処理（task）を Task Queue API に渡す（queue）ことでユーザーからのリクエスト外で非同期に処理させることができる task はスケーラブルな GAE の Worker モジュールによってバックグラウンドで処理される Task Queue には以下の2つのタイプがある Push queues queue を処理する間隔をあらかじめスケジュールすることができる queue は GAE のモジュールへのリクエストとして処理される task の処理には期限がある 自動的にスケーリングするモジュールで処理するものは 10 分以内 そうでないモジュールで処理するものは 24 時間以内 Pull queues GAE は queue を処理
プルクデル・クンタン｜インドネシアのポテト・フリカデル - Queue du Têtard オタマジャクシのしっぽ
Perkedel Kentang｜Potato Frikadel/Frikadeller プルクデル・クンタン｜インドネシアのポテト・フリカデル プルクデルは、オランダ料理の影響でFrikadel/Frikadeller←コレは挽肉料理 から派生したとか。 プルクデル・クンタン（ジャガイモ）は 衣のないポテト・コロッケみたいな感じ。 でも、衣が付いたコロッケもKroket Kentangクロケット・クンタンと 呼ばれて売られてる。中身は鶏肉だったり、アボンが入ってたり。 （アボンは味付した肉や魚を細かく裂いたもので、日本の田麩でんぶやおぼろ風の食材） だけど、何にでも小さな激辛青唐辛子が 必ず添えられてるのがインドネシア流。 作り方｜ 素揚げしたジャガイモを粗くつぶして、 バワンメラ（赤小タマネギ）+ニンニク+牛挽肉←をまとめて炒めたもの+ スープセロリ+ワケギ+塩+ホワイトペッパー+ナツ
Amazon SQSのDead Letter Queueにメッセージが移動するタイミングを調べてみた | DevelopersIO
次にQueueにデータをsend_message、receive_message、するプログラムをPythonで書いていきます。 前提 今回はMac上で試しますが、AWS CLIの aws configure で、アクセスキー、シークレットキー、デフォルトリージョンが設定されているものとして作業を進めていきます。 環境構築 いつもの virtualenv を作成し、パッケージを boto3 と click というモジュールを入れます。 （参考: Welcome to the Click Documentation — Click Documentation (5.0)） $ virtualenv venv $ . venv/bin/activate (venv)$ pip install -U pip (venv)$ pip install boto3 click ソースコード (run.
About RestMQ is a message queue which uses HTTP as transport, JSON to format a minimalist protocol and is organized as REST resources. It stands on the shoulder of giants, built over Python, Twisted, Cyclone (a Tornado implementation over twisted) and Redis. Message queues are created on the fly, as a message is sent to them. They are simple to use as a curl request can be. There is a simple JSON-
Product: Resque - GitHub's Distrubuted Job Queue - High Scalability -
Queuing work for processing in the background is a time tested scalability strategy. Queuing also happens to be one of those much needed tools where it easy enough to forge for your own that we see a lot of different versions made. Resque is GitHub's take on a job queue and they've used it to process million and millions of jobs so far. What is Resque? Redis-backed library for creating background
Message Attributes for the Amazon Simple Queue Service | Amazon Web Services
AWS News Blog Message Attributes for the Amazon Simple Queue Service Way back in November of 2004 I wrote that “The Simple Queue Service offers a reliable, highly scalable hosted queue for buffering messages between distributed application components.” In the intervening years, we have enhanced SQS with additional features, while keeping in mind that “Simple” is part of the product’s name and appe
GitHub - mission-liao/dingo: An easy-to-use, distributed, extensible task/job queue framework for #golang
I initiated this project after machinery, which is a great library and tends to provide a replacement of Celery in #golang. The reasons to create (yet) another task library are: To make sending tasks as easy as possible Await and receive reports through channels. (channel is a natural way to represent asynchronous results) I want to get familiar with those concepts of #golang: interface, routine,
One of the reasons I was keen to use GitHub for hosting controlled files at work was because of the slick chrome that GitHub puts on a lot of Git operations. It meant that some of our less technical users could still benefit from using a DVCS without having to understand a lot about remotes or merging. Unfortunately, it turns out that the most important piece of this chrome is totally unsuitable f
Redis不要のSolid QueueはSidekiq OSSに勝てるのか？Rails 8で非同期処理を徹底比較
背景と目的 Rails8.0 ではActive Jobの機能が拡充されたことに加え、これまでの Sidekiq や Resque などに加えて、新たに Solid Queue という選択肢が提示されました。しかしながら、Sidekiq の公式ドキュメントでは以下のような性能差が示唆されています： Active Job 経由と Sidekiq ネイティブ使用で 約1.2倍の差 Solid Queue と比較すると 最大15倍の差 果たしてこれらの差は現実にどの程度再現されるのか？ また、Solid Queue を使う場合に Sidekiq に並ぶ性能を発揮するにはどのような設定が必要なのか？ OSS ライセンスの範囲内で各方式の性能を定量的に検証しました。 実験環境 実験環境としては筆者のPCにてDocker Desktopのコンテナを利用しました。 Ruby: 3.3.5 Rails: 8
Queue::Q4M - D-6 [相変わらず根無し]
Queue::Q4M 最近ちょろちょろと動かしているQ4M、Perlラッパーを作っちゃいました。 使い方はこんな感じ（SYNOPSISそのまんまだけど） use Queue::Q4M; my $q = Queue::Q4M->connect( connect_info => [ 'dbi:mysql:dbname=mydb', $username, $password ], table => 'q4m' ); for (1..10) { $q->insert(\%fieldvals); } while ($q->next) { my ($col1, $col2, $col3) = $q->fetch(\@fields); print "col1 = $col1, col2 = $col2, col3 = $col3\n"; } while ($q->next) { my $cols =
Async, Persistent, Fast, and Stable "Enought" Queue/Worker Using Go and PostgreSQL
Async, Persistent, Fast, and Stable "Enought" Queue/Worker Using Go and PostgreSQL
コミット前レビュー 作業順序と異なる順序で履歴に記録したい 固有修正を継続的に保守したい MQ 管理領域の履歴管理 コミット前レビュー レビュアーによるレビューを済ませるまでは、共有リポジトリへの成果反映をさせたくない 『コミット前レビュー』によって、レビュアーから変更内容に対する何らかの指摘があった場合、指摘事項を反映させる必要があるため、何度も変更のやり直しを行う必要がある。 MQ を使用した作業手順 典型的な作業手順は以下の通り。 修正内容を MQ のパッチに記録する ("hg qnew" + "hg qrefresh") レビュアーに修正内容パッチを送付 レビュアーはパッチをレビューし、採用の可否を判定 採用された場合: パッチを共有リポジトリに取り込む (誰が取り込むかは運用規則次第) 修正担当は、MQ 管理下のパッチを破棄 ("hg qdelete") 採用されない場合: レビ
Implementing a queue for LINE LIVE PC transmission - LINE ENGINEERING
! This post is also available in the following languages. Japanese, Korean Greetings, this is Yappo, in charge of LINE LIVE development. On this blog post, I will introduce a queue for delaying tasks, created for transmitting LINE LIVE service from users’ PC. How LINE LIVE was broadcasting We used to have two ways to broadcast LINE LIVE. One is to broadcast directly from the LINE LIVE app and the
Containers Will Not Fix Your Broken Culture (and Other Hard Truths) - ACM Queue
February 5, 2018 Volume 15, issue 6 PDF Containers Will Not Fix Your Broken Culture (and Other Hard Truths) Complex socio-technical systems are hard; film at 11. Bridget Kromhout We focus so often on technical anti-patterns, neglecting similar problems inside our social structures. Spoiler alert: the solutions to many difficulties that seem technical can be found by examining our interactions with
配送キューの（簡易）統計情報を確認 キューに溜まったままのメッセージがあるかを確認する。 # /var/qmail/bin/qmail-qstat messages in queue: 1 messages in queue but not yet preprocessed: 0溜まったメッセージキューのヘッダを部分表示 キューを操作するために、メセージIDを調べる。 # /var/qmail/bin/qmail-qread 16 Nov 2011 00:00:00 GMT #30000 xxx <foo@example.com> remote bar@example.orgプロセスを停止 # svc -d /var/qmail/service/qmail # svstat /var/qmail/service/qmail /var/qmail/service/qmail: down 2
GAE SDK (Java) 1.2.5 から、Task Queue がサポートされて、appengine-apis (0.0.9) にも早速実装されているようなので試してみました。 taskqueue という適当なタスク追加アプリケーションを sinatra で作ってみます。 ローカルでのみ確認しています。 $ mkdir taskqueue $ cd taskqueue $ sudo gem install google-appengine $ appcfg.rb gem install sinatra appengine-apis config.ru require 'appengine-rack' AppEngine::Rack.configure_app :application => 'taskqueue', :version => 1 require 'taskqueue'
GitHub - closeio/tasktiger: Python task queue using Redis
Per-task fork or synchronous worker By default, TaskTiger forks a subprocess for each task, This comes with several benefits: Memory leaks caused by tasks are avoided since the subprocess is terminated when the task is finished. A hard time limit can be set for each task, after which the task is killed if it hasn't completed. To ensure performance, any necessary Python modules can be preloaded in
May 12, 2021 Volume 19, issue 2 PDF Biases in AI Systems A survey for practitioners Ramya Srinivasan and Ajay Chander A child wearing sunglasses is labeled as a "failure, loser, nonstarter, unsuccessful person." This is just one of the many systemic biases exposed by ImageNet Roulette, an art project that applies labels to user-submitted photos by sourcing its identification system from the origin
November 29, 2011 Volume 9, issue 11 PDF Bufferbloat: Dark Buffers in the Internet Networks without effective AQM may again be vulnerable to congestion collapse. Jim Gettys, Bell Labs, Alcatel-Lucent; and Kathleen Nichols, Pollere Inc. Note: Be sure to read the companion article to this one, BufferBloat: What's Wrong with the Internet?. - Ed. Today's networks are suffering from unnecessary latency
January 20, 2016 Volume 13, issue 9 PDF Immutability Changes Everything We need it, we can afford it, and the time is now Pat Helland There is an inexorable trend toward storing and sending immutable data. We need immutability to coordinate at a distance, and we can afford immutability as storage gets cheaper. This article is an amuse-bouche sampling the repeated patterns of computing that leverag
【Rails】delayed_jobのenqueue方法とqueue(非同期処理)実行方法についてまとめ - 訳も知らないで
Railsで非同期処理を行うためのgemであるdelayed_jobを使ったので、 キューを入れる方法とそのキューの実行方法をわかった範囲でまとめておこうと。 検証環境(version) Rails 3.2.11 delayed_job 4.0.0 delayed_job_active_record 4.0.0 今回はキューをActiveRecord経由でDB(mysql)に保存しました。 他のデータストア使う場合は 少し異なる内容があるかもしれません。 導入方法や詳細はGithub等見てください！ collectiveidea/delayed_job · GitHub collectiveidea/delayed_job_active_record · GitHub enqueue方法 1，Hogeクラスのインスタンスメソッドfugaを非同期で実行したい(enqueueしたい) このよう
【コラム】実践! iPhoneアプリ開発 (12) 楽器アプリの作り方 (3) - Audio Queueを使う | エンタープライズ | マイナビニュース
今回は、Audio Queueを使ってみよう。Audio Queueは、Audio Toolboxフレームワークの中において、主役と呼べるライブラリだ。柔軟なオーディオの再生が可能になる。 楽器アプリを実現するためのライブラリとして、前回はSystem Sound Serviceを使った。今回のAudio Queueがこれと大きく異なるのは、再生音の繰り返しの有無である。Audio Queueを使えば、任意のポイントで繰り返し再生を行う事ができるようになるのだ。これにより、楽器アプリの表現力は大きく広がる事になる。 Audio Queueとバッファ Audio Queueの特徴は、名前の通り、音データをキューイングすることだ。音データを格納するためのバッファを複数用意して、そこにデータを格納してキューを作成する。バッファへのデータの格納は、アプリケーションへのコールバックで行われる。 Au
Starling: A Ruby Persistent Queue Server That Speaks Memcached
Ruby Weekly is a weekly newsletter covering the latest Ruby and Rails news. It's been around for a while now, but Starling is a "light-weight persistent queue server that speaks the MemCache protocol." Starling makes it ridiculously easy to set up a network-accessible queue (or many queues) for, say, asynchronous job processing between multiple processes and machines. It was developed by Twitter t
1) UsersController GET #show when an user is logged in, returns https status 200. Failure/Error: @user = FactoryGirl.create(:user) ActiveRecord::RecordInvalid: Validation failed: Email has already been taken, Name has already been taken # ./spec/controllers/users_controller_spec.rb:9:in `block (4 levels) in <top (required)>' のようにModelのValidationでエラーが発生し、テストに失敗する。 (上記のエラーは、テストデータの投入時にModelのUniquene
今回は、以前のお話で出てきた ruby用のマルチスレッド対応キューと dRubyを用いて作成する部分について書いてみようと思う。 キューの仕掛けを使わなくてもいいかもしれないが、キューの話なのであえてdrubyとキューベースの記述をしている dRubyについて drubyは、説明によると、以下のようにある。 dRubyはRubyのメソッド呼び出しを拡張し、ネットワーク越しにメソッド呼び出しを行なえるようにするライブラリです。 JavaのRMIやHORBをイメージすると近いです。 という事で、ネットワーク越しに、当然プロセス越しにメソッド呼び出しが行える。 最初出合った頃は、右の書籍が出ていた。最近は左の書籍が出ているそうなので、そちらを参考にするといいかも。 dDubyの考え方 dRuby は サーバとクライアントのように分けることが出来る。厳密に分けないといけないかどうかは悩むが、今回は
GitHub - sandglass/sandglass: Sandglass is a distributed, horizontally scalable, persistent, time sorted message queue.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
2013年02月05日 情報科学類 オペレーティングシステム II 筑波大学 システム情報工学研究科 コンピュータサイエンス専攻, 電子・情報工学系 新城 靖 <yas@cs.tsukuba.ac.jp> このページは、次の URL にあります。 http://www.coins.tsukuba.ac.jp/~yas/coins/os2-2012/2013-02-05 あるいは、次のページから手繰っていくこともできます。 http://www.coins.tsukuba.ac.jp/~yas/ http://www.cs.tsukuba.ac.jp/~yas/ ■今日の大事な話 割り込みの前半部と後半部の分離 Softirq Tasklet Work Queue 後半部の仕組みの選択 ■割り込み、後半部 割り込みの問題点 より優先度の高い処理よりも、優先度の低い割り込み処理が先に実行され
【コラム】実践! iPhoneアプリ開発 (13) 楽器アプリの作り方 (4) - Audio Queueを使う | エンタープライズ | マイナビニュース
前回はAudio Queueとバッファを作成するところまで説明を行った。今回は、バッファにデータを格納して、音を再生する手順を説明しよう。 オーディオキューからのコールバック Audio Queueにオーディオデータを渡すには、作成時に登録したコールバック関数を使う事になる。コールバックの仕組みに関する大枠は、前回も紹介したAppleのドキュメントを参考にしてほしい。 コールバック関数自体は、C関数として登録する事になる。だが、この関数の中で様々な処理を行うのは都合が悪い。なぜなら、Audio Queueの管理はObjective-Cのコントロールクラスで行っているからだ。そこで、コールバックであるC関数からは、すぐにObjective-Cメソッドを呼び出してしまうようにしよう。 List 1. static void audioQueueOutputCallback( void* use
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Resque クイックスタート - 簡単に始める Ruby の Job Queue -
A lock-free, concurrent, generic queue in 32 bits
How to write a lock free Queue
Queue the Hardening Enhancements
jQuery入門講座 使い方-queueについて
GAE Task Queue について - Sojiro's Blog
RestMQ - Redis based message queue
github's fork queue is dangerous
Mercurial Queue の適用事例 - 彷徨えるフジワラ
qmailのqueue操作（確認→削除） - 仙台の山奥で自転車に乗ったり転んだり
Ruby で Task Queue - milk1000cc
Biases in AI Systems - ACM Queue
Bufferbloat: Dark Buffers in the Internet - ACM Queue
Immutability Changes Everything - ACM Queue
test-queueでRailsアプリのRSpecの実行時間を短縮する | shimar's blog
RubyとdRubyからマルチスレッド対応Queueの使い方 - M-Tea
割り込みの後半部、Softirq、Tasklet、Work Queue