GoとMySQLを用いたジョブキューシステムを作るときに考えたこと - ゆううきブログ

【追記】2023年3月21日 YAPC::Kyoto 2023で、ジョブキューシステムFireworqの設計と運用実績も含めて発表されました。id:tarao ++ 【加筆修正】 2020年2月16日 執筆時から6年も経過していますが、たまたまこの記事を振り返る機会があったので、日本語がおかしいところを一部修正したり、一緒に取り組んだ方々の名前が書かれていなかったところを修正しました。 【追記】2017年12年24日 このエントリのジョブキュー実装がFireworqという名でOSSとして公開されました。id:tarao ++ github.com この記事ははてなエンジニアアドベントカレンダー2014の4日目です。 前回は Mackerelで採用している技術一覧とその紹介 - Hatena Developer Blog でした。 社内の開発合宿で、 id:taraoさん、id:hakobe

[y_uuki]

さいきょうのしすてむです

[t-wada]

言語非依存な API ベースのジョブキュー設計。ポーリングとイベント通知の動的なモード変更のところで OS や NIC ドライバの設計から着想を得るところが興味深く、幅広い学習が設計のヒントとなる好例と思った

[yo_waka]

GoとMySQLで自社開発するに至ったプロセスと理由が分かりやすい

[Songmu]

力作だ。すごい。

[int128]

ポーリング間隔やキュー取得数のチューニングが面白そう

[hatz48]

“高パケットレート時にはNAPIという仕組み” 勉強になる

[halfrack]

僕が考えた最強のジョブキュー設計議論 / bradfitzすごい...

[luccafort]

ボクのGo力が圧倒的に不足してる面もあるんだろうけどもなんかすごいことやってるという雑な感想しか出てこないくらいすごいことやってるのはわかった。

[korin]

世の中のジョブキューに関する言及もある。いろいろ勉強になる。

[takatoshiono]

すごい。おもしろいなあ

[tanakakoichi9230]

RDBを用いたサービス間連携用メッセージキューの実装について。参考記事へのリンクあり。

[perlcodesample]

HTTPとJSONに限定されると、できることが少ないし、HTTP通信だと、パフォーマンスネックが発生するかなとかがあるなと思った。

[helldeath]

テスト

[nishidy]

PostgresSQL: Advisory Locks（トランザクションとは独立したアプリ主導のロック機構）, Returning句, JSON型 ...

[warufuzaketaichi]

nsqはrdbにキューをストレージ出来ないからいかんのかな…

[sora_h]

ジョブのロストなー

[shusatoo]

勉強になった

[toritori0318]

すごい

[ruicc]

jobQueue, messageQueue

[kasumani]

GoとMySQLを用いたジョブキューシステムを作るときに考えたこと この記事ははてなエンジニアアドベントカレンダー2014の4日目です。 前回は Mackerelで採用している技術一覧とその紹介 - Hatena Developer Blog でした。 Tags: from Pocket

[shibuyads]

2014-12-04 GoとMySQLを用いたジョブキューシステムを作るときに考えたこと Go MySQL JobQueue PostgreSQL この記事ははてなエンジニアアドベ