GCD (Grand Central Dispatch) - Dispatch Queue でマルチスレッドプログラミング
エキスパートObjective-Cプログラミングを読んで覚えたことのまとめ。 システムが管理するマルチスレッドの仕組み。 従来の Objective-C によるマルチスレッドよりも簡潔に記述でき、効率的な処理が可能となる。 Dispatch Queue の種類登録した処理が同期的に実行される Serial Dispatch Queue と 登録した処理が並列実行される Concurrent Dispatch Queue の２種類がある。 Serial DIspatch Queue はスレッド1つを生成して実行される。 Concurrent Dispatch Queue はシステムが管理しているスレッドで実行される。 Dispatch Queue は dispatch_queue_t 型であり, dispatch_queue_create 関数を使用して生成し、 dispatch_relea
fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora
概要 fluentd でサービスの情報を転送し、Kibana で分析したい これまでの過去データを一度に放り込みたい データの件数が合わない Kibana でエラーが発生する 各種設定を見直すことで対応可能 背景 長い長いミーティングに疲れ、集中力を擦り減らしたアナタは 無意識のうちにブラウザを起動していました。 去年まで勤めていた会社の同僚がシェアした記事が目に止まります。 「fluentd + Elasticsearch + Kibana で今どきのログ分析！」 感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、 満足したアナタは VM を落とし、再び仕事に戻りました。 しばらく経ったある日のこと、ふと気づきます。 「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」 毎度オレオレ管理ペー
Sidekiq の queue を眺める際に使用するコマンドを雑にまとめる - まっしろけっけ
はじめに 前回書いたこの記事を書く際に実際に積まれている queue をあれこれ見ていたのですが、 その際に使ったコマンドを忘れそうだったのでまとめておく。 めんどくさくてまとめなかったわけでは… shiro-16.hatenablog.com redis-cli まずは基本的なこと redis-cli を使って redis のデータを見ることが出来る Redis server に接続して対話的に実行 $ redis-cli redis 127.0.0.1:6379> KEYS * 引数を指定して実行 $ redis-cli KEYS '*' perform_async ※ perform_async で user 3 つ default 2 つ queue を積んだ状態 どんな key が生成されるか $ $ redis-cli KEYS '*' 1) "queue:default" 2
Sidekiq について基本と1年半運用してのあれこれ - まっしろけっけ
はじめに 実際に運用していた時に非同期にしていた主な処理は下記のようなものがあります。 iOS Android の push 通知の送信処理 ログの作成 様々な外部 API の呼び出し 非同期で更新しても問題ないデータの更新 Sidekiq is なに sidekiqは非同期処理を実現する gem 他にも Ruby で非同期処理を実現できる有名な gem には resque や delayed_job 等がある。 sidekiq.org Enterprise版等もありますが、 今回はOSS版を使用している前提でのお話しです。 他の非同期処理が可能な gem との簡単な比較 FAQ · mperham/sidekiq Wiki · GitHub この内容は結構真実を語っていることを最近知った Sidekiq Redis マルチスレッド リトライ処理あり おしゃれなダッシュボード Resque
GoとMySQLを用いたジョブキューシステムを作るときに考えたこと - ゆううきブログ
【追記】2023年3月21日 YAPC::Kyoto 2023で、ジョブキューシステムFireworqの設計と運用実績も含めて発表されました。id:tarao ++ 【加筆修正】 2020年2月16日 執筆時から6年も経過していますが、たまたまこの記事を振り返る機会があったので、日本語がおかしいところを一部修正したり、一緒に取り組んだ方々の名前が書かれていなかったところを修正しました。 【追記】2017年12年24日 このエントリのジョブキュー実装がFireworqという名でOSSとして公開されました。id:tarao ++ github.com この記事ははてなエンジニアアドベントカレンダー2014の4日目です。 前回は Mackerelで採用している技術一覧とその紹介 - Hatena Developer Blog でした。 社内の開発合宿で、 id:taraoさん、id:hakobe
ハタさんのブログ(復刻版) : PHPカンファレンス2009「Q4MとFlareを使って スケーラブルなサービスを作る！」の資料
すいません、遅くなっていましたが、とりあえずここに置いておきます。 ref - http://www.slideshare.net/nowelium/building-highscalable-web-applications-using-q4m-and-flare Building High-Scalable Web Applications Using Q4M and Flare View more documents from nowelium. Ustreamはこの辺 ref - http://www.ustream.tv/recorded/2107541 いくつか質問があったものは、別途書きます
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
sidekiqの使い方 - Qiita