クローラーの並列処理でresqueを捨ててsidekiqに移行した話 - ZOZO TECH BLOG
こんにちは、VASILYエンジニアの塩崎です。 今回はiQONを支えているクローラーの並列処理について紹介したいと思います。 並列処理の効率化をする過程でresqueを見限りsidekiqに移行した理由、移行時に書き換えた部分などについてもお話ししたいと思います。 iQONのクローラーの並列処理の仕組み iQONでは毎日数100万点のアイテムのクローリングを行っています。 一度クローリングしたアイテムも毎日1回再クロールし在庫や値下げをiQON内のDBと同期しているため、大量のアイテムを効率良くクロールする仕組みが必要です。 クロールの処理は「ダウンロード」と「スクレイピング」の2つに大きく分けることができます。 このうち、ダウンロードの部分については、提携ECサイトに対して負荷がかからないようにスケジューリングをする必要があります。 この部分の効率化についてVASILYでは分散Mutex
水産庁のストロンチウムの検査が酷すぎる件について - 勝川俊雄公式サイト
全て不検出なのですが、ストロンチウム汚染がなさそうな魚ばかりを検査しているのだから、手放しでは喜べません。 地図に日付を入れるとこんな感じになります。 これらの場所に汚染水がいつ到達したかを、JAMSTECのシミュレーションでみてみましょう。 犬吠よりも南の黒潮系のエリアには、汚染水はほとんど入れないので、マイワシとカタクチは計測するだけ時間の無駄です（セシウムが若干出ていますが、恐らく大気から落ちてきたものでしょう）。また、コウナゴにしても、4/8は高濃度汚染水がまだきていないし、4/12も汚染水が来るか来ないか、ぎりぎりのタイミングなので、徐々に骨に蓄積されるストロンチウムが出なくても不思議ではありません。汚染水にさらされる前の魚のみを検査しているのだから、ストロンチウムが不検出という結果は当然です。「ストロンチウム不検出」というアリバイを作るための出来レースのような印象を受けます。水
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IDEA * IDEA
