数百サイトのクローラーを効率よく運用する仕組み - ZOZO TECH BLOG
こんにちは！ バックエンドエンジニアのりほやんです！ 2017年の2月28日にIQONはリブランディングを行い、タグラインを "わたしの「好き」がここにある” に刷新しました。 この “わたしの「好き」がここにある” という体験をユーザーにしていただくには、IQONに掲載されている商品情報がとても重要になります。 そして、正確な商品情報の掲載にはクローラーが正しく運用され稼働していることが必要不可欠です。 本記事では、IQONの商品情報を支えるクローラーの運用をどのように仕組み化しているかについてご紹介します。 クローラーを作成、運用されている方々のお役に立てたら幸いです。 弊社テックブログでは以前、『速くクロールすること』に注目した記事を公開しましたが、今回は『正しくクロールすること』に注目しました。 『速くクロールすること』に注目した『Docker / Apache Mesos / M
地図エンジニア死亡かるた - smellman's Broken Diary
地図エンジニア歴がバイトを除いてそろそろ五年になるので、地図エンジニア死亡かるたを考えてみる。 なお、かるたってよくわからないので適当にあいうえお順で書いてみる。 あ: ArcGISは触ったことがないのに質問される い: 伊能忠敬をそんなに知らない う: 海の上に出て来るマーカー え: 絵心がなくビジュアライゼーションを諦める お: OpenLayers2 か: 漢字が読めない地名 き: 汚い図面 く: 苦しい修正仕様 け: 険しい3Dへの道 こ: 小受けが逃亡 さ: 殺意を覚える仕様書とスケジュール し: ４月に案件がない す: スケジュールがなぞの前倒し(お客さん都合) せ: Sal◯sf◯rceに案件を持ってかれる そ: SOAP た: だいたいデータ量が多い ち: 地図がそもそも読めない つ: ツイッターで質問しても誰もわからない て: 転送量の計算ミスで死ぬ と: トイレのマッピ
DeNA南場氏の“経営塾”「去年の相談者は大成功」南場チルドレンとの再会を誓う
若手起業家の仲間の探し方 南場智子氏（以下、南場）：2人ともずいぶんちがう領域の定め方だと思うんだけども。じゃあ、そういうそれぞれの領域で1人でやっているわけではないじゃない。仲間とやっているわけでしょ。 小島舞子氏（以下、小島）：はい。 戸村光氏（以下、戸村）：仲間とやっています。 南場：その仲間の探し方というのかな。この人とやろうと決めるときになにか気をつけていることとかあるのかなあとか。その辺はどう？ 戸村：うちは一番最初にリリースしたプラットホームが、HRのシリコンバレーのインターンシップをマッチングするサイトなので、優秀なユーザーを自社でそのまま引っ張ってこれるというおいしい感じで。 南場：なるほど、なるほど。リクルートできたね、それは。なるほど、そっちは優秀さということで選ぶんだ。 戸村：そうですね。シリコンバレーでインターンシップを探しているユーザー層なので、比較的、即戦力に
九九ビジュアライゼーション 〜そして九九九へ〜 - アジマティクス
九九の視覚化、流行ってますね。発端はこちらです。 昔、自分が欲しかった表を作りました。 ふつうの九九表の、補助教材として使えるかも… pic.twitter.com/x19P5utcNr — まうどん🔵4/2〜8は発達障害啓発週間 (@mauzoun) 2017年3月29日 引用元：twitter（@mauzoun） なるほど。数が増えていく感がわかりやすいですね。これをきっかけにして全国的に九九の視覚化ブームが発生し、次のようなものも現れました。 @mauzoun 非常に面白いし良いと思います。ただ、個人的には順序が変わると面積が変わってしまい、交換法則が逆に理解しづらくなるぶん改良の余地ありと感じました。私案貼っときますのでご参考まで。 pic.twitter.com/w6bqVaacmk — Yutaka tanida (@L_star) 2017年3月30日 九九のビジュアル理解
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
リード獲得を加速させるチャットボット"CraftChat"| WebやSNSを通じて顧客に最適な体験を届けます。
