2017年12月19日のブックマーク (2件)

  • 大規模memcached障害と私 - Qiita

    この記事は ex-mixi Advent Calendar 2017 19 日目のエントリーです。 こんにちは。@bonnu と申します。 株式会社ミクシィには2006年1月から2012年3月末までの間、6年と3ヶ月ほど在籍していました。その後株式会社FreakOut(現在はホールディングスとなっています)に転職。そこからさらに転職を重ね、現在は株式会社GameWithでサーバーサイドを主としたエンジニアをやっています。 ミクシィに入社した当時はまだ社名が株式会社イー・マーキュリーで、入った翌月に社名変更したタイミングでした。なので希少な「イー・マーキュリー」の名刺を持っていました。私より後に入社した他のエンジニアのみんなからよく珍しがられたのを覚えています。 今回はOB・OGによるアドベントカレンダーということで、在籍していた頃に体験した障害について少しお話したいと思います。 (※ 当時

    大規模memcached障害と私 - Qiita
    wordi
    wordi 2017/12/19
  • スクレイピング結果をRSS形式にしておく - Qiita

    スクレイピングにも色々あって、クローラにガーッとデータを一気に抜いてきてもらう場合もあれば、IR情報など、更新をウォッチしたいサイトに定期的にクロールするという場合もあると思います。 今回は後者のときのための話です TL;DR 日毎のスクレイピングという場合、更新情報の管理が必要になって面倒 スクレイピング結果をRSS形式にしておくようにしたら、その辺の手間がなくなって嬉しかった 更新情報をとってくる 例えばニュースサイトで新しい記事が出てきたらその内容を取得したい。 という場合、以下の手順が必要になります ニュースサイトの一覧画面からスクレイピングして記事のリストをとってくる 記事が未知のURLか、既知のURLか判定 未知のURLだったら処理する これはこれでやれば良いのですが、 記事が未知のURLか既知のURLか判定 という手順が意外と面倒臭かったりします。なぜならこの判断をするには、

    スクレイピング結果をRSS形式にしておく - Qiita
    wordi
    wordi 2017/12/19