タグ

ブックマーク / qiita.com/y_matsuwitter (2)

  • Goでb-bit Minwise Hashing実装した話 - Qiita

    Machine Learning Advent Calendar向けの記事です。 はじめに 最近、個人的にGo言語を触ることがちょいちょいあります。 型があって割と高速に動いてくれて、ポータビリティの高いとこが気に入ってるのですが、何十万・何百万人に推薦データを提供することが使命な会社にいるなら、これを推薦に使おうかなと画策しています。 というわけで今回は、周囲が皆サーベイ論文紹介とかなので若干毛色違いますが、Goでb-bit Minwise Hashingを実装したことについて書きます。 b-bit Minwise Hashingとは Minhash、及びb-bit Minhashについては、既にPFIの岡野原さんによる素晴らしいPostがあるため、詳しく知りたい方はそちら+その中で紹介されている論文を読んでいただくのが一番かと思います。 参考: MinHashによる高速な類似検索 ht

    Goでb-bit Minwise Hashing実装した話 - Qiita
  • Redisを使う時は見積の二倍の容量必要だよね、という話 - Qiita

    [15487] 04 Aug 21:02:37.523 * 1 changes in 900 seconds. Saving... [15487] 04 Aug 21:02:37.523 # Can't save in background: fork: Cannot allocate memory redis-cli infoしても、使用してるメモリは全体の半分ちょっとだったし、空きは十分にある… 答えは Redis Administration http://redis.io/topics/admin に書いてありました。 原因と解決策 redisのバックアップが走る際、おそらく現状使用している量と同じだけのallocateを要求しているために、redis自体はメモリ使用が50%強だとしても、バックアッププロセスが落ちてしまう模様。 解決は簡単で、Redis Administratio

    Redisを使う時は見積の二倍の容量必要だよね、という話 - Qiita
  • 1