タグ

2014年6月20日のブックマーク (2件)

  • 検索技術を使うなら知ってないと損する6つのこと~クックパッド、グリー、ぐるなび、CROOZは検索技術をどう使っているのか(2/2) - @IT

    グリーでログ分析システムの開発を行っている一井崇氏からは、「全文検索のちょっとちがった使い方(仮)」と題する発表があった。 グリーにおける数値指標管理では、基となるデータの総数が「1億キー×最大7年」という膨大な量に上り、さらに時間ごとに増え続けるアプリIDとの組み合わせなども考慮すると、すでに人間の手では管理しきれない状態にある。 同社ではMySQLベースのKVS(Key Value Store)によって、これらのデータを管理しているが、問題はkeyの数が膨大過ぎて必要なkeyを見つけるのが困難になっていることだという。 その解決のためにHadoopやMongoDBを導入するといった選択肢もあるが、同社が取った方法は「key stringを全文検索することで目的のkeyを探す」というものだった。一井氏によれば、グリーの数値指標管理システムの目的を整理すると、以下のようになるという。 や

  • MySQL & InfiniDB でリアルタイムDWHを作る PART1 | QK

    むかしむかし、僕のブログでこんなことを書きました。 (OSSなDWH InfiniDB の話 ⑤ ~リアルタイムDWH化について) もう一年以上経っちゃいました・・・。この話、もちろん忘れていたわけでもなく、需要があまりなかったので、「ふーん、世間ではそんなにニーズがないのかな?」と思いつつ、特になにもしていなかったのですが、ようやく世間が僕に追い付いた(嘘)ので、そろそろ書こうと思った次第です。 前回までのおさらいで結局リアルタイムDWHってな~に? 実は自分もいまだによくわかってないのです。googleで「リアルタイムDWH」検索しても、これか!って思うページが出てきません。 しかし、よく見かけるキーワードが、「10TBのデータロードを高速に実現!」とか「Hadoopを利用したなんとかノードで並列のなんとか」とか、なんだ・・結局DWHとしてはリアルタイムじゃないんじゃん・・とか思っちゃ