タグ

ブックマーク / ameblo.jp/principia-ca (3)

  • 『【研究課題レポート抜粋】Apache Mahout を用いたレコメンデーションエンジンの検討』

    ※このエントリは、社員のTossyさんによって作成された第5回研究課題レポートからの抜粋です。 はじめに 近年、機械学習が非常に注目を集めている。機械学習を用いることによって、データから有用な規則、ルール、知識表現、判断基準などを抽出することができる。 機械学習を用いた例として、レコメンデーション、クラスタリング、分類、市場予測、評判分析、情報抽出、文字認識、ロボットなどが挙げられる。 また、アメーバを含むインターネットサービスの普及により、解析対象データが急激に増加している。解析アルゴリズムは最低でも線形の計算量が必要だが、それでも昨今のデータ増加量が上回っている。 世界で作成されたデータ量は、2009 年時点で0.8ZB にもなっており、2020 年には35ZB にも膨れ上がると予想されている(Degital Universe 2010)。 このことにより、機械学習処理の並列分散は今後

    『【研究課題レポート抜粋】Apache Mahout を用いたレコメンデーションエンジンの検討』
  • 『アメーバサーチにApache Solr 1.4をつかってみた』

    皆様、こんにちわ 新規開発局コアテクGで、現在はサービスの管理ツールなどの開発を担当しているGakuです。 現在は担当していないのですが、以前に担当しており、全面的に作り直したアメーバサーチについて書かせていただこうかと思います(一番大変だったんですが、一番楽しい開発でした)。 ■以前のアメーバサーチ Lucene使用(RMI機能を使ってました) 検索対象:6000万件ほど(直近3ヶ月~6ヶ月) スケールアップがしにくいつくり Luceneのバージョンアップもむずかしい(バージョンアップ後はRMIは非推奨化予定でした。使えないなと) 「アクセス過多のため・・・・・」と検索できない事が頻発 QPS(一秒辺りの検索数) 50ぐらい(4セット合計で) 急激にアメブロの記事数が増えていた為、明らかにキャパオーバに陥ってしまっていました。 それで・・・・・・・・・ ユーザの方々からおおいにお怒りの声

    『アメーバサーチにApache Solr 1.4をつかってみた』
    volonte
    volonte 2012/01/13
  • 『ピクシブ × サイバーエージェント 合同勉強会』

    こんにちはアメーバ事業部のブログDivでエンジニアをしているgenkiと申します。 今回は、今月開催されたピクシブ株式会社様との合同勉強会を初めて開催しまし たので、ご報告したいと思います。 ■勉強会の様子 ピクシブ株式会社様の受付には、数多くのイラストが展示されておりました。 当日は両社合わせて50名程度の参加者が集まりました。 プログラムは、セッション20分×4→LT×4→懇親会という流れでした。 以下では、セッションの発表内容をご紹介したいと思います。 ■ピクシブセッション1:「memcachedからKyotoTcoonへ」 久保達彦さん(twitter: @cubicdaiya)の発表になります。 memcachedからKyoto Tycoonへの移行までについてお話をしていただきました。 memcachedの運用では、UNIX Domain Socketでアクセスを行う事につい

    『ピクシブ × サイバーエージェント 合同勉強会』
    volonte
    volonte 2011/09/03
  • 1