はてなブックマーク

こんにちは、サービス開発部　情報科学技術研究所の h_shinです。 Rで学ぶ推薦システム(recommendation system)について記事を書きたいと思います。 推薦システム(recommendation system) User-based Collaborative Filtering Item-based Collaborative Filtering とりあえず結果を見る Rソースについて 類似度評価方法の紹介 Euclidean distance(ユークリッド距離) Cosine similarity(コサイン類似度) Pearson correlation(相関係数) 推薦システム実装 評価データ生成 missing valueの問題点 類似度を求める関数作成 user-based collaborative filtering item-based collabor

こんにちは、サービス開発部情報科学技術研究所所属のk_oomoriです。先日、 migi.hatenablog.com というブログが公開され、アドテク界隈で話題になったようです。私も読ませていただきましたが、平易に書かれていてとても良い記事だと思いました。僭越ながら要約させていただくと、 ある段階でのユーザ数をとし、その後の流入は考えない 毎月の解約率（常に一定で変わらないとする！）は という仮定をおくとか月後のユーザ数はとなり、それをからまで足しあげた延べ継続期間が となるため、平均継続期間=ユーザの延べ継続期間/ユーザ数 として定義した平均継続時間が1/解約率で与えられることが示された、というものです。 似たような問題は実は他の文脈でも現れます。例えば原子核物理学の分野で不安定な原子核の放射性崩壊という現象があり、ある時刻における不安定原子核の数を、崩壊率あるいは崩壊定数（崩壊のしや

こんにちはデータサイエンティストのt_sakaiです。 前にCTR予測についての概論・評価方法についての記事を書きましたので、今回はさらに踏み込んだ内容についてまとめてみたいと思います。 この記事を読むには以下を理解している必要があります ロジスティック回帰の目的関数 勾配降下法 目的関数と最適化アルゴリズム 基本ですが機械学習は、達成したい目的を数値化した目的関数と、目的関数を最小（or 最大）にするための最適化アルゴリズムの2ステップに分けられます。 1つ目のステップの目的関数は、CTR予測においてはロジスティック回帰がデファクトスタンダードになっています。（参考: GoogleのCTR予測についての論文） （kaggleにおけるCriteoのCTR予測コンペでは、特徴量抽出のためにGBDTを使ったり、特徴量の掛け合わせを考慮するためにFFMを使ったりすることにより良い精度が出ることが

初めまして。nex8でダイナミックリタゲの配信システムを開発しているyu_ishikawaです。 nex8では、MySQL, MariaDB, MongoDB, Solr, Redis, DynamoDBやTreasureDataなど、様々なデータベースを用途に応じて使い分けていますが、大規模な機能改善に伴い、高いパフォーマンスが要求されるデータの保管先として新たにAerospikeを導入しました。 そこで今回は、nex8でAerospikeを導入してみて学んだAerospikeの特徴や注意点、nex8での使用例などをご紹介したいと思います。 Aerospikeとは？ Aerospikeとは、米Aerospike社によって開発・販売されているNoSQLデータベースです。 主な特徴として、次の点が挙げられます。 とにかく高速な分散KVS 基本的にデータはSSD、インデックスはメモリに持つ ス

こんにちは、k_oomoriです。最近、機械学習の分野でFactorization Machines (FM)という手法があることを知りました。Matrix Factorization (MF)は知っていたのですが、共にfactorizationという単語を含んでいるため、何か関係があるのだろうか？と気になり調べてみました。 ここではサンプルデータとしてFactorization Machinesの論文で使われていたものを使用します。 タイタニック (TI)ノッティングヒルの恋人 (NH)スターウォーズ (SW)スタートレック (ST) Alice (A)531 2010-12010-22010-4 Bob (B)45 2009-52009-8 Charlie (C)15 2009-92009-12 表1. 映画に対する評価 Alice, Bob, Charlieの3人が4本の映画作品に対

こんにちは、最近はエンジニアよりデータサイエンティストとしての仕事が多くなってきたt_sakaiです。 入社後4ヶ月、ようやくアウトプットを出せるようになってきました。 本記事について 先日Treasure Data Tech Talkという勉強会に登壇して、機械学習を用いてリアルタイムCTR予測を行う発表をしてきました。 その時に用いた資料がこちらです。 この資料では、以下のような内容が説明されています。 機械学習によるCTR予測 nex8でのリアルタイムCTR予測システムの構成 ScalaからTreasureDataを使う際のノウハウ 上記スライドは機械学習の知識がない人にも分かるように作ったので、本ブログ記事ではもう少し踏みこんで、作成した予測モデルの性能評価方法について説明しようと思います。 予測モデルの性能評価 上記スライドでは予測モデルの作り方と、それを用いて実際にCTR予測を

こんにちは、3月よりファンコミュニケーションズでインターンをしている@ohmurakenです。 このエントリーでは、僕がインターンで行ったWebページの分類について書こうと思います。 なんで分類するの？ ファンコミュニケーションズが運営するスマホアドネットワーク nendでは日々大量のサイトから広告リクエストが送られてきます。広告を配信する際には、サイトの内容を考慮し、最適な広告を選ぶ事が重要です。しかし、サイトの内容を人がいちいちブラウザで確認し、分類していては日が暮れてしまいます。そこで、自動でサイトの内容を調べ分類するシステムが必要となります。nendのサイトを以下のタグのどれかに分類する事を目指します。 two: 2chまとめ系のサイトなど game: ゲームの攻略サイトなど anime: アニメや漫画のサイトなど others: 上記のいずれにも属さないサイト どうやって分類する