以下では自分が運用しているトレンド解析システムで使用しているスパムフィルターの実装方法について解説していきます。 スパムフィルターで用いる機械学習 スパムフィルターの実装では機械学習の中でも「教師あり学習」と言われるものを用います。これはラベルと特徴量からなるデータから、どのような特徴を持つものがどのようなラベル（カテゴリ）に当たるかを自動的に学習するものです。 具体的に見ていきましょう。例えばTwitterには以下の様なツイートがあります。 1.眠い……でも起きなきゃ 2.同点から中田の3ランホームラン！ 3.[無料でカンタン]に魔法石ゲット♪ ⇒http://xxx.xyz/999 4.相互フォローで繋がれる人募集中です！すぐフォロー返しますのでよろしくお願いします！ リツイートもしてほしいな♪ #followme #refollow #followback #相互フォロー #soug

Googleアナリティクスの「コホート分析」をご存知でしょうか。 「コホート分析」とは、特定の集団のおける行動の変遷を、年齢・時代・世代（コホート）に注目して分析する手法のことです。 Googleアナリティクスでは、誰でも利用することが可能です。 今回は、「コホート分析」を使ってサイトを改善していく方法をご紹介します。 同じ時期に同じ体験をしたことで、似た価値観や似た因子を持つ集団のことを言います。 Googleアナリティクスでのコホートは、同じ期間に特定のアクションを取ったグループのことを指します。 このデータを元に分析を行うのが「コホート分析」です。 Googleアナリティクスにおけるコホート分析の主な使い方は、時間経過ともに変わる行動の変化や定着率などを知るためによく使われます。

Photo by Hermann Kaser こんにちは。谷口がお送りします。 ITエンジニアの方の中には「R言語を学習したい」という方も多くいらっしゃるかと思います。 R言語は、データ分析やデータ処理に特化したオープンソースのプログラミング言語です。システムを開発をする他のプログラムミング言語とは位置付けが異なり、統計解析機能が付いていて、解析処理やその結果をグラフィカルに表示することができます。 そのため、多量のデータ解析が求められるソーシャルゲームの解析や、リサーチ、データマイニング、アソシエーション分析が必要な業務の求人が増えています。 また近年データサイエンティストが注目されていることもあり、今後求人が増えることが予想されます。 そこで今回は、プログラミング未経験～初心者の方が、なるべくコストをかけずにR言語に触れられて、学習に役立てられるコンテンツを10件ご紹介していきます。

こんにちは、買物情報事業部でサーバサイドの開発を担当している荒引 (@a_bicky) です。 今回のエントリでは R で A/B テストの結果検証を行う方法の一例について紹介します。 エンジニアでも自分の関わった施策の効果検証のために簡単な分析をすることがあるかと思いますが、そんな時にこのエントリが役立てば幸いです。 なお、次のような方は対象外です。 A/B テストや KPI の設計に興味のある方 この辺には全く触れません プログラミング初心者 わからない単語が大量に出てくるでしょう R で統計学や機械学習の手法をバリバリ使いたい方 世の中の “分析” の多くは集計処理がメインです Python, Julia など既に分析する上で使い慣れた言語・ツールがある方 今回のエントリ程度の内容であればわざわざ乗り換える必要もないでしょう OS は Mac を前提として説明するので、Windows

こんにちは、岡川です。 今回は、インターネット広告代理店の現場で活用している数理モデルの紹介です。 はじめに、（何度も記事を書いていますが）自己紹介させていただきます。 大学院では素粒子物理学、特に超弦理論を専攻していてました。社会に出て、電機メーカーで半導体フラッシュメモリの製造工程のLPCVD(低圧化学蒸着)工程の開発エンジニアとして勤務していました。その後、インターネット広告代理店に転職して、現在は以下のようなネット広告のデータ分析を色々やっています。 ・DMPセグメント設計 ・アトリビューション分析 ・予算シミュレーション ・クリエイティブ検証 ・ウェブ×マス広告分析 ・動画広告の分析 今回の話しは、アトリビューション分析です。 今回は、特に理論的な面に焦点を絞っていますので、大学学部生含むアカデミック側の方々にも楽しんでいただければと思います。ですが、今回使っている数学は、線形代

追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ

サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。