Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 ナイーブベイズ分類器(ベイジアンフィルター)のアルゴリズムを具体的な数値を使って説明します。また、Pythonで実装してみました。自分の勉強メモのつもりで書いたのですが、他の方の役にも立てたら嬉しいです。 ナイーブベイズ分類器って? あるデータ(文章)をどのカテゴリーに属するのかを判定させる、機械学習の教師あり学習の手法の一つです。 スパムメールフィルターやWEBニュース記事のカテゴライズによく使われています。 難易度 ベイズの定理を利用した単純な手法で、難易度は低です。 なるべく数式を使わないで説明してみました。 ナイーブベイズ分類器の計算 対象文章がどのカテゴリーに分類されるかを決めるための計算ロジックを、具体的な数値を使って説明します。 学習データが以下である場合、対象文章がどのカテゴリーに分類されるか計算します。 学習データ サッカー [ ボール | スポーツ | ワールド
概要 こんにちは、データインテグレーション部のyoshimです。この記事は機械学習アドベントカレンダー6日目のものとなります。 今回は「ナイーブベイズ」という手法を説明してみようと思います。 ナイーブベイズは「学習が高速、かつ実装が容易」といった実用性の観点から利用されることの多いアルゴリズムです。 (より精度が高いアルゴリズムやナイーブベイズを元にした発展系も存在します) なお、今回のエントリーではナイーブベイズの「理論」の部分だけで、実際にやってみた例については後日公開しようと思います。 目次 文書を単語単位に分割する ベイズの定理とは ナイーブベイズとは まとめ 文書を単語単位に分割する 早速、「ナイーブベイズ」について説明していきたいのですが、その前に「自然言語を機械学習で扱う際によくやる前処理」について説明します。 今回の記事では、ナイーブベイズを使って「文書分類」をする例で説明
今回はベイズの定理という数学(確率論)の定理をもとにした、Naive Bayes アルゴリズムと呼ばれる教師あり学習アルゴリズムについて説明します。 これは分類タスク向けのアルゴリズムで、文書データに対してよい結果を出すことが知られています。 用意してある、Jupyter notebookをダウンロードして実際にコードを書きながら学習することができます。 今回は、下記にコード例も最後に載せてあるので、ぜひ自分の手で実行して理解を深めてみてください。 ベイズの定理とは 機械学習のタスクでは、データセットが与えられたときに、それをもとにした推定がいくつかある中で、どの推定が最もらしいかということがよく問題になります。 例えば分類タスクでは、そのデータ点(サンプル)がどれに分類されるのかというのが、ここでいう推定ということになります。 このような、どの推定が最もらしいか判断するときに使えるのが、
ステップ2 $r_{nk}$を固定して$J$を$\mu_k$で偏微分して最小化します。 式変形をすると、 クラスタ$k$の最適なCentroidは上記のように、クラスター$k$に所属しているデータの平均であることがわかりました。 上記より最初のデモンストレーションで行っていたアルゴリズムは損失関数$J$の最適化によって導出されたものを適用していたことがわかります。 2−3. 実装 上記で示した2ステップを計算して、イテレーションを回すだけのシンプルなプログラムです。最後に更新前のmuと更新後のmuの差を取り、それがある程度小さくなったら収束したと判断し、イテレーションを止めるようにしています。 下記はアルゴリズム部分の抜粋です。プログラムの全文はコチラにあります。 for _iter in range(100): # Step 1 =============================
こんにちは。技術部検索グループの原島です。 上の画像は、スマートフォン(ブラウザ版)で見たクックパッドの検索結果ページです。レシピだけでなく、ニュースも表示されていますね。献立や掲示板のスレッドなどが表示されることもあります。 クックパッドでは、検索結果ページに表示するコンテンツをクエリなどに応じて最適化しています。最適化は、膨大なログデータと最新の機械学習を用いることで、実現しています。このエントリでは、クックパッドにおけるコンテンツ最適化の裏側を紹介します。 最適化の背景 スマートフォンの普及に伴って、ユーザが利用するプラットフォームは PC からモバイルにシフトしつつあります。クックパッドにおけるモバイル利用者の割合も、ここ 2 年で 10% 以上増加しました。最近では、60% 以上のユーザがモバイルからアクセスしています。 ユーザの利用形態が変化すれば、検索結果ページもその変化に対
O'Reillyのバンディット本のまとめ + 自分なりの解釈です。世の中になかなかバンディットの入門がなかったので
最近、A/B testingの文脈で出て来るBandit algorithmsのまとめ。 Bandit Algorithms Bandit Algorithmsは、 ①機械学習の中の ②強化学習の中の ③n腕バンディット問題に対する④Algorithm。 ①機械学習 人間の学習行為を自動化して実現する方法の事。 ②強化学習 現在の状態を参考にして、行動を決定する方法の事。 ③n腕バンディット問題(Multi Armed Bandit Problem) 複数のスロットマシンが有った時、利益を最大化するにはどうしたら良いか?という問題 ④bandit algorithm 既存の状態の観測結果を「活用」して最適な選択をしつつ、(強化学習的な所) 一方で、新しい観測結果を導くために「探求」をする(ここがbanditに特有な所) 例 具体的に言うと、例えば、スロットマシンの前でコインを投げて、 表が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く