ベイズ識別器、通称ベイジアンフィルタを使って、あるウェブページの内容と似たウェブページを探してみたときのメモ。 ベイズ識別器となる Python モジュールは https://pypi.python.org/pypi/Reverend です。 Reverend に渡す日本語データは「わかち書き」しないといけないので mecab を使った。 import sys import os import glob from reverend.thomas import Bayes # 類似ページを発見したいHTMLファイル inputfile = os.path.abspath(sys.argv[1]) # 判定用のデータとなるHTMLファイルが格納されたディレクトリ (Unix shell-style wildcards) sourcefiles = "/path/to/*.html" # 比較元