ラーメンと自然言語処理大好きなラーメン食べ歩きの効率を劇的に上げるべく、自然言語処理とR言語の勉強がてらラーメン屋さんのクラスタリングを行ってみた話。 自然言語処理は素人に近いので分析の妥当性はちょっと不安っていうか合ってるか否かもよくわからんが、のれん分けを自動で(たまたま？)見つけたりしながら分析を進めた過程を共有できればと思います。
Rで自然言語処理。ナイーブベイズで文書分類を試みる - Qiita
概要 ショートショートを予め用意したカテゴリに自動分類する。 R環境を通して、MeCabで形態素解析しナイーブベイズを使ってカテゴリを推測する。 環境設定 -> RMeCab のインストールと R を用いたテキスト処理（形態素解析など） -> ニコニコ大百科データからMeCab辞書を生成する 入力 フォルダにショートショートを格納する。 yyMMddhhmmss（フォルダ） |ーakga_01.txt（ショートショート） |ー : |ー : |ーakga_06.txt |ーnkmk_01.txt |ー : |ー : |ーnkmk_06.txt |ーxxxx_01.txt |ー : |ー : |ーxxxx_04.txt ※ファイルの接頭辞がカテゴリ名を表す。 akga/nkmkファイルが訓練データ。xxxxファイルが検証データ。 xxxx_01.txt,xxxx_02.txt=akga xx
文字列の類似度を測る(1) レーベンシュタイン距離｜Colorless Green Ideas
ある文字列と別の文字列の類似度を測る手法の1つである、レーベンシュタイン距離について紹介する。文字列の類似度は検索エンジンやDNAの塩基配列の調査などにも使用されており、応用範囲は広い。 はじめに Googleの検索結果の訂正候補 検索サイトで検索語を間違えて入力してしまった場合、検索エンジンが訂正候補を出してくれることがある。図に掲げた例では、「マクドナルド」と入力しようとして、誤って「マクラナルド」と入力してしまっているが、Google は「マクドナルド」の検索結果を返している。誤ったものを入力すると、その誤ったものと似た正しいものを返しているのである。 このように訂正候補を出すには、まず入力されたものと似ているものを探し出すということが必要になる [1] 。そして、似ているものを探し出すには、何をもって似ているとするのかということを決めなくてはならない。つまり、類似度の尺度が必要とな
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: トピックモデルによる統計的潜在意味解析 (自然言語処理シリーズ): 佐藤一誠 (著), 奥村学 (監修): 本
R による文書分類入門
SSSSLIDE
Hatena ID
