ストップワードの除去は自然言語処理やテキストマイニングにおける重要な作業です． 解析の精度を上げるために不要な記号や単語を等をデータセットから除去します． ストップワードの選定にはタスクに特化した分析が必要ですが，ある程度整理されているデータがあるととても助かります． そこで，今回は私が自然言語処理のタスクでよく行う，日本語のストップワードについてまとめました． また単語の分布などから，品詞ごとのストップワードに対する考察も行いました． このことからストップワードを介して自然言語処理のあまり語らることのない知識などをご共有できればと思います． （この記事の考察部分は主に自然言語処理の初心者を対象とした入門記事です．） 目次 1. 自然言語処理・ストップワードとは 2. 分析の対象 3. 単語の分布に対する考察 ┣ 出現頻度 上位300件 ┗ 出現頻度と単語 4. 品詞ごとに考察 ┣ 名詞

執筆：金子冴 世の中には単なるメモ書きから予算案，スポーツ記事や文学作品等，数えられないほどの文書が存在する．例えば，その数多の文書から「スポーツに関する記事が読みたい」と思った時，どれがスポーツに関する文書なのか判断する必要があるだろう．しかし，すべての文書を目で読んで判断することは到底不可能であり，現実的ではない．今回は，数多の文書に含まれる単語の重要度を測る手法であるTF-IDFとOkapi BM25について解説する． 目次TF-IDFとは Okapi BM25とは TF-IDFおよびOkapi BM25の応用可能性 参考 TF-IDFとはTF-IDFとは，文書内に出現する単語について，以下の２つの情報から，その単語の重要度を算出する手法である． ・単語の出現頻度(TF値) ・単語の逆文書頻度(IDF値) それぞれについて，その値が表す意味と計算式を確認しよう． TF(Term Fr

執筆：金子冴 今回は，自然言語処理分野で事前処理として用いられることが多い形態素解析に着目し，形態素解析を行う目的や，主要な形態素解析器の比較を行う．また，形態素解析器の1つであるMeCabを取り上げ，インストール方法や実行例，商用利用の注意点等を確認する．また，次回以降の記事にて，MeCabで用いられている以下のアルゴリズムについて解説する． ●bi-gram マルコフモデル(解析モデル) ●CRF(Conditional Random Fields)(学習モデル) ●Viterbi(解探索アルゴリズム) 初めに，形態素解析の概要とメリット，注意点について確認しよう． 目次 形態素解析(Morphological Analysis)とは 形態素解析器(MeCab,JUMAN,その他)の紹介 MeCabのインストールと辞書の追加手順 MeCabの実行例(コマンドライン, Python) M

ミエルカAI TOP > メディア > 技術解説 > 自然言語処理 > 【技術解説】似ている文字列がわかる！レーベンシュタイン距離とジャロ・ウィンクラー距離の計算方法とは 執筆：金子冴 人はだれしも間違いを犯すものである．徹夜で仕上げた報告書を提出した後，よく見直してみると誤字脱字が山ほど見つかった経験が読者にもあるだろう(もしかすると私だけかもしれないが)．そういう時，もし自動で間違っている単語を見つけてくれるプログラムがあったら…と考える人もいるかもしれない．そこで今回は，文字列同士の似ている度合いを計算する2つの手法を紹介しよう． ●レーベンシュタイン距離(Levenshtein Distance) ●ジャロ・ウィンクラー距離(Jaro-winkler Distance) 目次 文字列の類似度，距離 編集処理(挿入，削除，置換) レーベンシュタイン距離(Levenshtein Dis