はてなブックマーク

今回は潜在意味解析(Latent Semantic Analysis: LSA)と特異値分解(Singular Value Decomposition: SVD)について解説します． LSAは文書の分類や，情報検索の分野(この分野ではLSIとして知られる)などに使われるトピックモデルの代表例として知られています． このモデルを使うと，単語と文書のそれぞれの組み合わせについて，類似度を測れるようになります． 目次 潜在意味解析(LSA, LSI)とは 特異値分解(SVD) LSAのアルゴリズム LSAの応用 LSAの問題点 参考文献 潜在意味解析(LSA, LSI)とは 潜在意味解析(Latent Semantic Analysis: LSA)とは，1990年にDeerwesterらが発表した，文章の自動インデックス化，検索の方法である．検索の分野では潜在意味インデックス(Latent Se

ミエルカAI TOP > メディア > 技術解説 > 自然言語処理 > 【技術解説】似ている文字列がわかる！レーベンシュタイン距離とジャロ・ウィンクラー距離の計算方法とは 執筆：金子冴 人はだれしも間違いを犯すものである．徹夜で仕上げた報告書を提出した後，よく見直してみると誤字脱字が山ほど見つかった経験が読者にもあるだろう(もしかすると私だけかもしれないが)．そういう時，もし自動で間違っている単語を見つけてくれるプログラムがあったら…と考える人もいるかもしれない．そこで今回は，文字列同士の似ている度合いを計算する2つの手法を紹介しよう． ●レーベンシュタイン距離(Levenshtein Distance) ●ジャロ・ウィンクラー距離(Jaro-winkler Distance) 目次 文字列の類似度，距離 編集処理(挿入，削除，置換) レーベンシュタイン距離(Levenshtein Dis

執筆：金子冴 前回の記事(【技術解説】似ている文字列がわかる！レーベンシュタイン距離とジャロ・ウィンクラー距離の計算方法とは)では，文字列同士の類似度(距離)が計算できる手法を紹介した．また，その記事の中で，自然言語処理分野では主に文書，文字列，集合等について類似度を計算する場面が多いことについても触れた．今回は集合同士の類似度を表現する以下の３つの係数と計算方法について解説する． ●Jaccard係数 ●Dice係数 ●Simpson係数 その前に，自然言語処理で類似度を表す指標について確認しよう． 自然言語処理で使用される類似度(距離) 自然言語処理の分野では，類似度を測る対象によって手法を使い分ける． ここでは事前に，主に使用される手法について確認しておこう． ベクトル同士の類似度 　●コサイン類似度 ●ピアソンの相関係数 ●偏差パターン類似度 集合同士の類似度(今回の解説対象) 　

人工知能（AI）やDeepLearning（ディープラーニング），この頃よく聞きますよね． しかし，いまいち何なのかよくわからないという人は多いのではないでしょうか． 私の周りの人たちも教養として興味はあるけれども，数式が出てくると何がなんだかという人が多いようです． また，人工知能やディープラーニングをビジネスに応用したいけど何ができるのか全く見当もつかないといった人も多いようです． そもそも，ディープラーニングとはなんのことなんでしょう．AIや機械学習との違いはどこにあるのでしょう． そこで今回はエンジニアや理系の学生でない人に向けて，ディープラーニング（主にその基礎となるニューラルネット）の仕組み，原理，アルゴリズムや種類，それが何の役に立つのかについて解説してみようと思います． このような場合には，よくわからない記号が出てくる数式は避けるべきだと思います． しかし，すべてを包み隠さ

執筆：金子冴 今回は，Viterbiアルゴリズムの解説(【技術解説】HMMに基づいたViterbiアルゴリズムによる解推定手法(例題つき))をした際に登場した動的計画法について，その解説と，簡単な例を用いたプログラム(Python)での実装例を紹介する．また，問題文から動的計画法を用いて問題を解決する際のプロセス(漸化式の作成方法等)についても触れながら，具体的な応用方法について確認する．まずは，動的計画法とはどういうものなのか，概要を確認しよう． 目次 動的計画法(DP;Dynamic Programming)とは 例題：最短経路問題をダイクストラ法で解く(Python実装) 動的計画法を用いた問題解決手順 参考 動的計画法(DP;Dynamic Programming)とは 動的計画法の概要 動的計画法とはそのままでは解けないような大きな問題を複数の小さな問題(部分問題と呼ぶ)に分解し

執筆：金子冴 今回は，形態素解析器であるMeCab，Chasen，JUMANで解探索アルゴリズムに採用されているViterbiアルゴリズム(Viterbi algorithm)について解説する． 目次 Viterbiアルゴリズム(Viterbi algorithm)とは Viterbiアルゴリズムの推定手順 Viterbiアルゴリズムの推定手順(例題) Viterbiアルゴリズムの応用可能性 参考 Viterbiアルゴリズム(Viterbi algorithm)とは アルゴリズムの解説にうつる前に，まずは概要を理解しよう． Viterbiアルゴリズムの概要 “ビタビアルゴリズム（英: Viterbi algorithm）は、観測された事象系列を結果として生じる隠された状態の最も尤もらしい並び（ビタビ経路と呼ぶ）を探す動的計画法アルゴリズムの一種であり、特に隠れマルコフモデルに基づいている。

執筆：金子冴 今回はマルコフモデルと，マルコフモデルを拡張した隠れマルコフモデルを題材に，それぞれのモデルの解説と2つのモデルの違いについて解説する． まずはマルコフモデルについて解説しよう． 目次 マルコフ過程とは マルコフ過程の分類とマルコフ連鎖について 隠れマルコフモデルとは マルコフモデルと隠れマルコフモデルの違い(応用例) 参考 マルコフ過程とは マルコフモデルを説明すると言っておきながら，見出しがマルコフ過程となっていることに疑問を抱く人もいるだろう．一般的にマルコフモデルといった場合，マルコフ過程を指す．それでは，マルコフモデル改め，マルコフ過程の概要を確認しよう． マルコフ過程の概要 “マルコフ過程（マルコフかてい）とは、マルコフ性をもつ確率過程のことをいう。すなわち、未来の挙動が現在の値だけで決定され、過去の挙動と無関係であるという性質を持つ確率過程である。” – マルコ

執筆：金子冴 今回は，形態素解析器の1つであるMeCab内で学習モデルとして用いられているCRF(Conditional random field)について解説する． 初めに，CRFのwikipediaの定義を確認しよう． CRF(Conditional random field)の定義“条件付き確率場（じょうけんつきかくりつば、英語: Conditional random field、略称: CRF）は無向グラフにより表現される確率的グラフィカルモデルの一つであり、識別モデルである。” – 条件付き確率場(wikipedia) また，CRFは特徴的に訓練されたマルコフ確率場(マルコフ性のある確率変数の集合)である． それでは，定義に登場する用語について無向グラフから順に解説する． 無向グラフとは無向グラフは方向性のないエッジ(辺)とノード(頂点)からなるグラフである．方向性がないとは，両

執筆：金子冴 今回は，自然言語処理分野で事前処理として用いられることが多い形態素解析に着目し，形態素解析を行う目的や，主要な形態素解析器の比較を行う．また，形態素解析器の1つであるMeCabを取り上げ，インストール方法や実行例，商用利用の注意点等を確認する．また，次回以降の記事にて，MeCabで用いられている以下のアルゴリズムについて解説する． ●bi-gram マルコフモデル(解析モデル) ●CRF(Conditional Random Fields)(学習モデル) ●Viterbi(解探索アルゴリズム) 初めに，形態素解析の概要とメリット，注意点について確認しよう． 目次 形態素解析(Morphological Analysis)とは 形態素解析器(MeCab,JUMAN,その他)の紹介 MeCabのインストールと辞書の追加手順 MeCabの実行例(コマンドライン, Python) M

執筆：金子冴 世の中には単なるメモ書きから予算案，スポーツ記事や文学作品等，数えられないほどの文書が存在する．例えば，その数多の文書から「スポーツに関する記事が読みたい」と思った時，どれがスポーツに関する文書なのか判断する必要があるだろう．しかし，すべての文書を目で読んで判断することは到底不可能であり，現実的ではない．今回は，数多の文書に含まれる単語の重要度を測る手法であるTF-IDFとOkapi BM25について解説する． 目次TF-IDFとは Okapi BM25とは TF-IDFおよびOkapi BM25の応用可能性 参考 TF-IDFとはTF-IDFとは，文書内に出現する単語について，以下の２つの情報から，その単語の重要度を算出する手法である． ・単語の出現頻度(TF値) ・単語の逆文書頻度(IDF値) それぞれについて，その値が表す意味と計算式を確認しよう． TF(Term Fr