タグ

ブックマーク / zenn.dev/megane_otoko (1)

  • 自然言語処理の形態素解析について調べたまとめ

    形態素解析について調べたのでまとめました。 形態素解析とは Wiki 形態素解析 形態素(けいたいそ)とはおおまかにいえば、言語で意味を持つ最小単位。 文法的な情報の注記の無い自然言語のテキストデータから、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素の列に分割し、それぞれの形態素の品詞等を判別する作業である。 自然言語処理の分野における主要なテーマのひとつであり、機械翻訳やかな漢字変換など応用も多い。 使用イメージ1 文書分類、機械翻訳(リンク先スライド P12~21) 文書中の文章を形態素解析で分解してタグ付けし、文書を分類 文章を形態素解析で分解して翻訳 使用イメージ2 形態素解析、bowによるベクトル化 '私達はラーメンがとても大好きです。' '私達は蕎麦がとても大好きです。' 上記二つの文章を bag of the words によるベクトル化をすると以下の

    自然言語処理の形態素解析について調べたまとめ
  • 1