2021年5月16日のブックマーク (2件)

  • JanomeとMecabを使って形態素解析してみる - Qiita

    目次 1 形態素解析とは 2 環境 3 Janome 3-1 Janomeとは 3-2 インストール 3-3 ソースコード 3-4 実行結果 4 MeCab 4-1 MeCabとは 4-2 ソースコード 4-3 実行結果 1 形態素解析とは 形態素解析とは、自然言語処理(NLP)の一部で、自然言語で書かれた文を言語上で意味を持つ最小単位(=形態素)に分け、 それぞれの品詞や変化などを判別することです。 例えば 「庭には二羽ニワトリがいる」という文章を 庭(名詞)/に(助詞)/は(助詞)/二(数詞)/羽(助数詞)/ニワトリ(名詞)/が(助詞)/いる(動詞) のように形態素に分解し、意味を割り出します。1 要は文章を単語ごとに区切るというイメージです。 今回はWikipediaから持ってきた以下の文章で形態素解析を行っていきます。 日国(にほんこく、にっぽんこく、英: Japan)、または日

    JanomeとMecabを使って形態素解析してみる - Qiita
  • 言語処理のための機械学習入門第1章まとめ

    前から自然言語処理を勉強したいなと思っていたので今回このを読んでまとめてみます。 最適化問題 最適化問題とはある制約の下で関数を最適化する変数値とその関数値を求める問題である。 例:次の最大化問題を解け(ただしaは定数) max. -x_1x_2 s.t. x_1-x_2 -a =0 この例題では-x_1x_2という関数を最大化した。このように最適化したい関数をこの最適化問題の目的関数という。また最適値を与える変数値を最適解という。 一般的に最適化問題は次のように書かれる : max. f(x) s.t. g(x)\geq 0 h(x)=0 「s.t.」いかに制約を記述するのが一般的である。 制約を満たす解のことを実行可能解という。また実行可能解の集合を実行可能領域という。 上の例題ではx_1=a/2, x_2=-a/2が最適解であるが、このように「x_1=」のような解の表し方を閉形式と

    言語処理のための機械学習入門第1章まとめ