ブックマーク / ailearn.biz (4)

  • 自然言語処理のステップ③:「構文解析」とは?

    単語間の係り受け関係をはっきりさせるのが、構文解析! 構文解析(こうぶんかいせき)とは、構文を明らかにする作業です。 構文とは、「文章の構造、文章の組み立て」(三省堂 大辞林 第三版)のことで、形態素解析で得られた単語間の関係性を明らかにすることで、ある文の構文を把握しようというのが構文解析です。 具体的には、構文解析は、単語間の「係り受け関係」(どの語がどの語を修飾、補足、接続等しているかの関係性)を明らかにします。 機械学習の現場では、自然言語処理を実行するときの第三のステップとして、形態素解析の次に構文解析を行います。 自然言語処理って? 自然言語処理というのは、人間の言語である「自然言語」をコンピュータで分析するための処理のことです。 漢字にするといかめしいですが、今ここで読んでいる「この文字」や「あの文字」も、"Thank you!"も全て、自然言語です。 👉参考記事:『自然言

  • 自然言語処理のステップ①:「分かち書き」とは?

    分かち書きとは? 分かち書き(わかちがき)とは、読んで字のごとく、一つの文を小さい語のまとまりに「分けて」「書く」ことです。機械学習の現場では、自然言語処理を実行するときの最初のステップとして、分かち書きを行います。 自然言語処理というのは、人間の言語である「自然言語」をコンピュータで分析するための処理のことです。漢字にするといかめしいですが、今ここで読んでいる「この文字」や「あの文字」も、"Thank you!"も全て、自然言語です。 👉参考記事:『自然言語処理(NLP)とは何か? 自然言語とプログラミング言語の違いを知ろう!』 自然言語は、コンピュータの言語である機械語や、その翻訳用言語であるプログラミング言語とは、言葉のルールや構成が大きく違います。 そのため、そのまま自然言語データをを分析しようとしても、コンピュータがうまく処理してくれません。 そこで登場するのが、機械学習の一分

  • 自然言語処理の5つの実行ステップとは? 「曖昧さ」への対応策としての機械学習

    自然言語処理とは? 自然言語処理とは、自然言語の言語としての特性を踏まえて、コンピュータに処理をさせる技術のことです。 自然言語というのは、私たち人間が日常書いたり話したりしている日語や英語のような、自然な言語のことです。 私たちは日常的に、あまりに見事に言葉を使いこなしているので強く意識することはありませんが、実は、自然言語は「意味を曖昧なまま表現するツール」であり、そのために「一つの文に対して複数の解釈ができる」という特性を持っています。 👉参考記事:『自然言語処理とは何か?自然言語とプログラミング言語の違いを知ろう!』 自然言語の曖昧さへの対応 自然言語に対する人間のアプローチ 自然言語は非常に曖昧なツールです。 この曖昧さは、「情報を短くスッキリ伝達できる」という便利なメリットがある一方で、情報の受け手による解釈の違いを生むリスクを孕んでもいます。 例えば、次の例を見てください

  • 自然言語処理のステップ②:「形態素解析」とは?

    形態素解析って何? 形態素解析(けいたいそかいせき)とは、形態素に品詞付けを行う作業です。 機械学習の現場では、自然言語処理を実行するときの第二のステップとして、分かち書きの次に形態素解析を行います。 (ただし、場合によっては、分かち書きと品詞付けを合わせて形態素解析と呼ぶ場合もあります) 自然言語処理というのは、人間の言語である「自然言語」をコンピュータで分析するための処理のことです。 漢字にするといかめしいですが、今ここで読んでいる「この文字」や「あの文字」も、"Thank you!"も全て、自然言語です。 👉参考記事:『自然言語処理(NLP)とは何か? 自然言語とプログラミング言語の違いを知ろう!』 自然言語は、コンピュータの言語である機械語や、その翻訳用言語であるプログラミング言語とは、言葉のルールや構成が大きく違います。 そのため、そのまま自然言語データをを分析しようとしても、

  • 1