home archives spacy-skytree-to-umi spaCyでスカイツリーと海、どっちが高いか判定する【自然言語処理, Python】 作成日: 2021-03-24更新日: 2023-12-24 カテゴリ: 自然言語処理 spaCyでスカイツリーと海の意味をとらえる 私たちは日常的に日本語などの言語を使っていますが、これらの言語は「自然言語」と呼ばれています。 この自然言語を計算機的に解析することを「自然言語処理」と言います。 Pythonには自然言語処理を行えるライブラリとしてspaCyがあります。 今回はこのspaCyを使ってスカイツリーと海はどっちが高いのか判定してみたいと思います。 具体的には↓を見ていきたいと思います。 spaCyとは？ スカイツリーと海の高さとは？ スクリプトの実行結果 スクリプトの設計 スクリプトのソースコード ソースコードの解説 spa

home archives python-cabocha PythonのCaboChaの使い方まとめ【自然言語処理, 構文解析】 作成日: 2020-11-11更新日: 2023-12-24 カテゴリ: 自然言語処理 構文解析器CaboCha 自然言語処理とは人間の話す言語を解析するプログラミングの分野です。 自然言語処理は↓の工程に分かれています。 形態素解析 構文解析 意味解析 文脈解析 形態素解析というのは日本語を単語のリストに変換する処理です。 そして構文解析とは、それらの単語がどの単語に係（かか）っているかを解析する処理です。 係っているかどうかの関係を「係り受け」の関係といいます。 ↑の工程の内、形態素解析から構文解析までをやってくれるライブラリに「CaboCha」というライブラリがあります。 この記事ではPythonによるCaboChaの簡単な使い方をまとめています。 Cao

目次 spaCyで依存構造を出力する spaCyとは？ 依存関係とは？ spaCyの基本的な使い方 deplacyによる依存構造の出力 自力で依存構造の出力 おわりに spaCyで依存構造を出力する 今回は自然言語処理ライブラリであるspaCyを使い日本語の文章を解析し、その依存構造を出力するということをPythonでやってみたいと思います。 日本語の文章の依存構造を自力で出力することにより、spaCyによる依存構造の走査を把握することができます。 再帰的にトークンの子供を走査して、そのトークンの持つテキストを出力します。 今回は具体的には↓を見ていきます。 spaCyとは？ 依存関係とは？ spaCyの基本的な使い方 deplacyによる依存構造の出力 自力で依存構造の出力 spaCyとは？ spaCy（スパイシー）とはExplosion AIが開発している自然言語処理ライブラリです。

目次 spaCyで「場所」を抽出する スクリプトの動作結果 スクリプトの設計 スクリプトのソースコード ソースコードの解説 必要モジュールのインポート GiNZAモデルのロード Analyzerクラスの作成 analyze()メソッドで解析を行う analyze_go_to()で「行く」「向かう」を解析する analyze_go()で文脈からトークンを見つける find_from_children()で子要素からトークンを探す find_from_head()で親要素からトークンを探す テストケースを書く おわりに spaCyで「場所」を抽出する 私たちが使う日本語は「自然言語」と呼ばれます。 この自然言語をプログラム的に解析するのが「自然言語処理」です。 Pythonにはいくつか自然言語処理を行えるライブラリがあります。 spaCy（スパイシー）のその中の1つです。 spaCy · In

in > 今日はbbbに行った。 今日は御師匠に行った。 in > 今日はaaaがbbbだった。 今日は情ない事が美学上だった。 in > aaaにbbbした。 おしいつくつくに一大仮定した。 in > なんだかんだbbbが好き。 なんだかんだ注文通りが好き。 in > おいaaa、bbbはやめろ。 おいうまい肴、万事積極的はやめろ。 in > なんかbbbがaaaみたいだ。 なんか未来記が重い事みたいだ。 ↑の出力を見ると、文章として成立してない文もあります。 穴埋めの精度としては低いことがわかります。 「今日はbbbに行った。」という虫食い文章は「今日は御師匠に行った。」と言う風に穴埋めされています。 「aaaにbbbした。」という虫食い文章は「おしいつくつくに一大仮定した。」という風にです。 文章として成立させるには、依存構造と言葉の選択を考慮する必要がありますが、今回のスクリプトで

目次 spaCyのdisplacyの使い方 displacy.serve()の概要 displacy.serve()の構造 docs（第1引数） style（第2引数） page（第3引数） minify（第4引数） options（第5引数） manual（第6引数） port（第7引数） host（第8引数） displacy.serve()を使う 依存構造を出力する 固有表現を出力する 出力をカスタマイズする マニュアルでデータを指定する おわりに spaCyのdisplacyの使い方 私たちが使う言語は「自然言語」と呼ばれます。 この自然言語をプログラム的に解析するのが「自然言語処理」です。 Pythonには自然言語処理ライブラリのspaCyがあります。 spaCyのモジュールdisplacyを使うと、spaCyの依存構造を視覚的に出力することができます。 今回はspaCyのdis

目次 spaCyの品詞一覧（日本語訳） spaCyとは？ 品詞とは？ spaCyの品詞のリスト spaCyのシンボルの使い方 spaCyの品詞の解析方法 spaCyの品詞一覧（日本語訳） 私たちが使う言語は「自然言語」と言いますが、これを計算機的に処理することを「自然言語処理」と言います。 Pythonで自然言語処理を行うにはライブラリを使います。 spaCyはこのライブラリの1つです。 spaCyを使えば日本語の文章を簡単に自然言語処理することができます。 今回はこのspaCyを使った解析で使われる品詞についてまとめました。 具体的には↓のような内容です。 spaCyとは？ 品詞とは？ spaCyの品詞のリスト spaCyのシンボルの使い方 spaCyの品詞の解析方法 spaCyとは？ spaCyとはオープンソースなPythonのライブラリです。 PythonとCythonで作られていて

私たちが使う言語は「自然言語」と言います。 そしてその自然言語をプログラム的に解析することを「自然言語処理」と言います。 Pythonには自然言語処理を行うライブラリspaCy(スパイシー)があります。 今回はこのspaCyを使って日本語の文章から目的語を抽出するプログラムを作ってみたいと思います。 具体的には↓を見ていきます。 spaCyとは？ 目的語とは？ spaCyの基本的な使い方 spaCyで目的語を抽出 関連記事 spaCyとは？ spaCyとはプログラミング言語のPythonとCythonで開発されたライブラリです。 自然言語を解析することができます。 さまざまな言語で学習済み統計モデルを使うことが出来ます。 オープンソースで、MITライセンスで利用することができます。 spaCy · Industrial-strength Natural Language Processin

私たちの話す言葉は「自然言語」と言いますが、これを計算機に処理させることを「自然言語処理」と言います。 自然言語処理を行うライブラリは沢山ありますが、今回はその中でもPythonのライブラリであるspaCyを使って見たいと思います。 今回はspaCyを使って日本語の文章から名詞を取り出してみます。 具体的にはspaCyについて↓を見ていきたいと思います。 spaCyとは？ GiNZAとは？ spaCyとGiNZAのインストール spaCyの使い方を調べる spaCyで名詞を抽出する spaCyで名詞、代名詞、固有名詞を抽出する spaCyで名詞句を抽出する spaCyとは？ spaCy（スパイシー）とは自然言語処理を行うライブラリです。 PythonとCythonで書かれており、Pythonから使うことができます。 オープンソースのソフトウェアで、MITライセンスで公開されており、商用利用

目次 CaboChaで感情分析を行う CaboChaとは？ 感情分析とは？ プログラムの実行結果 プログラムの設計 プログラムのソースコード ソースコードの解析 必要モジュールのインポート Nodeでトークンをラップする NodesIter 感情分析を行うAnalyzerクラス analyze()で感情分析を行う create_nodes()でツリーからノード群を作成 create_chunks()でチャンクの辞書を生成 get_nodes_by_chunk()でチャンクに所属するノード列を取得する analyze_nodes()でノード列を分析する full_match()で慣用句を分析する full_match_rows()で慣用句にマッチするか調べる single_match()でノードが辞書にマッチするか調べる single_match_rows()で辞書にノードがマッチするか調べ

目次 Janomeで感情分析 Janomeとは？ 感情分析とは？ 日本語評価極性辞書 Janomeで感情分析を行う ソースコード ソースコードの解説 必要モジュールのインポート TokensIterでトークン列を抽象化 Analyzer load()で辞書の読み込み load_stream()でストリームの解析 analyze()で文章を解析 analyze_tokens()でトークン列を解析 match()でイテレーターと辞書を比較 match_rows()でイテレーターと辞書を比較 テストで文章を解析 プログラムの実行 おわりに Janomeで感情分析 人間が話す言葉を「自然言語」と言います。 その自然言語をプログラム的に解析する処理を「自然言語処理」と言います。 そして自然言語処理の分野の中で、文章の感情を分析することを「感情分析」と言います。 今回はこの感情分析をPythonの形態

人間の話す言葉を「自然言語」と言いますが、この言語の解析を「自然言語処理」と言います。 自然言語処理はAIによる開発が活発になってきた昨今において注目されている分野です。 応用範囲は広く、自動書記や機械翻訳など多岐に渡ります。 自然言語処理の工程はいろいろありますが、その中の「形態素解析（けいたいそかいせき）」という工程は自然言語処理において基本的なものです。 Pythonにはこの形態素解析を行うライブラリに「Janome（ジャノメ）」があります。 この記事ではJanomeを使って簡単な「しりとりアプリ」を作ってみたいと思います。 具体的には↓を見ていきます。 形態素解析とは？ Janomeとは？ しりとりアプリの設計 しりとりアプリを作る しりとりアプリの動作風景 形態素解析とは？ 形態素解析（けいたいそかいせき）とは簡単に言うとどんな処理なのでしょうか？ 形態素解析とは、日本語の文章を