単純なキーワードマッチングを超えたWikiPediaの知識を利用した自然言語処理を行いたい方へ - Qiitaキーワードマッチングを超えた知識を利用する価値 人間間の会話では"Twitter"や"Facebook"がSNSだなと分かって会話ができたり、"ヤマハ"と言われても前後の文脈で"ヤマハ"がバイクの"ヤマハ"かピアノの"ヤマハ"か分かります。 これは単語の背景に関連する知識情報を利用できているからです。 この単語を知識情報と繋げる手法として近年の自然言語処理ではエンティティリンキングという手法がよく用いられています。 コードを使ってすぐに確認したい方は下記でインストールしてください。 コード： - https://github.com/SnowMasaya/WikiPedia_Entity_Vector_Get_Similarity_word 必要なデータ： - 分析したいデータ - Wikificatation - 日本語 Wikipedia エンティティベクトル ユースケース これを実際
