エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
BERTが理解していそうな慣用句を調べてみる - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
BERTが理解していそうな慣用句を調べてみる - Qiita
はじめに 慣用句といえば「猿も木から落ちる:その道にすぐれた者でも、時には失敗することがあるという... はじめに 慣用句といえば「猿も木から落ちる:その道にすぐれた者でも、時には失敗することがあるということのたとえ1」というように、背景の出来事や知識(例:猿は木登りが上手い)を前提にした表現のことを指します。 これらの表現は比喩的な表現となっていて文字通りの意味として用いられていないことが多く、自然言語処理的には難しい対象であることには間違いないでしょう。 今回は事前学習された日本語BERTのモデルが、すでにどの程度慣用句に対しても意味表現を獲得しているのか調べてみたいと思いました。 慣用句とその説明を集める 以下のリンクに掲載されている慣用句を対象にしました。 これらの慣用句に対して、Weblio類語辞書の「意義素」の説明をその慣用句の説明として収集しました。 慣用句のベクトルと説明文のベクトルの類似度 文の埋め込み表現はSentence BERTを利用させていただきます。 例えば、「井の