言語モデルLUKEを経済の知識に特化させたモデル「UBKE-LUKE」の提案 - Uzabase for Engineers

株式会社ユーザベースでUB Researchを担当している高山です。 ユーザベースでは2023年7月からStudio Ousia社と業務提携して、自然言語処理の研究開発に取り組んでいます。今回はその取り組みの一つとして作った言語モデルについて書いていきます。 概要 経済情報を扱う製品群を開発するユーザベースでは、「企業」という情報を扱うことが非常に多くあります。 今回は、ユーザベースの保有する経済情報のデータを学習に利用し、企業エンティティに特化したエンコーダーモデル Uzabase Business Knowledge Encoder based on LUKE (UBKE-LUKE) を作成しました。 こちらはStudio Ousia社が開発している知識強化言語モデルLUKEをベースに共同で開発してきた成果となります。 課題の背景 まず、UBKE-LUKE開発の動機となった、ユーザベー

[misshiki]

“経済情報のデータを学習に利用し、企業エンティティに特化したエンコーダーモデル Uzabase Business Knowledge Encoder based on LUKE (UBKE-LUKE) を作成しました。”

[nikkie-ftnext]

"企業エンティティに特化したエンコーダーモデル Uzabase Business Knowledge Encoder based on LUKE"公開版と社内版。企業名や製品名から企業をタグ付けしたり、業界や製品名から企業を検索したり、埋め込み表現から類似や四則演算も