自然言語処理モデル(BERT)で文の意味上の類似度を計算
はじめに この記事は GMOアドマーケティング Advent Calendar 2022 21日目の記事です。 おはようございます。こんにちは。こんばんは。 GMOアドマーケティングのY-Kです。 今回は、 「最近話題の自然言語処理の機械学習のモデルを自分でも軽く触ってみたい！ でも、難しいこと書かれててわからない(号泣)」 という層に向けて、 数ある自然言語処理モデルの中でも有名なBERTモデルを使って、文同士の意味の類似度を計算するという簡単なタスクを難しいことは極力置いといてやっていきます。 準備 今回もGoogle Colab上で行います。 https://colab.research.google.com/?hl=ja BERTの学習には時間と膨大な学習データ、豊富なインターネットリソースが必要なので、 Hugging Face上で公開されている学習済みBERTモデルを利用してい
文章間の類似度を測定する方法まとめ - Qiita
はじめに 先日、文章間の類似度を測定したくなりました。サクッとできると思っていたのですが、なかなか思うような精度が出なくて苦労しました。 調査の過程で類似度を測定する方法は色々とあることを学んだのでまとめておきます。 精度に関しての言及は今回私が試した文章（=チャットのような短文）を対象としています。 文章間の類似度測定の流れ 文章間の類似度を測定するときはまず文章分散表現を取得します。文章分散表現を取得する方法は色々とあります。 その後、取得した分散表現同士を比較することで文章間の類似度を測定します。分散表現同士の比較方法はコサイン類似度を使うのが一般的です。 そのためこの記事では、色々な文章分散表現の取得方法を紹介します。 文章分散表現の取得方法 単語分散表現を基に文章分散表現を算出 単語分散表現を取得した後、取得した単語分散表現から文章分散表現を算出します。 それぞれについて色々なや
Googleが公開した自然言語処理の最新技術、BERTとは何者なのか
3つの要点 ✔️ 自然言語の発展に大いに貢献 ✔️ 学習しなくても前に接続するだけで精度が向上 ✔️ 入出力に新規性 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding written by Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova (Submitted on 11 Oct 2018 (v1), last revised 24 May 2019 (this version, v2)) Comments: Published by NAACL-HLT 2019 Subjects: Computation and Language (cs.CL) はじめに 2019年2月に自然言語処理のトップカンファレンス
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
