タグ

MLとModelに関するItisangoのブックマーク (2)

  • BERT (language model) - Wikipedia

    Bidirectional encoder representations from transformers (BERT) is a language model introduced in October 2018 by researchers at Google.[1][2] It learns to represent text as a sequence of vectors using self-supervised learning. It uses the encoder-only transformer architecture. BERT dramatically improved the state of the art for large language models. As of 2020, BERT is a ubiquitous baseline in na

    Itisango
    Itisango 2021/11/13
    “BERT is a transformer-based machine learning technique for natural language processing (NLP) pre-training developed by Google. BERT was created and published in 2018 by Jacob Devlin and his colleagues from Google. In 2019, Google announced that it had begun leveraging BERT”
  • マルコフ確率場 (MRF) と条件付き確率場 (CRF) の違い | LESS IS MORE

    一番の違いは、生成モデルか識別モデルか、ということ。それぞれ、 Markov Random Fields (MRF) は生成モデル Conditional Random Fields (CRF) は識別モデル です。 What is exactly the difference between MRF and CRF ここを見ると割とすっきりする。 ただ、少しスムーズに納得できないことがありまして…それは、MRFもCRFもグラフィカルモデルで書くと無向グラフとなること。識別モデルは無向グラフで生成モデルは有向グラフなんじゃ…?と思ってしまう人もいるんじゃないかと思う(いなかったらごめんなさい)。 グラフィカルモデルとしての表現 一般に、生成モデルは有向グラフの形で記述され、識別モデルは無向グラフとして記述される。例えば、隠れマルコフモデル (HMM) は有向グラフで、条件付き確率場 (CR

    マルコフ確率場 (MRF) と条件付き確率場 (CRF) の違い | LESS IS MORE
  • 1