タグ

Attentionに関するtjmtmmnkのブックマーク (2)

  • JavaScript 正規表現まとめ - Qiita

    JavaScriptの正規表現について勉強してるので忘れないうちに、まとめる。 正規表現とは 文字列内で文字の組み合わせを照合するために用いられるパターンです。 @正規表現 MDN web docs 簡単な例(郵便番号ver) > var pattern = /^\d{3}-?\d{4}$/g; > var postcode = '121-4440'; //正しい郵便番号 > var result = postcode.match(pattern); undefined > result ["121-4440"] > var pattern = /^\d{3}-?\d{4}$/g; > var postcode = '121-444'; //正しくない郵便番号 > var result = postcode.match(pattern); undefined > result null

    JavaScript 正規表現まとめ - Qiita
  • 作って理解する Transformer / Attention - Qiita

    こんにちは。ミクシィ AI ロボット事業部でしゃべるロボットを作っているインコです。 この記事は ミクシィグループ Advent Calendar 2018 の5日目の記事です。 この記事の目的 この記事では2018年現在 DeepLearning における自然言語処理のデファクトスタンダードとなりつつある Transformer を作ることで、 Attention ベースのネットワークを理解することを目的とします。 機械翻訳などの Transformer, 自然言語理解の BERT やその他多くの現在 SoTA となっている自然言語処理のモデルは Attention ベースのモデルです。 Attention を理解することが今後の自然言語処理 x Deep Learning の必須になってくるのではないでしょうか。 この記事にかかれているコード (Github) 歴史 - RNN から

    作って理解する Transformer / Attention - Qiita
  • 1