「クレカを止めても不正利用が止まらない」のメカニズム【鈴木淳也のPay Attention】
タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。
08/31 (2020): 投稿 08/31 (2020): 「畳み込みを一切使わない」という記述に関して、ご指摘を受けましたので追記いたしました。線形変換においては「チャネル間の加重和である1x1畳み込み」を実装では用いています。 08/31 (2020): 本論文で提案されているモデルの呼称に関して認識が誤っていたためタイトルおよび文章を一部修正しました。 言葉足らずの部分や勘違いをしている部分があるかと思いますが、ご指摘等をいただけますと大変ありがたいです。よろしくお願いします！(ツイッター:@omiita_atiimo) 近年の自然言語処理のブレイクスルーに大きく貢献したものといえば、やはりTransformerだと思います。そこからさらにBERTが生まれ、自然言語の認識能力などを測るGLUE Benchmarkではもはや人間が13位(2020/08現在)にまで落ちてしまっているほ
さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transformer」構造の心臓部「Attention(アテンション)」についての解説が行われています。 3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning https://www.3blue1brown.com/lessons/attention AIの中身と言える大規模言語モデルのベースとなる仕事は「文章を読んで次に続く単語を予測する」というものです。 文章は「トークン」という単位に分解され、大規模言語モデルではこのトークン単位で処理を行います。実際には単語ごとに1トークンという訳ではありませんが、3Blue1Brownは単純化して
ジェネレーティブAIの基礎を築いた論文「Attention Is All You Need」著者たちの今——期待される〝OpenAIマフィア〟の出現 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
2017年の画期的な研究論文「Attention Is All You Need」で、Google は、テキストや画像データ間の連続した関係や深い意味を強力なニューラルネットワークで学習する、つまり AI をより本物の「人」に近づける言語モデル「Transformer」を紹介した。 Image credit: Google 2017年、Google は画期的な論文「Attention Is All You Need」を発表し、今日の AI トレンドの基礎を築いた。 Transformer の最も重要なブレークスルーは、言語モデルの運用フローとは別に、多くの処理作業を同時に行うことでコンピューティングパワーを利用できるようにする「並列化」だ。スタンフォード大学の研究者は2021年の論文で、「AI 分野のパラダイムシフトを促すだけでなく、AI で何が可能かという想像力を広げる」と、Transf
BERTのAttentionは何を見ているのか？
3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransformer以降、Attention機構を用いたモデルが流行となっています。その中でも最近はBERTなどの巨大な事前学習済みのモデルが大きな成功を収めています。 それらモデルが何を学習しているのかを分析する取り組みは行われてきましたが、モデルの出力自体や隠れ層でのベクトル表現に焦点を当てた分析手法が中心でした。 この論文では、Attention機構が何を見ているのかに焦点を当てたモデルの分析手法が提案されており、BERTのAttention
畳み込み+Attention=最強？最高性能を叩き出した画像認識モデル「CoAtNet」を解説！ - Qiita
1. CoAtNetの解説 1.1 畳み込みとSAの復習 コンピュータビジョンで用いられている大きな仕組みに畳み込みとSelf-Attention(=SA)があります。畳み込みではEfficientNet、SAではViTが有名ですね。EfficientNetについてはこちらの拙著記事、ViTについてはこちらの拙著記事をご参照ください。CoAtNetでは、この畳み込みとSAの良いとこ取りをしたブロックを作ることが一番の目的になっています。畳み込みとSAの式を復習しておきましょう。ここでは畳み込みの中でもDW(=Depthwise)畳み込みを取り扱います。そして、本論文では分かりやすさを優先しているのか、式の細かいところ(SAにおけるqkvの埋め込みなど)はあえて排除しているように見えるので、理解しやすいです。 1.1.1 畳み込みの式 本論文では、畳み込みの中でもDW(=Depthwise)
対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 実は、エンコーダーとデコーダーに用いられている「RNN」（Recurrent Neural Network）には、欠点があります。それは、長い文章が苦手だということです。 なぜ苦手かというと、以下の2つのポイントからそのように言えます。 （1）RNNでは、翻訳元文章全体の特徴を記憶できるサイズが固定されている。そのため、文章が長くなり単語の数が増えるほど、エンコーダーにおいて、文章の前の方で出現した単語の意味が薄まってしまう。 （2）RNNでは、単語を1つずつニューラルネットワークで処理する。そのため、単語の数が多くなればなるほど処理時間がかかってしまう。 ですので、RNNが持つこうした欠点を解消するための仕組み
ChatGPTやBing Chatの背景にある大規模言語モデルの多くは、Googleが開発したニューラルネットワークアーキテクチャーの「Transformer」を採用しています。このTransformerの鍵になるのが「Self-Attention」というシステムです。このSelf-Attentionを視覚化するためのツール「Attention Viz」を、ハーバード大学とGoogleの共同研究チームが発表しました。 AttentionViz Docs https://catherinesyeh.github.io/attn-docs/ Transformerがどういう仕組みのアーキテクチャなのかについては、以下の記事を読むとよくわかります。 ChatGPTにも使われる機械学習モデル「Transformer」が自然な文章を生成する仕組みとは？ - GIGAZINE 自然言語処理をディープラ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
Apple Payが日本にやってくるまでの話【鈴木淳也のPay Attention】
Self-Attentionを全面的に使った新時代の画像認識モデルを解説！ - Qiita
「Suica」と「Visaのタッチ決済」、改札での速度差の秘密【鈴木淳也のPay Attention】
「センターサーバ方式Suica」に関する疑問をJR東日本に聞いた【鈴木淳也のPay Attention】
ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される
Apple PayのVisa対応、なぜここまで時間がかかったのか【鈴木淳也のPay Attention】
マイナンバーカード保険証でいま起こっている問題とマイナ活用の未来【鈴木淳也のPay Attention】
ついに本格スタートした「マイナンバーカード保険証」の実際【鈴木淳也のPay Attention】
なぜ新紙幣を発行するのか 対応の実際とキャッシュレスの関係【鈴木淳也のPay Attention】
マイナンバーカードを用いた本人確認とiPhoneへの機能搭載【鈴木淳也のPay Attention】
ドコモ口座ドメイン名流出の背景 企業・政府におけるドメイン運用の課題【鈴木淳也のPay Attention】
JR東日本がQRコード改札を検討する理由。QR採用は退化じゃない【鈴木淳也のPay Attention】
「給与デジタル払い」の誤解と実際。労働者、○○Pay、銀行のメリット【鈴木淳也のPay Attention】
Suicaの決済トラブルにどう対処する?【鈴木淳也のPay Attention】
JR東日本がついに開始する「QRコード改札」 狙いと仕組みを完全整理【鈴木淳也のPay Attention】
マイナポイント事業にみる「マイナンバーカード」普及の限界【鈴木淳也のPay Attention】
海外カードでSuicaのApple・Google Payチャージができなくなっている話【鈴木淳也のPay Attention】
“タッチ決済”乗車の広がりでこれから日本に起こること【鈴木淳也のPay Attention】
暗証番号を設定不要なマイナンバーカードと2026年の新カード【鈴木淳也のPay Attention】
Suicaの幻想と現実【鈴木淳也のPay Attention】
磁気切符の廃止とQRコード改札が変えるもの 疑問と誤解を整理する【鈴木淳也のPay Attention】
超重要な基盤技術「Attention」、Transformerがなぜ画期的なのかを知る
ユニクロ・無印など店舗独自Payの意味。「○○Pay乱立」ではない【鈴木淳也のPay Attention】
マイナンバーカードのトラブルにどう対処すべきなのか【鈴木淳也のPay Attention】
交通系ICカードとクレカのタッチで乗車する「オープンループ」の今後【鈴木淳也のPay Attention】
ChatGPTなどの対話型AIの基礎となっている「Attention」を可視化した「Attention Viz」
全銀システム障害と、同システムが目指す将来像【鈴木淳也のPay Attention】
すべてのペイはカードに向かう なぜコード決済がカードを強化するのか【鈴木淳也のPay Attention】
SuicaがID化する未来。センターサーバの「新しいSuica」の意味【鈴木淳也のPay Attention】
マイナンバーカード、震災で見えた課題とiPhone搭載で変わること【鈴木淳也のPay Attention】
全銀システム障害とは何だったのか【鈴木淳也のPay Attention】
全銀システム障害、全銀ネットの対応で不足していたもの【鈴木淳也のPay Attention】
サーバ型になった新Suicaを体験した。速度は十分【鈴木淳也のPay Attention】
SuicaがQRコード決済に飲まれるという話は本当か【鈴木淳也のPay Attention】
オープンループ乗車システムはSuicaの地位を塗り替えるのか?【鈴木淳也のPay Attention】
okayamastyle.com
www.tokyo-np.co.jp
medical.nikkeibp.co.jp
yuwai-inc.jp
hkmn.jp
www.asahi.com