™ on Twitter: "https://t.co/DQjfFGQOfA attention をかけると feature space が単体的に縮まるのでその分 covering number が減る（d次元単体の体積 / d次元球の体積 〜 1/(d/2)!）みたいな説明。なるほど？"
https://t.co/DQjfFGQOfA attention をかけると feature space が単体的に縮まるのでその分 covering number が減る（d次元単体の体積 / d次元球の体積 〜 1/(d/2)!）みたいな説明。なるほど？
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://x.com/mt_b00ks/status/1803414554736566539?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
JavaScript is not available.
JavaScript is not available.
https://twitter.com/icoxfog417/status/1537986649400832000
Maxwell! 🌃 🌻 🎃 👻 on Twitter: "PEGASUS 📝 https://t.co/w4Ae4X519s PEGASUS は Transformer-base の文書要約モデル Google Workspace 上の Google Doc の自動要約モデルの蒸留… https://t.co/iFrZGqjO1Y"
mamas on Twitter: "permutation invarianceこそがTransformerの強力な部分なんだよなー。でもこの性質ってNLPだと大して役に立たないので、最初にNLPで出るべき手法だったという感じは全くしない"
KUBOKO on Twitter: "【SIGNATE】BERTで医療論文を2値分類する(PyTorch BERT)｜KUBOKO SIGNATE論文コンペでの実装を解説しています。 雑な部分もありますがよろしければ御覧ください🤗 https://t.co/6yH4zPxw9R #zenn"
goto@meta翻訳開発者 on Twitter: "Attentionがどのように学習しているのかを分析する論文。 この学習は2段階プロセスに近似でき、 ・まず単語がどう変換されるかを学習 ・次に(単語の変換先は分かっているので)どの単語に注目するかを学習 というような仕組みらしい… https://t.co/7vBVxVWbl9"
Akiva Miura (Atid Ltd.) on Twitter: "https://t.co/2SV44r6BP9 GPT-1やBERTが出てきた頃からずっともやもやしてた、結局位置表現にはSinusoidalか学習可能埋め込みのどっちがいいんやっていう話について、ちゃんと研究した論文がICLR… https://t.co/2PNRjo7QaQ"
小猫遊りょう（たかにゃし・りょう） on Twitter: "グーグルのAI研究（Primer：PRIMitives searched transformER） 進化によって設計されたシンプルで効果的なTransformerの改良。Primerは、より優れたスケーリング則（べき乗則）を示し… https://t.co/komFP46ttU"
akira on Twitter: "https://t.co/ZCFShZRLyF Transformerを使った、軽量ネットワークMobile-Formerを開発した。MobileNetとTransformerを双方向の結合で接続することで局所と大局情報２つを処理… https://t.co/xvS5FaxNtH"
ELYZA, Inc. on Twitter: "Microsoft社でデプロイされている医療論文検索エンジンの解説論文。BM25で検索し，BERTでrerankする。BERTは医療ドメインのテキストで事前学習し，検索データセットMS MARCOのうち医療単語を含むデータでfin… https://t.co/BTbSqp6TqW"
ステート・オブ・AI ガイド on Twitter: "Nvidia が、トランスフォーマーを使った推薦システムのフレームワークである Transformers4Rec を発表。HuggingFace Transformers ライブラリを利用し、NLP でポピュラーな各種モデルを利用… https://t.co/yKBAlAS5Bo"
goto@meta翻訳開発者 on Twitter: "言語モデルにとって語順は重要な要素なのか、を分析している論文。 BERTベースのモデルは、多くの場合、語順を入れ替えてテストしてもGLUEタスクでのスコアはあまり変わらなかったという話。… https://t.co/AmYvULX4ei"
kashi_pong on Twitter: "某用で「注意機構（attention）完全に理解した！」ってなったやつをまとめました https://t.co/lk1vKBZzx2"
goto@meta翻訳開発者 on Twitter: "Googleの実用的すぎる神論文。 言語モデルの学習を効率化する為に、学習データから似たものを排除する手法を提案し、少ない学習ステップで同等以上の精度のモデルを学習できることを示した論文。… https://t.co/tBlGtBFE9l"
Koustuv Sinha on Twitter: "[1/7] Excited to announce “Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-train… https://t.co/RNrekW2TuY"
ワクワクさん on Twitter: "同じhead数なら浅いmulti-headより深いsingle-headの方がいいらしい（浅い読みなのでYさんに怒られる） https://t.co/ACslSf4Yx7 https://t.co/sen0upGvEf"
elvis on Twitter: "A comprehensive overview of Transformer variants. A must-read for students getting into the world of machine learn… https://t.co/jneYDKWTdP"