気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
1 userがブックマーク
0
0
RoFormer: Enhanced Transformer with Rotary Position Embedding - iwiwi 備忘録
1 user
iwiwi.hatenadiary.jp
iwiwi.hatenadiary.jp
記事へのコメント0件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
RoFormer: Enhanced Transformer with Rotary Position Embedding - iwiwi 備忘録
arxiv.org GPT-NeoX等で使われているposition embedding。 そもそも三角関数足す元祖のposition embeddi... arxiv.org GPT-NeoX等で使われているposition embedding。 そもそも三角関数足す元祖のposition embeddingしか知らなかったので、relative position embeddingがどういうものかも知れてよかった。この手法自体は足す(additive)んじゃなくて回転させる(multicative)で、一見かなりアグレッシブな気もしたけど、足すのもまぁまぁやべーし良いかという気持ちになった。内積の大きさを制御したいと思えば全然普通かもしれない。
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
iwiwi.hatenadiary.jp
iwiwi.hatenadiary.jp
iwiwi.hatenadiary.jp
iwiwi.hatenadiary.jp
note.com/ggkiev
anond.hatelabo.jp
anond.hatelabo.jp
ddnavi.com
www.tokyo-np.co.jp
newsdig.tbs.co.jp
anond.hatelabo.jp
mainichi.jp
togetter.com
www.afpbb.com
www.nikkei.com
www.nikkei.com
news.livedoor.com
hatena.blog
hatena.blog
2024/04/27 リンク