エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Big Birdの紹介 - Retrieva TECH BLOG
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Big Birdの紹介 - Retrieva TECH BLOG
Chief Research Officer兼カスタマーサクセス部リサーチャーの西鳥羽 (Jiro Nishitoba (@jnishi) | Twit... Chief Research Officer兼カスタマーサクセス部リサーチャーの西鳥羽 (Jiro Nishitoba (@jnishi) | Twitter) です。 昨年のNeurIPSで発表されたBig Birdが興味深かったので紹介します。 Big Birdの概要 attentionにおける工夫 Random Attention Window Attention Global Attention 理論的解析 実験結果 QA 要約 ゲノム まとめ Big Birdの概要 Big BirdはTransformerの一種です。 Transformerは自然言語処理、音声認識等含めて系列に対するタスクに対して強力な手法です。 しかし、系列の長さの2乗の計算時間及びメモリ領域を必要としており、要約や音声認識など長い系列の処理についてはこの点が課題になります。 Big BirdはTransfo