stealthinuのブックマーク / 2020年1月24日

stealthinu id:stealthinu

2020年1月24日のブックマーク (3件)

Transformer大規模化へのブレークスルーとなるか!? 高効率化したReformer登場
3つの要点 ✔️ Attentionの計算量をO(n^2)からO(n log n)へと劇的に削減 ✔️ アクティベーションなどのメモリ使用量を大幅に削減 ✔️ 速度・メモリ共に実装効率を大きく改善しながらも、Transf ormerの性能を維持 Reformer: The Efficient Transf ormer written by Anonymous (Submitted on 13 Jan 2020 (v1), last revised 18 Feb 2020 (this version, v2)) Comments: Accepted at ICLR2021 Subjects: Machine Learning (cs.LG); Computation and Language (cs.CL); Machine Learning (stat.ML) Official Comm 大規
stealthinu 2020/01/24
Reformer Transformerを高速化、省メモリ化するための手法だが非常に効果が大きい。アルゴリズムの変更がすごく頭いい。Transformer使う研究がもっと広がるだろう。

機械学習

deeplearning
リンク
都知事選、山本氏擁立も　立民・長妻氏｜共同通信
黒枠のラベルは、コンテンツホルダー自身が付与したものです。グレー枠のラベルは本文解析で自動付与されたものです。立憲民主党の長妻昭選対委員長は23日夜のBS日テレ番組で、7月5日投開票の東京都知事選にれいわ新選組の山本太郎代表を野党統一候補として擁立する可能性に言及した。「他党の意見も聞かないといけないが、十分検討の余地はある」と述べた。当面見送りとなった国民民主党との合流に関しては「何とか総選挙の時には大きな形で、政権を担えるような政党にしていきたい」と述べ、次期衆院選までの合流に期待感を示した。山本氏は都知事選に出馬するかどうかについて「選択肢としては排除しない」としている。
stealthinu 2020/01/24
これは東京都知事選の話だけどこういうの見てるとやはり立憲民主を支持するのもなあ…となってしまう。

政治
リンク
ぼくは見た、国の消滅を | NHKニュース
10歳だった。その時ぼくは、まだ「ソビエト連邦」だったモスクワにいた。そこで見たのは、「国」というものが劇的に変化する瞬間だった―― 外務省が公開した6000ページにのぼる外交文書。外交官たちの生々しい報告が、私をあの時代に連れ戻した。そして私は、何が起きていたのかを初めて実感した。（政治部・渡辺信）その書き出しは、文学的だった。『ＢＵＫＳＯＶＡＴ（空転する）。２年１か月のモスクワ在勤を終え帰国する日、空港の暗い待合室で搭乗を待ちながら、ふと、この単語が頭に浮かんだ。ゴルバチョフの始めたペレストロイカを、ひと言で総括するとすれば、まさに「空回りしている」というのが適当ではなかろうか』 1987年11月の「ソ連在勤を終えて」という報告書の冒頭だ。書いたのは、モスクワの日本大使館の政務班長だった角崎利夫氏。これまで私が読んできた硬い外交文書とは異なる表現で、1985年に書記長に就任し
stealthinu 2020/01/24
すごい記事だった。大学に入ったときベルリンの壁がなくなったりソ連崩壊だったり、ああ世界が大きく変わるなと思ったものだが、なんか当時の現地の様子がちょっとでも理解できた気がする。

歴史

国際
リンク
- 2020年1月27日
- 2020年1月24日
- 2020年1月23日