3つの要点 ✔️ Local-Sensitive-Hashingにより必要な要素同士のAttentionを計算することができるようになった ✔️ Reversible layerによってレイヤー数に比例して増加するactivationを保存するメモリの削減 ✔️ transformerの計算量を$O(L^2)$から$O(L \log L)$まで削減した Reformer: The Efficient Transformer written by Nikita Kitaev, Łukasz Kaiser, Anselm Levskaya (Submitted on 13 Jan 2020 (v1), last revised 18 Feb 2020 (this version, v2)) Comments: ICLR 2020 Subjects: Machine Learning (cs.L

困った時はドキュメント、どうもかわしんです。最近、諸事情で SQLite のドキュメントを読んでいます。 前回の記事 で紹介した通り SQLite を Rust で再実装しています。おかげさまで 300 を超える Github Star もいただき嬉しいです。 github.com SQLite は全ての仕様が ドキュメント にまとめられているので、そのドキュメントと本家の実装を読み比べながら実装しています。 SQLite を再実装する上で特に以下のドキュメントは役にたちます。これらだけで最小限の SQLite の実装は作れると思います。 Overview Documents > About SQLite いかに SQLite がすごいかを自慢しているドキュメント。使おうとしている人には安心を、再実装しようとする人には絶望を与えてくれます。 Programming Interfaces >

ふたつのいす @eruear946 私はくも膜下出血のときに「これは放っておいたら死ぬヤツ」と直感して救急車を呼んだ。急性期を脱してから主治医にお礼を言ったら、「すぐに救急車を呼んだのがよかった」とべた褒めされた。看護師さんやリハビリの先生からも、すぐに救急車を呼んだ判断を絶賛された。 twitter.com/OTOKONOHAKABA/… 杉作Ｊ太郎 @OTOKONOHAKABA 初めて救急車に乗った。自分で呼んだ。決心は難しい。事実躊躇して二度断念、夜が明けたら自分で病院に行こうか。いや、違う。これは違う。発信ボタンを押した。明け方の暗闇にサイレンの音が。 電話してなかったら死んでた。生死の境というのはある。 ふたつのいす @eruear946 くも膜下出血を発症したときはホテルのベッドで１人で寝ていた。なんかおかしいと感じ、ベッドから起き上がろうとしたが、仕事上、脳出血についてのほん

海外ポスドク後にどのような進路を選ぶか非常に迷ったのですが、2022年の4月に東京大学の助教に着任しました。着任して色々思うことはありますが、この1年間、私が何をしていたのかを淡々と書いていきます。 ※リアルバレしたくないので具体的なことは書かないようにしますし敢えてまわりくどい（読み方）書き方をしています。俺の友達以外読むな。 期待を胸に着任まず3月中旬に家探しのついでに所属先となる研究室を訪問したが、そこの准教授が私の存在をご存知でなかった。「着任する前田です」「えぇ〜！！！マジですか？w」初手から暗雲が立ち込める。 4/1に専攻長から辞令を受け取り、「これから頑張ってください」と言われただけで終了。労働の詳細についての説明は一切無し。誰にも何も言われない。ガイダンスも無し。自由というよりは統制のない無法地帯に近い。大学教員の仕事って何なんだろうな…。 ちなみに、着任のお祝いも一切何も