さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transformer」構造の心臓部「Attention(アテンション)」についての解説が行われています。 3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning https://www.3blue1brown.com/lessons/attention AIの中身と言える大規模言語モデルのベースとなる仕事は「文章を読んで次に続く単語を予測する」というものです。 文章は「トークン」という単位に分解され、大規模言語モデルではこのトークン単位で処理を行います。実際には単語ごとに1トークンという訳ではありませんが、3Blue1Brownは単純化して

まつもとゆきひろ氏がソフトウェア開発に役立つ2冊の書籍を紹介 『失敗の科学』と『APIデザインケーススタディ』から学べること #11 「失敗の科学」 オープニングトーク まつもとゆきひろ氏：まつもとゆきひろです。月曜日に放送して以来、ちょっと間が空いてしまいました。今日これを録音しているのは、（2022年）6月25日の土曜日なので、月曜日から土曜日まで録音できなかったということになります（笑）。 「Voicy」は、一発録りで流す仕組みで、編集をほとんどかけていないので、そういう意味で言うと、習慣化して毎日10分とか録れば、すぐに毎日できるようになると思うんですけれども、まだ習慣になっていないので、忙しいとこうやってつい後回しになって、じゃあ、次の日、とかなってしまいがちなのが現状です。 例えば、毎日「Wordle」をするとかですね（笑）、日記を書くとかですね、それから、「mruby」に1日

読めない人が「読む」世界:読むことの多様性 作者:マシュー・ルベリー原書房Amazon読書は日常的な行為ではあるが、実はそのやり方は人によって大きく異なる。書かれている文字を読んで、その意味を理解したり解釈したりするっていうだけでは？　と思うかもしれないが、そこに収まらない読み方をする人が多数いるのである。 本書『読めない人が「読む」世界』(原題：Readers Block)は、型破りな方法で読む人を取り上げていく一冊だ。たとえば認知症の患者は、少しずつ記憶が抜け落ち、短期的な記憶力も低下していく。長篇がスラスラ読めた人であっても、認知症が進行するにつれ、一ページ分の記憶も持たなくなり、話の筋が追えなくなる。そうした人たちは単純に「読む」という営みから除外されるのかといえば、そうではない。 ある認知症患者は長篇を読む喜びを諦めた代わりに短篇をじっくりと読み、楽しむ方向に切り替え、物語の展開

こんにちは、unnameの代表取締役の宮脇啓輔です。 普段から重要だなと感じたことや、自分なりに思考したものを伝えようとXで投稿しているのですが、その中でも反響が大きかった投稿をさらに肉付けして発信しようという試みで記事化しております。 「頭の回転が速い」とは「累積思考量が多い」ことだと思います。「過去に似たようなテーマについて考えたことがある」から、すぐに自分の意見が出てくるし、回転が速く見える。考えたことがないと、その場で思考してしまい、遅く見える。そういうことだと思っています。… — 宮脇 啓輔 / 積極採用中 / unname (@keisuke_unname) March 21, 2024 この投稿がかなりいい反響をいただいたということもあり、投稿をベースに、もう少し肉付けして解説してみます。 「頭の回転が速い」の正体はなんなのか「頭の回転が速い」と見える人は、実際は「累積思考量

側弯症の女性が主人公の芥川賞受賞作「ハンチバック」。その作者で自身も側弯症である市川沙央さんに「ハンチバック」の作品に込めた思いなどを尋ねました。作品についての質問から、世間の障害者観についての質問まで、幅広くお答えいただきました。特に、障害者の権利やヘイト言説についての質問には、とても気持ちのこもった痛快な回答でした。 あれでも相手役だった「田中さん」 (c)撮影：深野未季（文藝春秋） ──様々な固有名詞や専門用語などが実名で登場していますが、そこに意図はおありでしょうか。 「医療用語、医療機器名に関してはリアリティとともに、日常感を示すためです。特別なものではないということですね。WEB小説用語もそうですね。いや、『ナーロッパ』とかは、単純に『ナーロッパ』というワードを純文学の文芸誌に載せたかった、WEB小説界からそのように殴り込みをかけたら面白いじゃんと思って書いていたかもしれません