How does ChatGPT ‘think’? Psychology and neuroscience crack open AI large language models
David Bau is very familiar with the idea that computer systems are becoming so complicated it’s hard to keep track of how they operate. “I spent 20 years as a software engineer, working on really complex systems. And there’s always this problem,” says Bau, a computer scientist at Northeastern University in Boston, Massachusetts. But with conventional software, someone with inside knowledge can usu
World Models
Abstract We explore building generative neural network models of popular reinforcement learning environments. Our world model can be trained quickly in an unsupervised manner to learn a compressed spatial and temporal representation of the environment. By using features extracted from the world model as inputs to an agent, we can train a very compact and simple policy that can solve the required t
ジェイ・フォレスター - Wikipedia
ジェイ・ライト・フォレスター（Jay Wright Forrester、1918年7月14日 - 2016年11月16日[1]）はアメリカの計算機科学者、システム科学者。MITスローン経営大学院で教授を務めていた。力学系におけるオブジェクト間の相互作用のシミュレーション手法であるシステムダイナミクスの生みの親である。 経歴[編集] 1918年、ネブラスカ州アンセルモ近郊の牧場で生まれる。牧場には電力が届いていなかったため、高校生のときに古い自動車の部品を流用して12ボルトの電力を発生する風力発電機を作った[2]。高校卒業後、奨学金を得て農学部へ行くことにしたが、入学の3週間前、牧場を継ぐことに全く魅力を感じていないことに気づく。そこで1936年、ネブラスカ大学工学部に入学し、電気工学を学び始めた。そこで、電気工学が力学系理論的中核を学べる唯一の学問分野だと確信した[3]。 1939年に大学
Embers of Autoregression: Understanding Large Language Models Through the Problem They are Trained to Solve
The widespread adoption of large language models (LLMs) makes it important to recognize their strengths and limitations. We argue that in order to develop a holistic understanding of these systems we need to consider the problem that they were trained to solve: next-word prediction over Internet text. By recognizing the pressures that this task exerts we can make predictions about the strategies t
Distill — Latest articles about machine learning
Understanding Convolutions on Graphs Ameya Daigavane, Balaraman Ravindran, and Gaurav Aggarwal Understanding the building blocks and design choices of graph neural networks. A Gentle Introduction to Graph Neural Networks Benjamin Sanchez-Lengeling, Emily Reif, Adam Pearce, and Alexander B. Wiltschko What components are needed for building learning algorithms that leverage the structure and propert
Workshop on Visualization for AI Explainability
7th Workshop on Visualization for AI Explainability October ??, 2024 at IEEE VIS in St. Pete Beach, Florida The role of visualization in artificial intelligence (AI) gained significant attention in recent years. With the growing complexity of AI models, the critical need for understanding their inner-workings has increased. Visualization is potentially a powerful technique to fill such a critical
Cocoa Horizons
私たちが目指すもの 持続可能で企業的志向をもった農園経営、生産性の向上、コミュニティ開発の促進を通じて、カカオ生産者の生活とコミュニティを改善し、子どもたちと自然を保護することを目指します。 2015年以来、カカオ農業コミュニティにプラスになる影響を生み出しています ココアホライズン財団は、持続可能で起業家精神を持つ農園経営の推進、生産性の向上、自然と子どもたちを守るコミュニティ開発を通じて、カカオ生産者とそのコミュニティをより良いものにすることを使命として、バリーカレボー社によって2015年に設立されました。
YouTube、「切り抜き動画」の収益化を停止へ
けい 動画編集者 @keifuji03170226 YouTube切り抜き動画（ショート動画メイン）で収益化条件をやっとクリアできました^_^ しかし、再利用されたコンテンツということで収益化できませんでした（ ; ; ） がるぜん / ホロライブEN和訳 @guranslation 【拡散希望】 この度@TeamYouTubeから「YouTubeに存在する切り抜き動画は全てプロモーションであり、ポリシーに反する」という見解を受取りました。 YouTubeから明確な回答を得るため、みなさんのお力をお借りできないでしょうか。 youtu.be/U1RLf4qqBG4
ひまそらあかね氏「残念ですが力及ばずでした」東京都知事選 Ｘで「最終的に俺何位だろ」
東京都知事選に出馬した作家のひまそらあかね氏（４１）は７日夜、小池百合子知事（７１）の当選確実が報じられたことを受け、Ｘで「残念ですが力及ばずでした」と投稿した。 その後も「まー悔しいけど 百合子蓮舫石丸でなら百合子に入れてたろうからなー」「何票くらいとれたんだろ 最終的に俺何位だろ」などと投稿を重ねた。 ひまそら氏は若年女性らに対する都の支援事業を巡る公金支出について、住民監査請求を行うなどＳＮＳでインフルエンサーとして知られた。６月２０日の告示当日にサプライズ出馬し、「公金チューチューをなくす」「東京都をデジタルで楽しませる」などの公約を掲げた。顔を出さず、政見放送も行わず、ＳＮＳを中心に選挙戦を展開した。
フランス総選挙、左派が逆転勝利 極右失速で第3勢力、政治混乱も ｜ 共同通信
【パリ共同】フランス国民議会（下院、577議席）総選挙の決選投票は7日即日開票され、フィガロ紙が伝えた暫定最終結果によると左派連合が勝利し、第1勢力となった。マクロン大統領の中道与党連合は議席を大幅に減らし2位。反移民、反EUの極右政党、国民連合は事前予測で第1勢力となる勢いだったが失速、第3勢力にとどまった。与党連合と左派連合による候補者一本化の「極右包囲網」が奏功し、逆転した。 どの勢力も過半数の289議席に届かず法案を可決できない「統治不能」状態に陥る恐れが高く、今月下旬開幕のパリ五輪を前に政治が混乱しそうだ。経済や外交、EUとの関係にも影響が出る可能性がある。 投票率は約66％で、決選投票では約71％だった1997年以降で最高となった。 与党連合のアタル首相は7日、辞表を8日朝にマクロン氏に提出すると明らかにした。連立交渉が本格化するが、難航するとみられる。 仏メディアによると大統
反ワクチン「神真都Q会」にいた5人の公判 陰謀論の怖さ浮き彫りに：朝日新聞デジタル
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Physics of Language Models: Part 1, Learning Hierarchical Language Structures
A Mathematical Framework for Transformer Circuits
Gotit Pub
A Theory of Emergent In-Context Learning as Implicit Structure Induction
Transformer Circuits Thread