GoogleやAmazonが投資するAIスタートアップのAnthropicの研究チームが、ニューラルネットワークがどのように言語や画像を扱っているのかを解き明かす研究において、個々のニューロンを「特徴」と呼ばれる単位にまとめることでニューラルネットワークの中身を解釈しやすくなるという研究結果を発表しました。 Anthropic \ Decomposing Language Models Into Understandable Components https://www.anthropic.com/index/decomposing-language-models-into-understandable-components 大規模言語モデルは多数のニューロンが接続されたニューラルネットワークで、ルールに基づいてプログラミングされるのではなく、多数のデータを元にトレーニングを行うことでタス

GPT-4などの大規模言語モデルは非常に高い性能を有していますが、各モデルがどのような思考を経て応答を出力しているのかは開発者ですら把握できていません。新たに、OpenAIが大規模言語モデルの思考を読み取る手法を開発し、GPT-4の思考を1600万個の解釈可能なパターンに分解できたことを発表しました。 Extracting Concepts from GPT-4 | OpenAI https://openai.com/index/extracting-concepts-from-gpt-4/ Scaling and evaluating sparse autoencoders https://cdn.openai.com/papers/sparse-autoencoders.pdf 一般的なソフトウェアは人間の設計に基づいて開発されているため、各機能の仕組みを理解した上で機能を修正したり安

https://anond.hatelabo.jp/20240606113439 昨日は本当に限界だったんで、わらにもすがる思いで、プロフィールもろくに書かずなんか変なタイトルで書き込んでしまったんだけど、それにもかかわらず、かなり反応もらって驚いた。 同情が欲しいというよりはまじでなんて返せばいいのか聞きたかったのでこんなタイトルにしてしまった。変えたいわ。 ひとつひとつに反応できないけど、みんなありがとう。 客観的に見るとどうなのか参考になるし、具体的にどうしたらいいのかの選択肢もかなり増えてありがたい。 夫と話しました。というか、私がキレました。以下、無駄長。 ■その前に、今さらいらんと思うけど若干ボカした簡単なプロフィール私・夫ともに30代。 私のほうが年上だけど数歳差なので同い年みたいなもんかなと思う。 二人とも働いてて、私はほぼ在宅、夫は週半分出社。 夫は元々電車（というか人の

ニューヨーク（ＣＮＮ） 米炭酸飲料業界紙は６日までに、市場シェアで「ドクターペッパー」が昨年、長らく２位の座にいた「ペプシコーラ」をついに抜いたと報告した。 首位は依然、コカ・コーラで、２位に大差を付ける１９．２％の占有率を獲得。同業界紙「ビバレッジ・ダイジェスト」のデータによると、ペプシコーラとドクターペッパーは共に８．３％だったが、「厳密に言えば」としてドクターペッパーが上位にあるとした。 他のブランドではコカコーラ系列の「スプライト」が８．１％、「ダイエットコーク」が７．８％だった。 同紙の編集責任者はＣＮＮの取材に、ペプシコーラとドクターペッパーは競り合っているが、ドクターペッパーには勢いがあり、ペプシコーラは失速していると指摘した。 ２３種類の原料を使っているとされるドクターペッパーはここ数年、人気を高めており、ぴりっとした飲み口はコーラの代替品になるとの評価も得てきた。 ドクタ