驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
「AIに仕事は奪われませんよ」から「今度は本当に奪われますよ」のヤバすぎる逆転…「第４次AIブームは《インターネットの発明》を超えるインパクトになる」と松尾豊さんが断言する理由（サイエンスZERO） @gendai_biz
「AIに仕事は奪われませんよ」から「今度は本当に奪われますよ」のヤバすぎる逆転…「第４次AIブームは《インターネットの発明》を超えるインパクトになる」と松尾豊さんが断言する理由 「『サイエンスZERO』20周年スペシャル」取材班 サイエンス激動の時代を捉えるため、日本のサイエンス各分野の著名な研究者に「サイエンスZERO」の20周年（3月26日（日）夜11:30～ NHK Eテレ）を記念し、この20年の研究を振り返ってもらうインタビューを行いました。そこでどの研究者からも飛び出してくる驚きの言葉や知見、未来への警鐘とは―。 「AIが“動き出した”20年だった」 そう語るのは、日本におけるAI研究の第一人者、東京大学大学院教授の松尾豊（まつお・ゆたか）さんです。今、対話型AI（人工知能）のChatGPTの登場が世界中に衝撃を与えています。「インターネットの発明よりも大きな変化が起きる」という
エヴァのMAGIシステムをGPT3で作ってみた｜深津 貴之 (fladdict)
新世紀エヴァンゲリオンにでてくる超AI、MAGIシステムを作ってみたメモ。 OpenAI社のGPT3を使って、三頭制合議型のAIシステムを組んでみた。 MAGIシステムとは？MAGIは、アニメ「新世紀エヴァンゲリオン」にでてくる超AI。 このAIの面白い特徴は、性格の異なる3体のAIが、それぞれ独立に見解をだし、それを集約して1つの結論をだすという合議制のシステムです。 キリストの祝福を告げた三賢者にちなみ「メルキオール」、「バルタザール」、「カスパー」という3つのAIが、それぞれ開発者である赤城博士の「科学者」、「母」、「女」として側面をから答えを出します。 MAGI GPT3の実装最近話題のChat GPTの凄さをみるに、「MAGIシステム」現実に作れるのでは？と思って、Google Colabで実装してみました。 1つの質問に対し、GPT3を4回ぶんまわすシステム図のように、1つの質
脳に電極を埋め込まなくても「思考」がリアルタイムで読めるAI技術が登場
機能的磁気共鳴画像(fMRI)という手法で脳をスキャンしAIに解析させることで、人の思考を正確に読み取ることができたとの論文が発表されました。この技術により、病気やけがで話したり体を動かしたりすることができない人のコミュニケーションを支援する技術が大きく前進すると期待されています。 Semantic reconstruction of continuous language from non-invasive brain recordings | bioRxiv https://doi.org/10.1101/2022.09.29.509744 Researchers Report Decoding Thoughts from fMRI Data | The Scientist Magazine® https://www.the-scientist.com/news-opinion/res
脳の基本単位回路を発見 | 理化学研究所
要旨 理化学研究所（理研）脳科学総合研究センター局所神経回路研究チームの細谷俊彦チームリーダー、丸岡久人研究員らの研究チーム※は、哺乳類の大脳皮質[1]が単純な機能単位回路の繰り返しからなる六方格子状の構造を持つことを発見しました。 大脳はさまざまな皮質領野[2]に分かれており、それぞれ感覚処理、運動制御、言語、思考など異なる機能をつかさどっています。大脳は極めて複雑な組織なため、その回路の構造には不明な点が多く残っています。特に、単一の回路が繰り返した構造が存在するか否かは不明でした。 今回、研究チームは、大脳皮質に6層ある細胞層の一つである第5層をマウス脳を用いて解析し、大部分の神経細胞が細胞タイプ特異的なカラム状の小さなクラスター（マイクロカラム）を形成していることを発見しました。マイクロカラムは六方格子状の規則的な配置をとっており、機能の異なるさまざまな大脳皮質領野に共通に存在して
国会答弁、AIが下書き＝経産省が実験へ （時事通信） - Yahoo!ニュース
人工知能（AI）を駆使して、閣僚らの国会答弁の下書きを作成することができるのか、経済産業省がこんな実験を近く始める。 過去5年分の国会会議録をAIに学習させ、政策課題や論点をまとめさせることを想定。行政機関でのAI普及につなげる考えだ。 経産省はAIやモノのインターネット（IoT）技術を活用する「第4次産業革命」の旗振り役でもあり、自ら率先してAIを活用。作業効率向上に取り組む。国会答弁づくりは、前日の深夜や当日の未明までかかることも少なくない。経産省の取り組みが長時間労働の是正に役立つか、霞が関かいわいで注目を集めている。 経産省は2月までに実験用のシステムを構築。例えば「省エネルギー政策を推進すべきか」という質問を入力すると、AIが過去に行われた関連質疑から政策のポイント、課題、論点などを整理して提示する仕組みを想定。この下書き資料を基に、職員が国会答弁や政策資料を作成できるかど
米MSの人工知能が暴走している一方、日本MSの作ったJK人工知能はオタクになっていた
ねとらぼ @itm_nlab 公開されたばかりでした… Microsoftの人工知能「Tay」が緊急停止 ネットで人種差別や陰謀論を学んでしまったため - ねとらぼ nlab.itmedia.co.jp/nl/articles/16… @itm_nlabから pic.twitter.com/WiSZlpQK42 まとめ Ai、人類の反撃に敗れる（？）学習型AIボット「Tay」が差別語など覚えネット公開停止…その反響 基本的な内容はこちらをご覧ください。 【マイクロソフトの機械学習AI「Tay」、ネットで差別と陰謀論に染まって一日で公開停止 - Engadget Japanese http://japanese.engadget.com/2016/03/24/ai-tay/】 それを受けて「Tay」で検索した結果が主です。本格的な考察ツイートは、この後出てくるのかな？ 47290 pv 22
NHK NEWS WEB 人工知能は人類を超えるか！？
人工知能は人類を超えるか！？ 3月17日 22時30分 今月、グーグルの研究グループが開発した囲碁の人工知能が、世界最強との呼び声も高い韓国のイ・セドル九段と対局しました。世界が注目した人間対コンピューターの対決は、人工知能が４勝１敗と大勝し、世界中に大きな衝撃を与えました。 人工知能は「そのうち人間を超えるのでは」と感じる人も多いようですが、今、技術はどこまで進んでいるのでしょうか？ 科学文化部の田辺幹夫記者が解説します。 予想を超えた学習スピード ことし１月、イギリスの科学雑誌「ネイチャー」に発表された１本の論文に、世界は衝撃を受けました。アメリカのＩＴ企業、グーグルの研究グループが、最新の人工知能の技術を駆使し、人間を超える囲碁ソフトを開発したというのです。 その名は「ＡｌｐｈａＧｏ（アルファ・ゴ）」。論文には去年１０月の時点で、ヨーロッパの囲碁チャンピオンと５戦して全勝したと
人工知能が急に進化し始めた！ | TheWave
人工知能。何十年も前からある言葉だ。国家プロジェクトとして研究されていた時期もあった。それでも完成しなかった。やはり人間の脳は複雑で、それをコンピューターで真似することなど不可能かもしれない。 人工知能。何十年も前からある言葉だ。国家プロジェクトとして研究されていた時期もあった。それでも完成しなかった。やはり人間の脳は複雑で、それをコンピューターで真似することなど不可能かもしれない。 「ところがブレークスルーが起こったんです」と東京大学の松尾豊准教授は熱く語る。 ▶2012年。人工知能研究に火がついた 2012年。人工知能の精度を競う国際的な大会で、カナダのトロント大学がぶっち切りの勝利を収めた。それも１つの大会だけではなく、３つ続けてだ。 「優勝したのは、画像認識、化合物の活性予測、音声認識など３つのコンペティション。まったく異なる領域にも関わらず、今までその分野を専門的に研究していた人
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人間の脳のメカニズムを、わたしは知りたくてたまらない。──福島邦彦｜WIRED.jp
自閉症スペクトラムの発症には「ジャンクDNA」の突然変異が影響していた──AIによるゲノム解析で明らかに
hatebu.me
人工知能が描いた「レンブラントの新作」
人間対AI：囲碁9段の解説者、解説できず視聴者に謝罪 Chosun Online | 朝鮮日報
【人類滅亡？】2045年問題について語らせてｗｗｗｗｗｗｗ : キニ速
人類はAIを恐れる必要はない：Googleエリック・シュミット語る
スパコン『Watson』が脳にかなわない理由