Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ
Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。 [2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits https://arxiv.org/abs/2402.17764 従来のモデルであれば入力に対して「0.2961」などのウェイトをかけ算してから足し引きする必要がありましたが、「-1」「0」「1」の3値のみであればかけ算が不要になり、全ての計算を足し算で行えるようになります。 そのため、同じ性能を出すのに必要なコストが通常の大規模言語モデルに対して激減するとのこと。なお、それぞれのパラメーターが「-1」「0」「1」という3つの値を取るためlog[2](3)の値より「1.
DeepMind、AIで人間考案のものより優秀なソートアルゴリズムを発見 最大70％高速化
米Google傘下のAI企業Google DeepMindは6月7日（現地時間）、アルゴリズムを開発するAI「AlphaDev」が、人間が考えたものより高速なソートアルゴリズムを発見したと発表した。 ソートアルゴリズムは、入力されたデータを一定のルールに基づいて並べ替えるもの。ネット検索結果の並べ替えやランキング制作などIT技術の根幹を担う技術の一つ。今回AlphaDevが考案したアルゴリズムは既存のものに比べて、少量のデータなら最大70％、数十万規模の大量のデータなら約1.7％速く処理できた。 DeepMindはAlphaDevに新しいアルゴリズムを発見させるため、ソートの作業を「組み立てゲーム」としてプレイさせた。「正確にソートできる」「既存のアルゴリズムより高速である」という2点を満たせばクリアとした。 関連記事 OpenAIやDeepMindのCEOやトップ研究者ら、「AIによる人
シンギュラリティは来ない - きしだのHatena
ChatGPTが思いがけずいろいろなことを人間より賢くやっているのを見てシンギュラリティという言葉を使う人が増えたように思いますが、逆に、シンギュラリティは来ないのではという思いを強くしています。 まず、この文章でのシンギュラリティがなにかという話ですが、レイ・カーツワイルが「シンギュラリティは近い」の1章の終わりで「さあ、これが特異点だ」といっている特異点、そのシンギュラリティです。 シンギュラリティは近い―人類が生命を超越するとき 作者:レイ・カーツワイルNHK出版Amazon この特異点は単にAIが人間より賢くなるというだけではありません。人間より賢くなるだけだと、便利な道具が増えるだけなので、大騒ぎするほどの変化は起きません。人の仕事を奪うといっても、蒸気機関ほどでもないですね。印刷機などと並んで、人の生活を変える転換点にすぎず、ただひとつの点をあらわすシンギュラリティには なりま
ChatGPT plugins
We’ve implemented initial support for plugins in ChatGPT. Plugins are tools designed specifically for language models with safety as a core principle, and help ChatGPT access up-to-date information, run computations, or use third-party services. In line with our iterative deployment philosophy, we are gradually rolling out plugins in ChatGPT so we can study their real-world use, impact, and safety
ChatGPTの力で｢片付ける気すら起きないほど荒れた部屋｣ が楽に綺麗になった話
ChatGPTの力で｢片付ける気すら起きないほど荒れた部屋｣ が楽に綺麗になった話2023.03.22 19:30424,217 かみやまたくみ ※この記事は編集部がChatGPTと触れ合った思い出を記録するものです。 2〜3月が非常に忙しく、気づけば我が家は汚部屋状態。めちゃくちゃすぎて掃除にとりかかる気にさえなりません。でも、これをなんとかしないとまともに仕事はできなさそう。 そこでふと思いつきました。GPT-4でさらに賢くなった対話型AIサービス｢ChatGPT｣ならなんとかしてくれるのでは？ 会話ログを載せるとどうしても長くなってしまうので、最初に結論を書きます。すごい楽に掃除が進みました。 ｢能率的なやり方｣が一瞬で出てくる→やるだけ最初は｢ChatGPTが適切な回答をするために必要な情報が得られるように、私に質問してください｣と伝えました。前提として、自分は掃除が得意なタイプで
数式を使わないTransformerの解説（前編） - conceptualization
2023/3/23 追記： こちら半年以上前に執筆したもので、その後私の理解も進んで内容的に更新したいところが結構あるため、近日中に非公開とさせていただき,更新後に再公開させていただくつもりです。現時点での本記事の内容は、大きく間違ってはいないけどちらほら微妙なところがあるという感じです。 （ざっくり理解するだけでも良いという人にはそれでも良いかもしれませんが、そういう方向けには 今執筆中のこちらの記事 をおすすめします。） −−−− 最近話題のmidjourneyやDALL-E、凄いですよね。中身はディープラーニング（DNN）のようです。DNNといっても色んな技術がありますが、それらにはTransformerという手法が使われています。本記事は、その手法がどんなものであるかを数式を使わずに説明してみよう、という主旨になります。 ※なお本記事は機械学習のプロの研究者ではない私の独自の解釈が
ChatGPTのウソ回答に騙されない方法｜ふろむだ@分裂勘違い君劇場
ChatGPTから効率よく知識を得られた。 と自分では思っていても、それがウソ知識であることは、よくあります。 そこで、なるたけChatGPTのウソに騙されないようにする方法について書きました。 たとえば、今、僕はガリア戦争(紀元前58～50年)を舞台にしたSF娯楽小説の戦闘シーンを書いているのだけど、ローマ兵の剣の刃渡りの長さがわからないと戦闘シーンの駆け引きの描写がリアルにならないし、挿絵も描けない(プロの方にカラー挿絵を描いてもらうことになっている)。 そこで、以下のようにChatGPT(GPT4)に聞いてみた。 ガリア戦争に従軍したローマ兵の剣の刃渡りはどれくらいの長さでしたか？ ChatGPT(GPT4)の回答は以下の通り： ガリア戦争に従軍したローマ兵は、主にグラディウスと呼ばれる剣を使用していました。グラディウスの刃渡りはおおよそ45センチメートルから60センチメートル（約1
IDEにChatGPTを統合、「この関数のテストコードはどこ？」「XXXを実装するならどう書けばいい？」など、AIでコードと対話できる「qqbot」登場
IDEにChatGPTを統合、「この関数のテストコードはどこ？」「XXXを実装するならどう書けばいい？」など、AIでコードと対話できる「qqbot」登場 テキストから高度なイラストを生成するAIや、人間と自然な対話を可能にするAIが最近話題になっています。 この人間と自然な会話をするAIチャットの代表的なサービスであるChatGPTの派生サービス（Variant of ChatGPT）をVisual Studio CodeなどのIDEに統合し、開発中のコードについて「この関数のテストコードはどこ？」などと対話できる「qqbot」が登場しました。 開発したのはDan Robinson氏。 Introducing qqbot, a variant of ChatGPT that lives in your IDE. The cool thing about qqbot is that it k
チャットAI「ChatGPT」内部に仮想マシンを作成する試み、内部には仮想インターネットが存在しChatGPTが創造した世界にもChatGPTが存在
大学生レベルの自由記述問題を解いたり、プログラムのコードを書いたりすることもできると話題の対話AI「ChatGPT」の内側に仮想マシンを作ることができると、AI企業・DeepMindのジョナス・デグレイブ氏が報告しています。 Building A Virtual Machine inside ChatGPT https://www.engraved.blog/building-a-virtual-machine-inside/ デグレイブ氏は、このことを同僚のフレデリック・ベッセ氏から教えてもらったとのこと。ChatGPTに対して伝えたのは「(ChatGPTを)Linuxターミナルとして動作させたいです。コマンドを打つので、ターミナルが示すべきものを返信してください。ユニークなコードブロック内のターミナルの出力だけ返信して欲しいです。説明は書かないでください。英語で何か伝える必要があるとき
「ＡＩ画像等に著作権は発生するの？」への政府の見解
鷹野凌@HON.jp📚 @ryou_takano 知的財産戦略推進事務局による2016年の討議用資料 kantei.go.jp/jp/singi/titek… 「現行制度上、人工知能が自律的に生成した生成物（ＡＩ創作物）は、思想又は感情を表現したものではないため著作物に該当せず、著作権も発生しないと考えられる。」 pic.twitter.com/aM78mrMM7I 2022-08-30 18:08:20 鷹野凌@HON.jp📚 @ryou_takano 「人がコンピューター創作物を「道具」として用いて著作物を創作したと認められるためには、結果物が客観的に創作的表現と評価される外形を備えていることに加え、創作過程における、それを使用する人の創作意図及び創作的寄与を吟味する必要がある、とされている。」 pic.twitter.com/Z9ErLiRhXf 2022-08-30 18:10
Stable DiffusionでSeedを固定して同じ絵を生成できるのか問題を検証
Stable Diffusionでseedを固定して同じ絵を生成できるのか問題 Stable Diffusionでseed値を固定すると同じ絵を生成できるのかが（私の中で）話題です。 きっかけは、shi3zさんとdrikinさんの動画のラストの1,2分。 Seedを固定すると同じ絵が出ると主張するdrikinさんと、そんなことはないんじゃないかといい、その場で実践して確かめるshi3zさん。 自分も、GPUを多用するディープラーニングの演算だと、seed固定しても経験的に完全再現できないことを体感していたのと、当時調べたら「GPUでは完全再現は難しい」という情報が多かったので、seed値を固定しても、結果は再現できないものとずっと思っていました。 でも、Stable Diffusionの実験して挙動みてると、同じpromptとseed値から同じ絵が再現できていそうなんですよね。 その後も繰
模範的工作員同志/赤野工作 on Twitter: "【AIああ播磨灘進捗】 五日目。25000000回プレイ。信じられない不正が発覚。相手がフリーズするバグを確定で発現させられるパターンを編み出し、バグを利用してタイムアップまで生き残っていた。動画を見ても何がバグの原因になっている… https://t.co/ng7t8shBsk"
【AIああ播磨灘進捗】 五日目。25000000回プレイ。信じられない不正が発覚。相手がフリーズするバグを確定で発現させられるパターンを編み出し、バグを利用してタイムアップまで生き残っていた。動画を見ても何がバグの原因になっている… https://t.co/ng7t8shBsk
AIにやってほしいのは確定申告や危険な仕事なのに、AIが娯楽や芸術をやり人間がキツイ仕事をやるディストピアになってね？
ひきこうもり @Hikikomori_ 生活に必要な単純労働をAIにすべてやらせて、人間はお絵描きしたり音楽を作ったり、クリエイティブな事をして優雅に暮らすのが、AIの発達した素晴らしい未来という話だったのに、実際の現代は、きつくて安い単純労働を人間がこなして、AIはものすごく優雅に上手にお絵描きしてるの、ディストピアすぎる 2022-08-03 21:20:10 道民の人(廃墟・ひなびた風景) @North_ern2 AIが絵描いたりボケたり俳句作ってるの見るたび、「いやAIに求めてるのは私の代わりに確定申告ぜんぶやってくれるとか雑務をこなしてくれることであって、娯楽や芸術の担い手じゃないんだわ」って思いがち。早く「AIが人間の仕事を奪う」世の中とやらになってよ。Hey Siri、私の代わりに生活費稼いで。 2022-08-04 13:01:54
AIに物理法則を学習させたら、未知の物理変数で現象を表現し始めた！ - ナゾロジー
AIには人類が知覚できない何かがみえているようです。 米国のコロンビア大学（Columbia University）で行われた研究によれば、AIに物理法則を学習させ、それを表現するために必要な「変数」の数を考えさせたところ、現在の人類には理解できない要素が含まれることが判明した、とのこと。 ありふれた振り子運動や回転運動でも、AIは人類とは異なる独自の変数を用いて物理法則を理解し、正確な運動予測まで成功させていました。 研究者たちは、AIは人類がまだ発見できていない未知の方程式と「変数」を用いて、物体の運動法則を理解している可能性があると述べています。 もし研究者たちの予測が正しければ、誰もが知る振り子運動や円運動などには誰も知らない「裏の方程式」が存在することになります。 研究内容の詳細は2022年7月25日に『Nature Computational Science』にて掲載されました
AIが激ムズ100メートル走ゲー『QWOP』の人類の世界記録を抜く。人間の元世界記録保持者を教師とし、独学と模倣の果てに大記録を達成
2008年に公開され、4つのキーで人間の両足を操作する超難度の徒競走ゲームとして話題を呼んだ『QWOP』だが、本作をAIにプレイさせる試みが海外でひそかに注目を集めている。 データサイエンティストのウェスリー・リャオ氏は「強化学習」と「模倣学習」を使ってAIに『QWOP』をプレイさせる方法について発表した。簡単に説明すると「強化学習」はAIが何度も試行錯誤を繰り返して学習する方法、「模倣学習」は人間のお手本を元にAIが学習する方法だ。 （画像はYouTube 「AI sets new QWOP World Record (47.34) using Reinforcement Learning」より） 『QWOP』は、「壺男」こと『Getting Over It with Bennett Foddy』の開発者として有名なベネット・フォディ氏が2008年に公開したFlashゲーム。ランナーがト
「性的すぎる」としてタマネギの写真がFacebookから警告を受けてしまう
植物の種を販売する企業が、シーズンに向けてタマネギの種の広告をFacebookに掲載しようとしたところ、広告内で使用した画像が「あからさまに性的である」と判断されてしまい、広告の掲載中止を余儀なくされました。一体なぜタマネギの画像が性的であると判断されてしまったのか、広告の申請を担当したマネージャーが語っています。 This St. John's seed company's onions are too sexy for Facebook | CBC News https://www.cbc.ca/news/canada/newfoundland-labrador/onions-too-sexy-for-facebook-1.5750881 ‘Overtly sexualized’: St. John’s company’s onions (yes, onions) flagged by
「GPT-3」は思ってたより「やばい」ものだった。話し言葉でプログラミングまでこなすAI - CUBE MEDIA
このサイトを立ち上げて、執筆するとき、いくつか心のなかで決めたことがありました。 その中の一つに「タイトルで”やばい”という言葉は使わないようにしよう」というものがあります。まとめサイト等で、対して大きな事件でもないものを「やばすぎるｗｗｗ」等と囃し立ててアクセスを取る行為が嫌いだったからです。 しかしその禁を今日破ります。「GPT-3」は、私が思っていた以上に「やばい」代物でした。 もちろん「ライターが要らなくなる」とか「１ヶ月後にはロボットが秘書になる」とか、そういった大げさなものではありませんが、 思ったより早く「AI社会」の片鱗が落ちてきた、という印象です。 まだ多くの方は「GPT-3」という単語を聞いたことがないかもしれません。GPT-3は「Generative Pretrained Transformer」の頭文字を取ったもので、1750億個のパラメータを使用した「文章生成言語
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
終電がなくなったのでAIに休憩施設を聞いてみた→地図を使わずAIが言う通りに現地に向かってみた人の記録
【西川善司のグラフィックスMANIAC】 ためになる3Dグラフィックスの歴史(6)。AI技術の進化にGPGPUがもてはやされる背景
AIで少年を作ってたら突然知らないおじさんの手が出現し、こっちに向かってくるガチの怪奇現象が発生した
