GPT-4やClaudeなどの大規模言語モデルが抱える「ストロベリー問題」とは？
大規模言語モデル(LLM)をベースにしたAIは高い能力を発揮できる一方で、ウソにダマされやすいといった特徴があったり、算数の文章題への推論能力が小学生未満という研究結果があったりと、脆弱(ぜいじゃく)さについてもしばしば指摘されます。AIの能力の限界を示す「ストロベリー問題」という脆弱性について、機械学習エンジニアのチンメイ・ジョグ氏が解説しています。 The 'strawberrry' problem: How to overcome AI's limitations | VentureBeat https://venturebeat.com/ai/the-strawberrry-problem-how-to-overcome-ais-limitations/ ChatGPTやStable DiffusionなどのジェネレーティブAIは、高度な文章やコードを書けたり、イラストやリアルな画
「現在のLLMに真の推論は困難」──Appleの研究者らが論文発表
米AppleのAI研究者らは10月7日（現地時間）、「GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models」（LLMにおける数学的推論の限界を理解する）という論文を発表した。 この論文は、LLM（大規模言語モデル）が、本当に人間のように論理的に考えて問題を解けるのか、という疑問を検証している。結論としては、LLMは今のところ、表面的なパターンを真似て答えを出しているだけで、真の推論能力は持っていないと主張している。 研究者らは、これらの問題点を検証するために、「GSM-Symbolic」という新しいテスト方法を開発した。これは、LLMの数学的推論能力を評価するためのベンチマークデータセット「GSM8K」を改良し、問題の表現や数字を柔軟に変えられるようにした
【2024年1月最新】共通テストを色んな生成AIに解かせてみた（ChatGPT vs Bard vs Claude2）｜株式会社LifePrompt
2023年の流行語大賞にも選ばれた「生成AI」。 ChatGPTだけでなく、Google BardやClaude2など似たようなAIチャットボットも登場し、性能も日に日に上がっている感覚がありますね。 しかし、結局どれが一番賢いんだろう？と思いつつひとまずChatGPTを使っている方も多いはず。 そこで、今どのチャットAIが一番頭良いのか白黒つけてしまおう！ということで、ちょうど週末に行われた大学入試共通テスト2024を使って学力テストを行いました！ 参加する学生は、 ①GPT-4くん ②Google Bardちゃん ③Claude2さん の三名です 果たして誰が学力王の座に輝くのか・・・？ 選手入場①GPT-4くん一人目は、皆さんご存じChatGPTです。Open AI予備校に月額＄20の課金して学力武装しています。 特徴としては、プロンプトの研究が進んでおり、画像やPDFファイルの読み
OpenAIが4度目のブレイクスルーとなる数学ができるAI「Q*(キュースター)」で汎用人工知能開発の飛躍を目指す、アルトマンCEO解任騒動の一因か
OpenAIが新たなAI開発プロジェクト「Q*(キュースター)」を進めていることを認めたと報じられています。このQ*は数学的推論能力の改善を目指したもので、汎用人工知能(AGI)の研究に画期的な進歩をもたらすかもしれず、2023年11月に起こったサム・アルトマンCEO解任騒動の一因にもなった可能性が指摘されています。 OpenAI researchers warned board of AI breakthrough ahead of CEO ouster, sources say | Reuters https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/ OpenAI ‘was workin
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
