人間には認知できない情報を活用するAIたち - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
正月休みに Twitter（現 X）を眺めていると面白いポストを見かけました。 これまで人類は真理とは単純なものであると考えて、 や のような単純な真理を追いかけてきたわけですが、このようなものは実は真理のうちのごく一部であり、人間には理解できないほど複雑な真理もあるのではないかという考え方です。 ❌「AIが人間より質的量的に賢くなったら人間には理解しきれなくなる」 ⭕️「この世界はもともと人間には理解しきれない構造になっていて、AIはそこを扱えるようになる」 みたいな世界観を持っていたほうが良さそうな気がする— すきえんてぃあ@書け (@cicada3301_kig) 2024年12月31日 似た話が 2018 年頃に敵対的摂動の文脈で議論されているのですが、本稿ではそのあたりの話を最近の文脈に絡めてお話します。 目次 目次 AI は人間には認知できない情報を活用できる 微弱な情報を活用
論文の探し方 / 読み方 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事は K3 Advent Calendar 2024 23日目の記事です 本記事では、趣味がSurveyで毎日論文漬けの僕から、論文の探し方・読み方のTipsを伝授します！ もちろん、研究分野によっても論文の書き方や特徴は変わってきます！基本的に普遍的なことを書くつもりですが、僕の専門であるコンピュータサイエンス・機械学習・コンピュータビジョン・自然言語処理の分野に依存した部分もたたあると思います！あくまで参考程度に、もし指導教員の話とコンフリクトしたら、そちら優先してマージしてください！ この記事を読んでる人の中には、来年度から研
OpenAIはAIの進化の頭打ちで戦略の転換を余儀なくされている、高品質なデータ枯渇の問題が急激に顕在化
2022年にリリースされて以来、日進月歩の進化でAIユーザーを驚かせてきたOpenAIのChatGPTですが、モデルのトレーニングに必要な高品質なデータの不足をはじめとするスケーリングの問題より、進歩が鈍化しつつあることが報じられました。 OpenAI Shifts Strategy as Rate of ‘GPT’ AI Improvements Slows — The Information https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows What if AI doesn’t just keep getting better forever? - Ars Technica https://arstechnica.com/ai/2024/
意見の対立する社会問題に誰もが合意できる取りまとめを示すAI「ハーバーマス・マシン」をGoogle DeepMindが開発
「移民」「気候変動」など、さまざまな社会問題が取り沙汰される現代社会では、こうした問題が対立の引き金になることがあります。このような対立に対処するため、多数派と少数派、両者の意見を反映した合意を生み出すことができるAIツール「ハーバーマス・マシン」を開発したとGoogle DeepMindが報告しています。 AI can help humans find common ground in democratic deliberation | Science https://www.science.org/doi/10.1126/science.adq2852 AI tool helps people with opposing views find common ground https://www.nature.com/articles/d41586-024-03424-z AI medi
AI研究者がノーベル物理学賞・化学賞を受賞したことについてのコメント | 人工知能学会 (The Japanese Society for Artificial Intelligence)
AI研究者がノーベル物理学賞・化学賞を受賞したことについてのコメント2024年10月10日 一般社団法人 人工知能学会 会長 栗原 聡 今回のノーベル物理学賞において，ジョン・ホップフィールド，ジェフリー・ヒントン両先生が受賞され，翌日の化学賞においてデミス・ハサビス氏が受賞したことについて，まずはAIコミュニティにとってとても喜ばしく，この流れが今後も続くことが期待されることは，基礎研究の重要性の今更の再認識においても強い説得力がある出来事であったことは間違いない．ホップフィールド氏、ヒントン氏、お二人の物理学賞受賞を知った時は正直驚いた，というか意表を突かれた感覚であった．自然科学や宇宙についての発見やその人類への貢献に対する物理学賞というのが一般的な認識である中，情報処理に関する研究が受賞したのであるから驚いたのは当然であろう．確かに，我々の脳の機能をコンピュータ上で再現した，すなわ
生成AIの推論が高度になればなるほど、使う人間の側にも高度な知識が求められる - 渋谷駅前で働くデータサイエンティストのブログ
先日こんなことを放言したら、思いの外結構伸びてしまったのでした。 「生成AIが博士号レベルの高度な課題解決や推論が出来る」ようになったら、その出力が正しいかどうかを判定できるのは同レベルの専門人材だけなので、そういう人材の需要が逆に高まる気がしている。それはプロの研究者が論文中で捏造や改竄をしても、プロの研究者でないと見破りづらいのと同じかと— TJO (@TJO_datasci) 2024年9月19日 ということで、今回も相変わらずネタ切れでブログに書くことがないので完全に与太記事ですが「生成AI（というかLLM）の推論がどんどん高度になることで逆にユーザーの側に高度なスキルが必要になる」とはどういうことかを、簡単なケーススタディと共に何となく書き綴ってみようと思います。 正解を知った上で生成AIに推論させるケース 正解がいまいち分からない中で生成AIに推論させるケース 生成AIの推論が
AIによる尋問で人間が偽の記憶を植え付けられてしまう危険があることが明らかに
AIが尋問することによって人間の記憶をゆがめてしまう可能性があることがわかりました。この研究で、警察の取り調べなどでAIを使うことのリスクが浮き彫りになりました。 [2408.04681] Conversational AI Powered by Large Language Models Amplifies False Memories in Witness Interviews https://arxiv.org/abs/2408.04681 Overview ‹ AI-Implanted False Memories — MIT Media Lab https://www.media.mit.edu/projects/ai-false-memories/overview/ マサチューセッツ工科大学の研究者らは、AIが人間の記憶に与える影響を調査するため、AIチャットサービスやその他特
OpenAIがアメリカ当局者に対し「Strawberry」と呼ばれる画期的な成果をデモ、コード名「Orion」という主力LLMのトレーニングデータを作成することでGPT-4越えの性能を目指す
OpenAIはStrawberryという複雑な数学やプログラミングのタスクに取り組めるAIモデルと、OrionというGPT-4を上回るAIモデルという2つのモデルを開発しているとテクノロジー業界に詳しいメディアのThe Informationが報じました。 OpenAI Shows ‘Strawberry’ AI to the Feds and Uses It to Develop ‘Orion’ — The Information https://www.theinformation.com/articles/openai-shows-strawberry-ai-to-the-feds-and-uses-it-to-develop-orion OpenAI Races to Launch ‘Strawberry’ Reasoning AI to Boost Chatbot Busines
生成AIのデジタル劣化問題、ゴミがゴミを生み出す最悪の未来
大規模言語モデルが機能するためにはインターネット上の膨大なデータで訓練する必要がある。今後、AIが生成した低品質のWebページがネット上に急増すると、そのデータで訓練された大規模言語モデルの性能が劣化することが懸念されている。 by Scott J Mulligan2024.08.01 13 この記事の3つのポイント AIモデルは低品質のAI生成データで訓練されると徐々に劣化する 合成データを追加しても問題ないが高品質で多様なデータが重要だ データの出所を特定し、人間が作成した元データを重視する必要がある summarized by Claude 3 人工知能（AI）モデルは、インターネットから取得した膨大な量のデータを使って訓練することで機能する。ところが、低品質のコンテンツで埋め尽くされたWebページをAIがどんどん量産するにつれ、そのプロセスが揺るがされる危険性が増している。 ネイチ
AIが量産するデータで何度も学習するAIは「モデル崩壊」する研究結果、SD級の大型画像生成AIを「約29万円」「2.6日」の高コスパで訓練できるSonyAI開発「MicroDiT」など生成AI技術5つを解説（生成AIウィークリー） | テクノエッジ TechnoEdge
Google DeepMindは、同社のAIシステム（AlphaProofとAlphaGeometry 2）が2024年の国際数学オリンピック（IMO）の問題6問中4問を解いたと発表しました。解くのに3日かかった問題もありましたが、超難問も含め42点満点中28点を獲得しました。これは銀メダル相当の成績で、金メダル圏内まであと1点という高得点です。 さて、この1週間の気になる生成AI技術をピックアップして解説する「生成AIウィークリー」（第57回）では、生成AIが生成したコンテンツを生成AIが学習し続けると性能低下が見られ、モデル崩壊が起きるという研究報告を取り上げます。また、Sony AIが大型の画像生成AI（11.6億パラメータ）の訓練を8台のNVIDIA H100 GPUを使用してわずか2.6日で完了し、しかもそれが約29万円という高いコストパフォーマンスを達成した手法「MicroDi
GoogleのNotebookLMを使って複数論文レビューをする｜genkAIjokyo|ChatGPT/Claudeで論文作成と科研費申請
本記事はNotebookLMを使った医学研究論文のレビュー方法について、実践的な知識を提供します。以下のような情報が得られます。 NotebookLMの概要と特徴について NotebookLMを使って複数の医学研究論文をレビューする方法が分かります。具体的なプロンプトの例も提示されています。 NotebookLMの長所（正確性）と短所（回答の制限、アップロード数の制限など）について NotebookLMを効果的に活用するためのTips（論文数の制限、ピン留めによる保存など） NotebookLMの概要NotebookLMは、Googleが開発した革新的な生成AIサービスです。ユーザーが指定したデータを基に、AIが回答や要約を行うことができます。2024.6.9時点では無料で使えますが今後有料化の可能性はあるかもしれません。最新のモデルであるGemini 1.5 Proが利用されており、10
Transformerを性能で凌駕、AIの新たな可能性を拓く5月の注目論文
生成AI（人工知能）を含む最新のAI研究動向を知るため、世界中の研究者やエンジニアが参照しているのが、論文速報サイト「arXiv（アーカイブ）」である。米OpenAI（オープンAI）や米Google（グーグル）などAI開発を主導するIT企業の多くが、研究成果をarXivに競って投稿している。 そんなarXivの投稿論文から、2024年5月（1日～31日）にSNSのX（旧Twitter）で多く言及されたAI分野の注目論文を紹介する。調査には米Meltwater（メルトウォーター）のSNS分析ツールを利用した。対象はXの全世界のオリジナル投稿、コメント、再投稿、引用投稿である。調査は、日経BPが2024年1月に新設したAI・データラボの活動の一環として実施した。 Transformer並みの拡張性をLSTMで実現 5月に最も多く言及された論文は、オーストリアの研究チームが発表した「xLSTM:
AIが「心の理論」テストで人間超え、この結果は何を意味するか
人工知能(AI)モデルが、人間の感情理解力を測るテストで人間並み、時に上回る成績を収めたことが分かった。ただ、訓練データにそうしたタスクが含まれていた可能性も否定できず、大規模言語モデルが「人のように」考えているわけではない。 by Rhiannon Williams2024.05.22 275 23 人間は複雑な存在だ。私たちのコミュニケーションの方法は多層的であり、心理学者たちは対話から意味や理解を推測する能力を測るためのテストを数多く考案してきた。 人工知能（AI）モデルは、こうしたテストでますます優れた結果を出している。ネイチャー・ヒューマン・ビヘイビア（Nature Human Behavior）に5月20日に掲載された新たな研究によると、一部の大規模言語モデル（LLM）は人の心理状態を追跡する能力（いわゆる「心の理論」と呼ばれる）を測るために設計されたタスクを与えられた場合、人
GPT-4超え精度でスマホ上実行できるオンデバイス生成AI「Octopus v2」、Google「生成AIは大きければいいってものではない」など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第41回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ 言語モデルの計算を最大50%高速にする「MoD」をGoogleが開発> 「画像生成AIのモデルサイズを大きくすればいいとは限らない」をGoogleなどが実証 ピクセルを1つずつ予測するのではなく、画像を粗い解像度から徐々に高解像度へと生成する、高速かつ高品質な画像生成AI「VAR」 パラメータ効率の高いファインチューニング手法「ReFT」をスタンフォード大学などが開発 GPT-4超えの精度でスマートフォンに導入できる20億パラメータを持つオンデバイスAIモデル「Octopus v2」をス
生成AI開発に革新か “自律進化”で目的のAIを自動生成 超低コスト＆短期間で高性能モデルも開発済 トップ研究者集団「Sakana AI」
生成AIのトップ研究者らが東京で創業したAIベンチャー「Sakana AI」が、生成AI開発の新たな手法を開発したと3月21日に発表した。従来は人間が手動で設計し、多くの計算資源を使っていたが、同社の手法では設計を機械が自動で行い、“ほぼ無視できるレベル”の計算資源で開発が可能になるという。この手法で開発した日本語基盤モデルをGitHubで公開した。 同社が提案したのは「進化的モデルマージ」という手法。公開されているさまざまな基盤モデル（生成AIを含む、大規模なデータセットによる事前学習で各種タスクに対応できるモデルのこと）を組み合わせて新たなモデルを作る「マージ」に、進化的アルゴリズムを適用したものだ。 マージ自体は現在の基盤モデル開発で使われている手法で、モデルの“神経回路”（アーキテクチャ）の中に別のモデルの神経回路の一部を組み入れたり、入れ替えたり、神経同士のつながりやすさ（重み）
Sakana AI
概要 Sakana AIは進化や集合知などの自然界の原理を応用して基盤モデルを開発することを目指しています。私達の目標は、モデルを自ら訓練し開発することだけではありません。基盤モデルの開発を効率化、高度化、自動化するための新たな手法を生み出すことに挑戦しています。この目標に向けた第一歩として、私たちはプレプリント「Evolutionary Optimization of Model Merging Recipes （モデルマージの進化的最適化）」を公開しました。 このリリースの要点は以下の通りです。 進化的モデルマージという手法を提案します。これは、多様な能力を持つ幅広いオープンソースモデルを融合（マージ）して新たな基盤モデルを構築するための方法を、進化的アルゴリズムを用いて発見する手法です。私たちの手法は、ユーザーが指定した能力に長けた新しい基盤モデルを自動的に作成することができます。既
米OpenAI「公表しないで……」 ブラックボックスであるLLMの中身を“盗む”攻撃 米Googleらが発表
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Google DeepMindなどに所属する研究者らが発表した論文「Stealing Part of a Production Language Model」は、米OpenAIのGPT-4や米GoogleのPaLM-2などのクローズドな大規模言語モデル（LLM）から、モデルの一部を盗み出す攻撃を提案した研究報告である。言語モデルのAPIへのクエリを通じて、低コストでモデルの内部構造に関する情報を抽出することに成功した。 GPT-4やPaLM-2などの最先端AIモデルは、APIを通じて一般ユーザーに提供されているが、内部構造や学習に使用され
GPT-4にWebサイトを“自律的に”ハッキングさせる方法 AI自身が脆弱性を検出、成功率70％以上【研究紹介】
米UIUC（イリノイ大学アーバナ・シャンペーン校）に所属する研究者らが発表した論文「LLM Agents can Autonomously Hack Websites」は、大規模言語モデル（LLM）を用いたAIエージェントに、自律的にWebサイトをハッキングさせる攻撃手法を提案した研究報告である。LLMエージェントがWebサイトに存在する脆弱性を事前に知らなくても、自動検知してのハッキングが可能となる。 ▲自律型LLMエージェントを使ったWebサイトのハッキングの模式図 keyboard_arrow_down 研究内容 keyboard_arrow_down 研究結果 Webサイトを自律的にハッキングするようLLMエージェントを活用するには、エージェントのセットアップと、目標に向けてのプロンプトによる指示という2つのステップが必要である。エージェントによるハッキングでは、関数呼び出し、文書
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ノーベル化学賞 AIでたんぱく質の構造予測に成功の研究者ら3人 | NHK
AIの学習能力は、選択的に“忘れさせる”ことで高まる