チャットAI・ChatGPTの開発元として知られるAI企業のOpenAIが、2023年初頭にハッキングされていたことが明らかになりました。 A Hacker Stole OpenAI Secrets, Raising Fears That China Could, Too - The New York Times https://www.nytimes.com/2024/07/04/technology/openai-hack.html NYT: Hacker stole details about OpenAI's AI tech, but the company kept it quiet - Neowin https://www.neowin.net/news/nyt-hacker-stole-details-about-openais-ai-tech-but-the-company

米OpenAIが6月にリリースしたmacOS版ChatGPTアプリについて7月1日（現地時間）、スペイン在住のエンジニア、ペドロ・ホセ・ペレイラ・ビエイト氏が「すべての会話が、保護されていない場所にプレーンテキストで保存されている」と指摘した。米The Vergeによると、アプリは3日にアップデートされ、テキストが暗号化されるようになった。 OpenAIはMac版ChatGPTをAppleの公式アプリストアには登録しておらず、自社サイトで公開している。Swiftでアプリを開発するエンジニアのビエイト氏は、このアプリがサンドボックス化されていないことを確認し、別のアプリで保存されたプレーンテキストにアクセスすればChatGPTとの会話のテキストを表示できることを示した。 関連記事 OpenAI、5月に予告したChatGPTの高度な音声モード提供を延期 OpenAIは、「GPT-4o」発表イベ

アメリカと中国の地政学的な緊張が高まる中で、中国のスパイが大手テクノロジー企業に社員として潜入し、機密情報を盗み出すという事件がたびたび報告されています。そんな中、GoogleやOpenAIなどのテクノロジー企業が、スタッフや採用候補者が中国のスパイかどうかを調べるセキュリティ審査を強化していると、経済紙のフィナンシャル・タイムズが報じました。 Silicon Valley steps up staff screening over Chinese espionage threat https://www.ft.com/content/c5594136-55f7-43c3-8914-d1c4290f6670 Tech Firms Tighten Staff Scrutiny Over China Spying Concerns https://www.pymnts.com/technolo

OpenAIが退役陸軍大将のポール・M・ナカソネ氏を取締役に任命したことを発表しました。ナカソネ氏はアメリカサイバー軍司令官や国家安全保障局(NSA)長官を務めた経験を生かし、安全・セキュリティ委員会に参加するとのことです。 OpenAI appoints Retired U.S. Army General Paul M. Nakasone to Board of Directors | OpenAI https://openai.com/index/openai-appoints-retired-us-army-general/ Former head of NSA joins OpenAI board - The Verge https://www.theverge.com/2024/6/13/24178079/openai-board-paul-nakasone-nsa-safety

米OpenAIは6月13日（現地時間）、元米国家安全保障局（NSA）長官兼米サイバー軍司令官のポール・ナカソネ氏（60）を取締役に迎えたと発表した。同氏は最近設立した「安全およびセキュリティ委員会」にも参加する予定。 OpenAIは発表文で「ナカソネ氏の洞察は、サイバーセキュリティの脅威を迅速に検知し対応することで、AIをどのように活用してサイバーセキュリティを強化できるかをより深く理解するというOpenAIの取り組みにも貢献するだろう」と説明した。 ナカソネ氏は発表文で「OpenAIの使命に対する献身は、私自身の価値観や公務員としての経験と一致している」と語った。 同氏はNSAと米サイバー軍で数十年の経験を積んでおり、当然これらの組織へのコネクションも持っている。 これで取締役会は、サム・アルトマンCEO、アダム・ダンジェロ氏、ラリー・サマーズ氏、ブレット・テイラー氏、ビル＆メリンダ・ゲ

May 30, 2024 Disrupting deceptive uses of AI by covert influence operations We’ve terminated accounts linked to covert influence operations; no significant audience increase due to our services. OpenAI is committed to enforcing policies that prevent abuse and to improving transparency around AI-generated content. That is especially true with respect to detecting and disrupting covert influence ope

OpenAIが「AIを用いて世論を操作し政治的結果に影響を与えようとする活動」を2024年3月～2024年5月に5件阻止したことを明らかにしました。阻止された活動はロシア・中国・イラン・イスラエルのユーザーによって展開されており、いずれも大きな影響を与える前にアカウントを停止できたとのことです。 Disrupting deceptive uses of AI by covert influence operations | OpenAI https://openai.com/index/disrupting-deceptive-uses-of-AI-by-covert-influence-operations/ OpenAIが阻止した「AIを用いて世論を操作し政治的結果に影響を与えようとする活動」は以下の通り。 ◆ロシアの政治的活動「Bad Grammar」 OpenAIは、ロシアのユーザ

米OpenAIは5月28日（現地時間）、安全およびセキュリティ委員会の設立を発表した。AGI開発を含む同社のプロジェクトと運営に関する安全とセキュリティの決定について、理事会全体に勧告する責任を担うとしている。委員会を率いるのは、理事会のサム・アルトマンCEO、ブレット・テイラー会長、アダム・ダンジェロ氏、ニコール・セリグマン氏。 これまで同社でAIの安全と制御に取り組んできたSuperalignmentチームは、リーダーのイリヤ・サツケバー氏とヤン・ライケ氏の退社によって消滅した。 ライケ氏は退社の際、OpenAIは「安全性が輝かしい製品の開発より後回しになっている」と警鐘を鳴らした。 OpenAIは13日、生成AIの新たなモデル「GPT-4o」を発表した際、ChatGPTの新しい音声「Sky」を紹介し、アルトマン氏はこれが映画「Her」の声に似ていることをXのポストでほのめかした。その

OpenAIが開発する大規模言語モデル(LLM)のGPT-4は、一般公開されている脆弱(ぜいじゃく)性を悪用してサイバー攻撃を成功させることが可能であることが最新の研究により明らかになりました。 [2404.08144] LLM Agents can Autonomously Exploit One-day Vulnerabilities https://arxiv.org/abs/2404.08144 GPT-4 can exploit real vulnerabilities by reading advisories • The Register https://www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/ LLM Agents can Autonomously Exploit One-da

APIセキュリティベンダーSalt Securityの研究者は「ChatGPT」のプラグインの脆弱性について、OpenAIにその詳細をドキュメントとして明確にするよう提言し、開発者にはChatGPTを扱う際の潜在的なセキュリティ脆弱性への認識を深めるように呼び掛けている。 ChatGPTプラグインの脆弱性 ChatGPTプラグインは、ChatGPTの大規模言語モデル（LLM）をサードパーティーアプリケーションに接続するための実験的な手段として2023年3月に提供された。開発者は、プラグインを使って外部APIとやりとりでき、株価やスポーツのスコアといったデータリソースにアクセスしたり、他のサービスに接続してフライトの予約や食べ物の注文などのアクションを実行したりできる。2023年11月に登場したカスタムGPT「GPTs」にその役割を譲ったものの、Salt Securityの一部門であるSal

「ChatGPT」のような生成AIをサイバー攻撃に使った場合、より自然で巧妙な攻撃手法が編み出される危険性がある。ChatGPTを開発したOpenAIや資金を提供するMicrosoftはどのような対策をとっているのだろうか。 攻撃グループによるAIの利用状況は ChatGPTは容易に利用できるため、攻撃グループが大規模に利用することはたやすい。どうすればよいのだろうか。 OpenAIは「当社の大規模言語モデル（LLM）を悪質なハッキングキャンペーンの土台作りに利用していた国家に関連する脅威グループのアカウントを停止した」と発表した（注1）。この取り組みはMicrosoftの脅威研究者と共同で決定した。 国家に関連する脅威グループには、ロシアに関連する「Forest Blizzard」、北朝鮮に関連する「Emerald Sleet」、イランに関連する「Crimson Sandstorm」、中

米OpenAIの「ChatGPT」やGoogleの「Gemini」など、主要生成AIの弱点や脆弱性が次々に発覚している。企業や個人の日常生活に浸透している生成AIが悪用されれば、社外秘情報や個人情報の流出を招いたり、悪用防止対策がかわされて偽情報の作成に利用されたりする恐れもある。 イスラエルのベングリオン大学の研究チームは、生成AIとユーザーの間に割り込んでデータパケットを傍受し、AIの回答内容を高い精度で復元する攻撃に成功したと発表した。この攻撃は、生成AIがユーザーの質問に回答する際のデータ処理に存在する脆弱性を突いている。 （関連記事：他人がGPT-4とやりとりしたテキストを盗む攻撃　成功率50％以上　イスラエルの研究者らが発表） ChatGPTなどの生成AIがユーザーの指示や質問に対して答えを返す際は、文章を単語や文字ごとにトークン化し、個々のトークンを連続的にユーザーに送信して

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Google DeepMindなどに所属する研究者らが発表した論文「Stealing Part of a Production Language Model」は、米OpenAIのGPT-4や米GoogleのPaLM-2などのクローズドな大規模言語モデル（LLM）から、モデルの一部を盗み出す攻撃を提案した研究報告である。言語モデルのAPIへのクエリを通じて、低コストでモデルの内部構造に関する情報を抽出することに成功した。 GPT-4やPaLM-2などの最先端AIモデルは、APIを通じて一般ユーザーに提供されているが、内部構造や学習に使用され

2024 年 2 月 20 日 (火) 東京ビッグサイトにて開催されたMicrosoft AI Tour Tokyo, Japan Theater1セッションでお話しした内容です。

米UIUC（イリノイ大学アーバナ・シャンペーン校）に所属する研究者らが発表した論文「LLM Agents can Autonomously Hack Websites」は、大規模言語モデル（LLM）を用いたAIエージェントに、自律的にWebサイトをハッキングさせる攻撃手法を提案した研究報告である。LLMエージェントがWebサイトに存在する脆弱性を事前に知らなくても、自動検知してのハッキングが可能となる。 ▲自律型LLMエージェントを使ったWebサイトのハッキングの模式図 keyboard_arrow_down 研究内容 keyboard_arrow_down 研究結果 Webサイトを自律的にハッキングするようLLMエージェントを活用するには、エージェントのセットアップと、目標に向けてのプロンプトによる指示という2つのステップが必要である。エージェントによるハッキングでは、関数呼び出し、文書

ChatGPTやDALL-Eなどの生成AIを開発するOpenAIがMicrosoftと協力し、悪意のあるサイバー活動にAIを使用しようとした5つの攻撃者グループをブロックしたと報告しました。いずれのグループも、ロシアや北朝鮮などの国家が背後に存在しているとのことです。 Disrupting malicious uses of AI by state-affiliated threat actors https://openai.com/blog/disrupting-malicious-uses-of-ai-by-state-affiliated-threat-actors Staying ahead of threat actors in the age of AI | Microsoft Security Blog https://www.microsoft.com/en-us/sec

米Microsoftと米OpenAIは2月14日（現地時間）、LLMなどのAIツールが国家関連の攻撃者に悪用されているという調査結果と、複数の関連アカウントを停止したことを発表した。 両社は情報を共有して協力し、5つの国家関連の悪意ある攻撃者、脅威アクターを阻止したという。「OpenAIのLLMとユーザーを攻撃や悪用から保護し、モデルにガードレールと安全メカニズムを構築するための措置を講じている」。 アカウントを停止したのは、ロシア政府とつながるForest Blizzard（APT28、Fancy Bearとも呼ばれる）、イラン政府関連のCrimson Sandstorm、中国政府のCharcoal TyphoonとSalmon Typhoon、北朝鮮政府のEmerald Sleet。これらの脅威アクターに関連付けられているすべてのアカウントと資産を無効にした。 例えば、ロシアの外交政策