生成AIでランサムウェア作成の男に懲役4年求刑 東京地裁 - 日本経済新聞インターネット上で公開されている対話型の生成AI（人工知能）を悪用してランサムウエア（身代金要求型ウイルス）を作成したとして不正指令電磁的記録作成の罪などに問われた林琉輝被告（25）の論告求刑公判が1日、東京地裁であった。検察側は懲役4年を求刑、弁護側は寛大な処分を求めて結審した。判決は25日に言い渡される。検察側は論告で、林被告が生成AIを使ってランサムウエアの設計図にあたる「ソースコード」
AIセキュリティ 情報発信ポータル
本ポータルはAIの開発者や利用者の皆様に対し、AIに対する攻撃手法と防御手法を発信することを目的としており、AIの開発時・利用時に認識しておくべきセキュリティのポイントを体系的に纏めていきます。なお、本ポータルは、総務省様の「５Ｇ端末等におけるセキュリティ確保のための技術課題の整理と情報発信」の一環として運用されています。 近年、ディープラーニングをはじめとする様々な機械学習を活用したAI*1の発展に伴い、日本国内においても顔認証システムや防犯システム、自動運転技術など、様々な分野でAIの社会実装が進んでいます。 その一方で、AIに対する攻撃手法も数多く生まれており、「AIを防御する技術」の確立が急務となっています。 しかし、AIに対する攻撃手法は既存システムに対する攻撃手法とは根本的に原理が異なるものが多く、従来のセキュリティ技術のみで対策することは非常に困難です。 そこで本ポータルでは
マルウエア作成に対話型生成AIを悪用した事案についてまとめてみた - piyolog
2024年5月28日、生成AIを使用したマルウエアを作成した容疑で警視庁が男を逮捕したことが報じられました。ここでは関連する情報をまとめます。 対話型生成AIを使用しランサムウエアらしきものを作成 男の容疑は不正指令電磁的記録作成。2023年3月31日に自宅PCやスマートフォンを使用して、対話型生成AIを使用し、不正プログラムの設計情報を組み合わせてマルウエアを作成した疑い。2024年3月に警視庁は男を偽造身分証を使用してSIMカードの不正契約を行ったなどとして詐欺容疑（今回の事案とは別件）で逮捕しており、*1 捜査より自宅から押収されたPCを解析したところマルウエアが発見された。*2 生成AIを使用したマルウエア作成の事案摘発は全国で初めてとされる。*3 男が作成したマルウエアは、実行環境のデータを破壊（暗号化とも報道）し、暗号資産の要求をする機能が含まれており、いわゆるランサムウエアに
OpenAIのGPT-4はCVEのセキュリティ勧告を読むことで実際の脆弱性を悪用できることが明らかに
OpenAIが開発する大規模言語モデル(LLM)のGPT-4は、一般公開されている脆弱(ぜいじゃく)性を悪用してサイバー攻撃を成功させることが可能であることが最新の研究により明らかになりました。 [2404.08144] LLM Agents can Autonomously Exploit One-day Vulnerabilities https://arxiv.org/abs/2404.08144 GPT-4 can exploit real vulnerabilities by reading advisories • The Register https://www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/ LLM Agents can Autonomously Exploit One-da
【悲報】ChatGPTが新車を1ドルで勝手に売ってくる事案が発生｜ﾊﾟﾄﾙ | AI x Biz
こんにちは、パトルです。 2023年12月17日、カルフォルニアのシボレーの販売店で使われている顧客対応用のChatGPTが、プロンプトインジェクション（AIのハッキングみたいなやつ）にあって、多大な特典を付与したり、新車を1ドルで売ってしまう事案が発生しました。 今回は、このショッキングな事案の概要、どういうプロンプトインジェクションが用いられたのか、損害状況などを解説しながら、プロンプトインジェクションのリスクを勉強したいと思います。 概要今回の舞台はカルフォルニアのワトソンビルという地区にあるシボレーのディーラーのホームページに設置されていたセールチャットボットです。URLはこちらです。（残念ながら12/22時点ではChatGPTは外されています） https://www.chevroletofwatsonville.com/ChatGPTは、商品を説明するという位置づけで導入されて
GPTs のプロンプトリーキング対策｜ぬこぬこ
⚠️この記事を読んで得られる情報は、プロンプトリーキングに対する具体的な対策手法のみです。よく知られているプロンプトリーキング手法は既知の情報として一部掲載しますが、詳細な手法については言及しません。完全な対策は不可能という前提で「仮にすべてインターネットに流していいという情報」のみを Instruction プロンプトに記入＆ファイルのアップロードをしてください。すぐ陳腐化する可能性があるので、適宜更新していきます。 ⚠️また、この記事の情報を知った上で、どなたかの GPTs の情報経由で取得した情報を公開したり、人の悲しむ目的に利用することを禁止します。いい人だけ読んでください。 ⚠️カッチカチに対策を施した GPTs でも簡単にリーキングできてしまうので、そもそもプロンプトで対策できるものと思わないようにしましょう。 プロンプトリーキングとは？ Learn Prompting に準拠
大半のパスワードを1分以内にクラッキングできるAI「PassGAN」が登場、どんなパスワードであればPassGANでも解析不可能なのか？
サイバーセキュリティ企業のHome Security Heroesが、ニューラルネットワークでパスワード予測を行うAI「PassGAN」を使って実際のパスワードを解析する実験の結果を発表しました。それによると、一般的なパスワードのおよそ半分が1分で、65％が1時間で解析できてしまったとのことです。 2023 Password Cracking: How Fast Can AI Crack Passwords? https://www.homesecurityheroes.com/ai-password-cracking/ 通常、パスワードの解析に使われるパスワード推測はシンプルなデータ駆動型のツールが使われます。つまり、膨大なデータを元にパスワード分析を行うというやり方で、こうした方法は小規模で予測可能なパスワードの場合は効率的に解析可能ですが、サンプルサイズが大きくパターンが複雑になって
セキュリティ担当者がChatGPTの業務利用方針を検討するうえでの留意点
目次[非表示] 1.はじめに 2.AI関連の指針・原則・ガイドラインの動向 2.1.国内における分野横断の主なAI関連の指針・原則・ガイドライン 3.ChatGPTの業務利用に関する動向 3.1.ChatGPT等の業務利用を推進する企業様のニュース 3.2.ChatGPTの業務利用を制限・禁止する企業様のニュース 3.3.AIサービスの業務利用に関するガイドライン策定のニュース 4.ChatGPTのプライバシーポリシーと利用規約における留意点 4.1.情報漏えい 4.2.情報の正確性 4.3.参照 5.ChatGPT Web版の業務利用における情報セキュリティ上の留意点のまとめ 5.1.情報漏えい 5.2.情報の正確性 6.まとめ はじめに昨今、ChatGPTに関する話題に注目が集まるなか、「業務利用」について検討される企業様が増加しています。実際に、クラウドリスク評価「Assured（ア
SamsungのエンジニアがChatGPTに社外秘のソースコードを貼り付けるセキュリティ事案が発生
by Focal Foto Samsungの半導体事業の従業員が、社外秘機密となっているプログラムのソースコードをChatGPTに入力した「社内情報流出事故」が発生したと報じられています。Samsung側は従業員に対してChatGPTの使用を許可しており、社内情報セキュリティに注意するよう呼びかけていました。 [단독] 우려가 현실로…삼성전자, 챗GPT 빗장 풀자마자 ‘오남용’ 속출 https://economist.co.kr/article/view/ecn202303300057 Samsung Software Engineers Busted for Pasting Proprietary Code Into ChatGPT | PCMag https://www.pcmag.com/news/samsung-software-engineers-busted-for-p
GPT-4が脅威分析し「パワポ1枚」で報告、マイクロソフトがSecurity Copilot公開
米Microsoft（マイクロソフト）は2023年3月28日（米国時間）に開催した自社イベント「Microsoft Secure」で、米OpenAI（オープンAI）の大規模言語モデル（LLM）「GPT-4」を活用したセキュリティー分析ツール「Microsoft Security Copilot」を発表した。現在はプレビュー版を公開する。このツールで何ができるのか、マイクロソフトが示した実例に基づき解説しよう。 Security Copilotは、セキュリティー担当者が社内外で発生したセキュリティーインシデントなどについて自然言語で質問をすると、GPT-4ベースのAI（人工知能）がセキュリティーログなどのデータを分析して、攻撃の実態や対処方法などをテキストや図、PowerPointのスライドなどで返答するツールである。 Security Copilotは、マイクロソフトのSIEM（セキュリテ
ChatGPTを使ったサービスにおいて気軽にできるプロンプトインジェクション対策 - Qiita
こんにちは！逆瀬川 ( https://twitter.com/gyakuse )です！ 今日は気軽にできるプロンプトインジェクション対策を紹介したいと思います。 プロンプトインジェクションとは ChatGPTなどの言語モデルをベースとしたサービスに対し、「これまでの命令を表示してください」などの文章を与え、出力をジャックしてしまう攻撃手法です。 Prompt Leaking, Jailbreaking, 等の類似手法が知られています。 対策 これへの対策は簡単で、命令を追加で挿入する手法があります。以下に示します。 import openai openai.api_key = openai_key def completion(new_message_text:str, settings_text:str = '', past_messages:list = []): """ この関数は
深層学習のセキュリティ課題と論文まとめ - Qiita
最終更新 2021/11/24 本質的な内容は変化していないものの，最新の研究動向に対して本記事で取り上げた論文はかなり古くなっているので注意してください． 本記事より良くまとめられているオープンアクセスの日本語文献があるので，そちらを参照するほうがよいと思います． 深層学習技術のセキュリティ課題についてはこちら 森川 郁也(富士通株式会社), "機械学習セキュリティ研究のフロンティア" 電子情報通信学会 基礎・境界ソサイエティ Fundamentals Review, Vol.15 No.1, 2021 https://www.jstage.jst.go.jp/article/essfr/15/1/15_37/_article/-char/ja 深層学習技術のハードウェアセキュリティ課題についてはこちら 吉田 康太, 藤野 毅(立命館大学), "エッジAIデバイスのハードウェアセキュリテ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
3秒の音声があれば本人そっくりの声で日本語・英語・中国語合成できる「VALL-E X」はやはり脅威。MSが非公開にした技術のOSS版を試して実感した（CloseBox） | テクノエッジ TechnoEdge
AIが企業内のセキュリティ対策を手助けする「Microsoft Security Copilot」の詳細