Web脆弱性スキャナーをAIの力を借りて作って脆弱性を見つけてIPAに報告した - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに こんにちは。 最近、業務で脆弱性診断はほぼ行っておらず、プライベートでもバグバウンティしていない。微妙な脆弱性なのか判断しづらいものを報告したりはしているのだが、反応はない。 何もしてないように見えるのも良くない気がしてきたので、プライベートで受理されやすそうな脆弱性を探して、IPAに報告しようかと思ったのだが、普通に探すのも面白くない。同じようなことをやる気はなかなか起きないのだ。 何か目先を変えるべく、脆弱性スキャナーを使って探すことにした。Burp Proを使えばいいのだが、プライベートの一円にもならないもののために貴重
マルウエア作成に対話型生成AIを悪用した事案についてまとめてみた - piyolog
2024年5月28日、生成AIを使用したマルウエアを作成した容疑で警視庁が男を逮捕したことが報じられました。ここでは関連する情報をまとめます。 対話型生成AIを使用しランサムウエアらしきものを作成 男の容疑は不正指令電磁的記録作成。2023年3月31日に自宅PCやスマートフォンを使用して、対話型生成AIを使用し、不正プログラムの設計情報を組み合わせてマルウエアを作成した疑い。2024年3月に警視庁は男を偽造身分証を使用してSIMカードの不正契約を行ったなどとして詐欺容疑（今回の事案とは別件）で逮捕しており、*1 捜査より自宅から押収されたPCを解析したところマルウエアが発見された。*2 生成AIを使用したマルウエア作成の事案摘発は全国で初めてとされる。*3 男が作成したマルウエアは、実行環境のデータを破壊（暗号化とも報道）し、暗号資産の要求をする機能が含まれており、いわゆるランサムウエアに
高木浩光＠自宅の日記 - Claude 3に例の「読了目安2時間」記事を解説させてみた
■ Claude 3に例の「読了目安2時間」記事を解説させてみた Anthropicの先日出たばかりのClaude 3（Opus）が、ChatGPTのGPT-4を超えてきたと聞いて、自分の原稿を解説させてみたところ、確かに革新的な進歩が見られる。もはや内容を「理解」しているようにしか見えない。GPT-4では、昨年11月に試した時には、そうは見えず、優れた文章読解補助ツールという感じでしかなかった。 一昨年のCafe JILIS「高木浩光さんに訊く、個人データ保護の真髄 ——いま解き明かされる半世紀の経緯と混乱」は、発表した当時、長すぎて読めないから誰か要約してという悲鳴があがっていた。その後、ChatGPTの登場で、その要約能力に期待されたが、冒頭のところしか要約してくれなかったり、薄い論点リストが出てくるだけで、その期待に応えられるものではなかった。 もっとも、GPT-4でも、質問力があ
GPT-4にWebサイトを“自律的に”ハッキングさせる方法 AI自身が脆弱性を検出、成功率70％以上【研究紹介】
米UIUC（イリノイ大学アーバナ・シャンペーン校）に所属する研究者らが発表した論文「LLM Agents can Autonomously Hack Websites」は、大規模言語モデル（LLM）を用いたAIエージェントに、自律的にWebサイトをハッキングさせる攻撃手法を提案した研究報告である。LLMエージェントがWebサイトに存在する脆弱性を事前に知らなくても、自動検知してのハッキングが可能となる。 ▲自律型LLMエージェントを使ったWebサイトのハッキングの模式図 keyboard_arrow_down 研究内容 keyboard_arrow_down 研究結果 Webサイトを自律的にハッキングするようLLMエージェントを活用するには、エージェントのセットアップと、目標に向けてのプロンプトによる指示という2つのステップが必要である。エージェントによるハッキングでは、関数呼び出し、文書
敵対的プロンプト技術まとめ - Qiita
こんにちは@fuyu_quantです。 この記事はLLM Advent Calender 2023 17日目の記事です。 よかったらプライベートで作成したData Science wikiのGPTsも見て下さい！ はじめに 今回は敵対的なプロンプト技術についてまとめました．まとめ方は主に，Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition というLLMに対する敵対的なプロンプト技術に関してまとめた論文を参考にしています．本記事の内容が世の中のLLMを使ったサービスの機能向上の役に立てれば幸いです． ※世の中のLLMサービスが敵対的なプロンプト手法に対応できるように公開をしたものであり，利用を
当社社員が翻訳協力した「ChatGPTのセキュリティへの影響」が公開されました | NTTデータ先端技術株式会社
一般社団法人 日本クラウドセキュリティアライアンス（以下：CSAジャパン）にて、「ChatGPTのセキュリティへの影響」が公開されました。 CSAジャパンは、Cloud Security Alliance（以下：CSA）の日本法人で、日本のクラウドセキュリティの向上を目的とし、クラウドのセキュリティに関する啓発・情報発信等の活動を行う任意団体です。 「ChatGPTのセキュリティへの影響」は、CSAが公開している「Security Implications of ChatGPT」の日本語訳で、ChatGPTのような大規模な言語モデルがサイバーセキュリティ産業の未来をどのように形作るかを包括的に理解することを目的としています。 原本である「Security Implications of ChatGPT」の日本語化において、当社サイバーセキュリティ事業本部 石井 英男が、翻訳メンバーの一員と
プロンプトインジェクション対策｜ChatGPT APIのLINEボットを一ヶ月運用して戦った記録 - Qiita
ChatGPTのチャットボットを安全に運用する方法 プロンプトインジェクションは、不適切な文字列や悪意のあるコードを含むプロンプトがChatGPTに送信されることで発生するセキュリティ上の懸念です。 2023/04/11現在、LINEボットとして公開されている多くのサービスでプロンプトインジェクション対策がなされていないようです。この記事では、プロンプトインジェクション対策の背景や具体的なプロンプトの例を紹介し、ChatGPT APIを安全に利用する方法を説明します。 背景 ChatGPT APIは、OpenAIが開発した大規模な言語モデルで、自然言語処理のタスクを実行するために利用されます。しかし、APIを利用する際にはセキュリティ上の問題が生じることがあります。プロンプトインジェクションはその一例で、攻撃者が意図的に悪意のあるプロンプトを送信することで、システムやユーザーに悪影響を与え
高木浩光＠自宅の日記 - OECDガイドラインの8原則についてChatGPTに聞いてみた
■ OECDガイドラインの8原則についてChatGPTに聞いてみた ChatGPTに色々聞いてみるテストは1月にTwitterに結果を報告していた*1が、GPT-4が使えるようになったということで、もう一度やってみた。ChatGPTは基本的に、質問者に迎合しようとする（質問者の期待に応えようとする）ので、ChatGPTが答えたといっても質問者の意図した答えになっているにすぎない（それゆえ、質問者の意図が明確にされず、ChatGPTも知らないことが問われると、全くの出鱈目を答えてしまうという現象が起きるようだ。）わけであるが、それでも、質問者が誘導しているわけでもないのに質問者が必要としていることを言葉の端々から察知して根拠を探してきてくれるような回答をする。以下は、できるだけ誘導しなように（といっても、後ろの方で明確に誘導しているところもあるがw）質問した例だが、最初のうちはChatGPT
GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか - Qiita
先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価するために50人超の専門家らを含む"レッドチーム"を結成。2022年8月から8ヶ月に渡ってリスクの評価とその軽減に向けたチューニングを実施してきた リスク評価における実験の中には「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」と
「オレオレ詐欺」にAI製クローン音声を用いる事例が急増、被害額は年間15億円近くに
知り合いなどを装って金銭をだまし取る「オレオレ詐欺」で、AI技術を用いて作った音声が利用されるケースが出てきていることが報告されています。2022年の「オレオレ詐欺」による被害額は、アメリカだけでも1100万ドル(約14億9000万円)に上っています。 Scammers are now using AI to sound like family members. It’s working. - The Washington Post https://www.washingtonpost.com/technology/2023/03/05/ai-voice-scam/ new: AI voice-cloning tech is making phone scams frighteningly believable. I talked to some who got duped. They w
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【公式声明発表済】イラスト生成AI「NovelAI」のモデルデータが流出？情報が不確かで偽物・マルウェアの可能性があるという指摘も