【海外記事紹介】「AIエージェント用のUSB-C」として最近注目のMCPはデフォルトで安全ではない、と注意喚起する記事が大きな話題に
生成AI活用を「セキュリティファースト」で進めるための6つのステップ
6つのステップは2つの段階に分かれる。まずは、生成AIの利用を始める前の「AI戦略策定」「AIプランニング」「AI準備」だ。 生成AIの利用を開始した後は「AIガバナンス」「AI管理」「AI保護」の3ステップをサイクルで回す必要がある。図1の6ステップの内容をまとめると次のようになる。 ステップ1 「AI戦略策定」 ここで重要なことはユースケースの特定の他、目標や目的、定量化可能な指標の設定、社内の評価、自動化可能な箇所の探索、SaaS／PaaS／IaaSのどれを選ぶか、自社における「Responsible AI」（責任あるAI）の定義、著作権に関する検討といった事項だ。従業員にどのように生成AIを利用してもらうべきなのかを見極めることが目的だ。 ステップ2 「AIプランニング」 ユースケースに基づいたAIスキルの評価と小規模な概念実証（PoC）、Responsible AIの実装、組織へ
MCPサーバーを利用する前に理解しておくべきセキュリティリスク
はじめに 最近MCPサーバーの盛り上がりを感じており、実際に様々なMCPサーバーが登場しています。 個人開発者が作成したMCPサーバーも増えてきました。 しかし、MCPサーバーは便利である一方で、中には強い権限や機密情報を扱うものもあり、セキュリティリスクが伴います。 この記事では、MCPサーバーのセキュリティリスクと、具体的な攻撃手法についてご紹介します。 MCPとは まずは簡単にMCPについての解説です。 MCP（Model Context Protocol）は、昨年2024年11月にAnthropicによってオープンソースとして発表された、AIアプリケーション（Cursor, Cline等）が外部サービスやデータとやり取りするための標準規格のことです。 こちらの投稿の図がイメージしやすいかと思いますが、MCPはAIアプリケーションのための「USB-Cポート」のような役割を果たしていま
生成AIが人間の介在なしに自律的にソフトウェアテストを生成し実行、バグや脆弱性を発見してくれるAIテストエージェント「Spark」登場
生成AIが人間の介在なしに自律的にソフトウェアテストを生成し実行、バグや脆弱性を発見してくれるAIテストエージェント「Spark」登場 ドイツに本社を置き、コード分析ツールなどを提供するCode Intelligence社は、起動すればあとは生成AIが人間の介在なしに自律的にソフトウェアテストを生成し実行することで、対象となるソフトウェアのバグや脆弱性などを発見してくれるAIテストエージェント「Spark」を発表しました。 An exciting milestone in software security testing: ???? ???????????? ???????? ?????, ??? ?? ???? ????? ???? ????? ???? ??????? ????? ???????????! Read the PR: https://t.co/wfuautln8i#AI
AIの思考を少しずつずらしてAIに催眠をかけるように「ジェイルブレイク」した具体例
大規模言語モデル(LLM)を用いたAIは、驚くほど自然な文章やリアルな画像を生成できる能力を備えている一方で、危険なことに回答したり不適切な画像を生成したりできないように、セキュリティロックがかかっていることがほとんどです。しかし、意図的にLLMをだまそうと試みてロックを回避するジェイルブレイク(脱獄)の方法もしばしば話題になります。GoogleのAIチームでコンサルタントを務めた経験もある技術者のマット・ウェッブ氏は、特別なテクニックを使わなくても「ちょっとずつAIの思考をずらす」ことによるジェイルブレイクの例を解説しています。 Narrative jailbreaking for fun and profit (Interconnected) https://interconnected.org/home/2024/12/23/jailbreaking LLMには、爆弾の作り方といった
AI Safety の必要性と具体的な攻撃、その対策について
アーカイブ動画はこちら https://www.youtube.com/watch?v=ji1G90kUel8
マルウェアのソースコードを分析してみたら…… 見つかった奇妙な特徴：798th Lap
あるフィッシング攻撃で使われたマルウェアを研究者が分析したところ、普通のサイバー攻撃者ならやらないことをやっていたという。 フィッシングによる詐欺被害は収まる気配がない。フィッシング対策評議会の発表によれば2024年7月のフィッシング報告件数は17万7855件、同8月の報告件数は16万6556件だったという。 ある研究者がフィッシング攻撃によって強制的にダウンロードされたマルウェアのソースを調べたところ、奇妙な点が見つかったという。それは普通のマルウェアにはない特徴で、サイバー攻撃者ならまずやらないことだという。それは、一体？ 2024年6月下旬ごろ、あるサイバー攻撃者らがフランスのユーザーをターゲットに大規模なフィッシング攻撃を仕掛けていたことがセキュリティ対策企業HP Wolf Securityの調査で判明した。その調査結果が2024年9月24日に発表され、Tech系ニュースサイト「B
AIセキュリティ 情報発信ポータル
本ポータルはAIの開発者や利用者の皆様に対し、AIに対する攻撃手法と防御手法を発信することを目的としており、AIの開発時・利用時に認識しておくべきセキュリティのポイントを体系的に纏めていきます。なお、本ポータルは、総務省様の「５Ｇ端末等におけるセキュリティ確保のための技術課題の整理と情報発信」の一環として運用されています。 近年、ディープラーニングをはじめとする様々な機械学習を活用したAI*1の発展に伴い、日本国内においても顔認証システムや防犯システム、自動運転技術など、様々な分野でAIの社会実装が進んでいます。 その一方で、AIに対する攻撃手法も数多く生まれており、「AIを防御する技術」の確立が急務となっています。 しかし、AIに対する攻撃手法は既存システムに対する攻撃手法とは根本的に原理が異なるものが多く、従来のセキュリティ技術のみで対策することは非常に困難です。 そこで本ポータルでは
OWASP Top 10 for LLMでLLM Applicationsのセキュリティについて学ぶ
この記事は毎週必ず記事がでるテックブログ Loglass Tech Blog Sprint の3週目の記事です！ 1年間連続達成まで 残り50週 となりました！ LLM盛り上がってますね！ 弊社も多分に漏れず専任チームを立ち上げて、弊社におけるwhy LLMを見出そうと試行錯誤しています。 個人的にもLLM Applicationsを継続的に開発・運用する技術について色々考えている今日この頃ですが、先日OWASP Top 10 for Large Language Model Applicationsのversion 1.0が出ました。 OWASP Top10 for LLMは、LLMを利用するアプリケーションで発見された重大な脆弱性とセキュリティガイドラインに関するレポートです。 レポートでも述べられていますが、昨今はLLMの取り組みが猛烈に進んでいる中で、包括的なセキュリティプロトコル
OWASP Top 10 for Large Language Model Applications | OWASP Foundation
This website uses cookies to analyze our traffic and only share that information with our analytics partners. Accept The OWASP Top 10 for Large Language Model Applications Project aims to educate developers, designers, architects, managers, and organizations about the potential security risks when deploying and managing Large Language Models (LLMs) and Generative AI applications. The project provi
生成AIは何に悪用されている？ Google DeepMindなどGoogleの3部門が論文を発表
GoogleのAI（人工知能）部門であるGoogle DeepMindは2024年8月2日（米国時間、以下同）、生成AI技術が現在、どのように悪用されているかを分析した論文を発表した。 同論文は、GoogleのJigsaw部門およびGoogle.orgと共同で作成され、査読前論文を投稿するサーバ「arXiv」で2024年6月21日に公開された。Jigsawは、開かれた社会に対する脅威を探求し、拡張可能な解決策を生み出す技術を開発している。Google.orgは、Googleの慈善事業部門。同論文は、責任あるAIの開発、使用を推進するGoogleの取り組みの一環として執筆された。 論文をまとめた研究チームは、既存の学術文献を踏まえ、2023年1月から2024年3月までにメディアで公開された、生成AI技術の悪用事例に関する約200件の報道記事を定性的に分析した。これにより、生成AIを悪用する一
マルウエア作成に対話型生成AIを悪用した事案についてまとめてみた - piyolog
2024年5月28日、生成AIを使用したマルウエアを作成した容疑で警視庁が男を逮捕したことが報じられました。ここでは関連する情報をまとめます。 対話型生成AIを使用しランサムウエアらしきものを作成 男の容疑は不正指令電磁的記録作成。2023年3月31日に自宅PCやスマートフォンを使用して、対話型生成AIを使用し、不正プログラムの設計情報を組み合わせてマルウエアを作成した疑い。2024年3月に警視庁は男を偽造身分証を使用してSIMカードの不正契約を行ったなどとして詐欺容疑（今回の事案とは別件）で逮捕しており、*1 捜査より自宅から押収されたPCを解析したところマルウエアが発見された。*2 生成AIを使用したマルウエア作成の事案摘発は全国で初めてとされる。*3 男は以前に闇バイトとしてSIMカード詐取などの違法行為を行っており、トラブルとなった知人からランサムウエアを送り付けられていた。これを
ChatGPTのCode Interpreterのコードリーディング能力は結構優秀 - laiso
Code interpreter のキラーソリューションは表データの可視化っぽいけど、入力テキストとファイルソースによってテキスト生成とファイル出力ができるという点に着目すると色々活用の幅が広がる。 中でも、今までは入出力トークンに含まれる必要があったソースコードデータを外部ファイル化できるので、「リポジトリを丸ごと食わせる」などの従来トークン制限上実現できなかったことが外部システム連携なしで簡単に可能になったのが嬉しいポイントだった。 この特性を生かして最近OSSの静的コード解析というかコードリーディングをChatGPTにやってもらっている。 以下のサンプルでは脆弱性診実習用アプリ（通称「やられサイト」）のSQLインジェクションを発見してもらうという会話をした。 chat.openai.com 以下ではaws-load-balancer-controller や openai-pr-re
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
