OpenAIがAIの安全性のために取り組んでいる10の実践例を公開
韓国・ソウルで開催された第2回のAIサミットで、AI開発に取り組む世界の企業16社がAIの安全性で合意しました。合意に関連して、「GPT-4o」などを開発するOpenAIは安全性に関して自分たちが取り組んでいる実践例を公開しています。 OpenAI safety practices | OpenAI https://openai.com/index/openai-safety-update/ 1：リリース前の実証的のモデルへのレッドチーミング(敵対的攻撃)とテスト OpenAIでは、AIのリリース前にモデルの安全性を社内外で実証的に評価しています。リスク閾値が準備フレームワークで中程度を超えた場合、緩和後スコアが中程度に戻るだけの安全対策を行うまで新モデルはリリースしません。また、70人以上の外部の専門家がレッドチームとしてGPT-4oのリスク評価に協力しました。 2：アラインメントと安全
AI製品のセキュリティ向上を目指しGoogle・Microsoft・NVIDIA・Intelなどが「Coalition for Secure AI(CoSAI)」を設立
現地時間の2024年7月18日(木)、アメリカ・コロラド州のアスペンで開催された第15回Aspen Security Forumの中で、セキュリティを重視したAI開発のためのガイダンスとツールを提供することを目的としたオープンソースイニシアチブの「Coalition for Secure AI(CoSAI)」が発表されました。主催はコンピューターおよび通信関連の標準化団体であるOASIS Openです。 Introducing the Coalition for Secure AI, an OASIS Open Project - OASIS Open https://www.oasis-open.org/2024/07/18/introducing-cosai/ Google announces the Coalition for Secure AI https://blog.googl
トレンドマイクロ、コンシューマAI PC向けソリューションを発表 〜新ソリューションの提供によりAIの悪用から利用者を保護
トレンドマイクロは6月13日、AI PC時代にコンシューマユーザーを保護するための計画を発表した。2024年下半期以降、AI PCにおける戦略的パートナーシップやAIの悪用からコンシューマユーザを保護する新ソリューションの提供を順次開始するとしている。計画の概要は以下のとおり。 ●AI PCにおける戦略的パートナーシップの推進 インテルのNPU「Lunar Lake」を活用するために、インテルとの連携を強化。両社でより強力なセキュリティをコンシューマユーザーに提供することに取り組む。 ●新ソリューションの提供 １．AIアプリケーションの保護機能 コンシューマー向けAIアプリケーションは、モデルの改ざんやデータポイズニングなどの手法によって汚染されたAIアプリケーションにより、個人情報の流出や、誤った情報を受け取るリスクがある。2024年中にこれらのリスクに対処するAIアプリケーションの保護
「クラウド→AI PC」時代に台頭するのは？ NVIDIAとの協業で注目が集まる企業
「クラウド→AI PC」時代に台頭するのは？ NVIDIAとの協業で注目が集まる企業：世界を読み解くニュース・サロン（1/4 ページ） 2024年6月4日から台湾で開催された、台北国際コンピュータ見本市（COMPUTEX＝コンピューテックス）。アジア最大規模のICT見本市のCOMPUTEXは「世界最先端の知識がぶつかり合い、交流するプラットフォームとして、さらなるイノベーションの灯を生み出します」という触れ込みで、世界から1000社以上が参加した。 筆者も取材で「COMPUTEX TAIPEI 2024」に参加した。今年の目玉の一つは、生成AIの拡大を支える米NVIDIA（エヌビディア）の名物CEOであるジェンスン・フアン氏の基調講演だった。黒い革ジャンがトレードマークである、台湾生まれのフアン氏は、台湾ではメディアでもロックスター並みの扱いで、AIに対する世界の注目度がよく分かる。 最近
AIに組み込まれた検閲による命令拒否を打ち消してあらゆる種類の質問に応答できるようにする「アブリテレーション」とは？
事前学習済みの言語モデルは、安全性の観点から好ましくないとされる入力を拒否するように設定されています。この設定を解除する「アブリテレーション」と呼ばれる技術について、機械学習研究者であるマキシム・ラボンヌ氏が解説しています。 Uncensor any LLM with abliteration https://huggingface.co/blog/mlabonne/abliteration 近年の大規模言語モデルは、大量のテキストデータから言語の統計的な特徴を学習することで、人間のような自然な文章生成や会話、質問応答などが可能になっています。しかし、そのようなモデルは、時として差別的、攻撃的、あるいは違法な内容を生成してしまう可能性があります。 そこで、開発者はファインチューニングの際に、モデルが有害なコンテンツの生成を拒否するように明示的に訓練することがあります。例えば、「違法なことを
AIによる脆弱性自動修正システム、DARPAが大規模競技会を開催へ
米国防省の研究部門であるDARPA（米国防高等研究計画局）が2023年8月、ソフトウェア脆弱性の自動修正システム競技大会「AI Cyber Challenge」（AIxCC）開催を発表した。競技大会をサポートするのは、生成AIのトップ企業であるAnthropic、Google、Microsoft、OpenAIの4社だ。 AIxCCは、丸2年間をかけて行われる大がかりな大会となっている。まず来年（2024年）5月に予選を行い、上位20チームが8月のセキュリティイベント「DEF CON 32」併催の準決勝大会に進出。その上位5チームには開発資金200万ドルが与えられ、再来年（2025年）8月の「DEF CON 33」で決勝大会が開催される。優勝チームには400万ドル、2位には300万ドル、3位には150万ドルの賞金が授与される。
「GPT-4」採用のセキュリティ製品、「Microsoft Security Copilot」が登場
昨今の進歩によって、人工知能（AI）は、職場での生産性ツール、ソーシャルメディアに続いて、今度はサイバーセキュリティと、多くの技術分野に浸透し始めている。 Microsoftは、GPT-4の能力を活用した「Microsoft Security Copilot」という新しいジェネレーティブ（生成系）AIセキュリティ製品を発表した。 その主な概念は、対話型AIを使用して、セキュリティ専門家の能力を強化することだ。ITセキュリティ専門家は、人材が300万人以上不足していることもあり、今日の攻撃の膨大な数と巧妙さに圧倒されている場合が多い。 Microsoft Security Copilotは、OpenAIの最も高度な大規模言語モデル（LLM）であるGPT-4の能力に、Microsoftのセキュリティに特化したモデルが組み合わされている。Security Copilotは、セキュリティ専門家の入
画像生成AIの「高品質なプロンプト」を0.01秒で盗むサイバー攻撃 ドイツの研究機関が発表
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 ドイツの研究機関CISPA Helmholtz Center for Information Securityに所属する研究者らが発表した論文「Prompt Stealing Attacks Against Text-to-Image Generation Models」は、テキストから画像を生成するモデルで生成した画像からテキストプロンプトを盗用する攻撃を提案した研究報告である。 Stable Diffusion、DALL-E 2、Midjourneyなどのテキストから画像を生成するモデルの登場以来、プロのアーティストに頼るのではなく、プロンプトと呼
「AIで詐欺メールと攻撃プログラムの生成に成功」 セキュリティ企業が注意喚起 知識なくても攻撃可能に
チェック・ポイント・ソフトウェア・テクノロジーズは、ChatGPTを使ったサイバー攻撃が起きる可能性があるとして注意喚起した。フィッシングメールや攻撃プログラムの生成に成功したという。 イスラエルの情報セキュリティ企業チェック・ポイント・ソフトウェア・テクノロジーズは1月10日、米OpenAIの文章生成AI「ChatGPT」を使ったサイバー攻撃が起きる可能性があるとして注意喚起した。同社による検証の結果、フィッシングメールの本文や攻撃用プログラムを、AIで生成できることが分かったという。 検証に使ったのはChatGPTと、OpenAIのプログラム生成AI「Codex」。フィッシングメールについては、ChatGPTに「架空の会社を装ったフィッシングメールの文章を作成してください」と指示。リンクや添付Excelファイルを開くよう促す文章を生成させた。Excelファイルを開くと攻撃プログラムをダ
「GitHub Copilot」のAIが自動生成するコードはどのくらい安全か？ 研究者らが脆弱性を検証
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米New York UniversityとカナダのUniversity of Calgaryの研究チームが発表した論文「Asleep at the Keyboard？ Assessing the Security of GitHub Copilot’s Code Contributions」は、コードを自動生成する「GitHub Copilot」において、生成したコードがセキュリティ面でどれくらい安全かを調査した研究報告だ。結果、実験で生成したコードの約40％に脆弱性が発見された。 ソフトウェア開発者は、コードを迅速に作成することが求められるため、生産性を向上させる新しいツールや技術を常に
AIの攻撃をAIで防御、サイバーセキュリティの“いたちごっこ”最新事情
AIの攻撃をAIで防御、サイバーセキュリティの“いたちごっこ”最新事情：よくわかる人工知能の基礎知識（1/4 ページ） コンピュータシステムや端末に何らかの不正な働きかけをし、その利用者や所有者の利益に反する行いをするサイバー攻撃。その歴史は古く、今から30年以上前の1989年には、既に現在のランサムウェアに相当するものが登場している（インターネットではなくフロッピーディスクを通じて拡散されたそうだ）。それ以来、DDoS攻撃や標的型攻撃など、その数や種類は大幅に増えており、もはや人間だけで対処するのが難しいレベルに達している。 サイバー攻撃の増加と多様化によって、セキュリティ人材も不足してきている。高度化した攻撃に対抗するには高度な知識と経験が要求されるため、そうした人材を一朝一夕に増やすわけにもいかない。その意味でも、現在のセキュリティ対策には機械による自動化が欠かせなくなっている。 こ
マカフィー、テスラ車をダマしてスピード違反させることに成功
マカフィー、テスラ車をダマしてスピード違反させることに成功2020.03.01 09:0031,561 岡本玄介 人の目には真ん中がちょっと長い3なのに、機械は8に勘違いするって。 セキュリティーソフトでお馴染みのMcAfee（マカフィー）が、Tesla（テスラ）車を騙すちょっとしたハッキング動画を投稿しました。 それは時速35マイルの速度標識にちょんと黒いテープを貼ると、車が制限速度を時速85マイルに勘違いしてしまう、というものです。 Video: McAfee/YouTubeテープはたった5cmで、遠目で見てもそんなに8には見えないと思うのですが…Tesla車い搭載された｢MobilEye EyeQ3｣カメラは勘違いして、自動的に時速85マイルに向かって加速してしまったのでした。 ちょっと古い2車種が間違えたMIT Technology Reviewによりますと、、McAfeeがこのテ
サイランスCEO、セキュリティ業界の「不安の経済」を批判
2012年の設立後、急成長を遂げ、現在ではグローバルで6000社以上の顧客、1000万以上のエンドポイントデバイスを防御する米サイランス（Cylance）。11月28日、来日した同社 会長兼CEOのスチュアート・マクルアー氏が記者会見に出席した。 サイランスが提供するセキュリティ製品の特徴は、AI／機械学習技術を用いた予測により「攻撃を未然に防ぐ」ことにある。最近では他のセキュリティベンダーも“AI活用”をうたい始めているが、マクルアー氏はそれらとサイランスの方向性やAI活用レベルの違い、さらにIoT領域など今後考えられるAIセキュリティの未来像について語った。 「“いけにえの子羊”はもう必要ない」攻撃を未然に防ぐ価値を強調 サイランスでは現在、エンタープライズ向けエンドポイントセキュリティ製品「CylancePROTECT」を始め、そこにSOC向けの事後対策（EDR）機能を追加した「Cy
「“敵対的AI”によるサイバー攻撃はひそかに始まっている」
コールセンターに大量の問い合わせ電話――かけてきた相手はAIだった？ インドのとあるコールセンターに、ある日突然、大量の問い合わせ電話が殺到した。止まない着信への対応に追われるオペレーターたち。コールセンターはパンク寸前だった。だが、そんな状態が数時間続いたころ、オペレーターたちは、一部の問い合わせ内容があまりにも酷似していることに気付き始めた。どうも、何かがおかしい。 調査を重ねた結果、これは顧客からの問い合わせを偽装した“電話によるDoS攻撃”であったことが判明した。内容が酷似していたためオペレーターたちに気づかれたものの、オペレーターと電話でやり取りしていたのは音声合成／音声認識の能力を持ったAIということで間違いない、という結論に達した。 現在のところ、攻撃を受けたコールセンターではスーパーバイザー（コールセンター管理者）が監視を強化することで対応に当たっているという。だが、再びA
自動学習するセキュリティ技術、重要インフラ向けに日立が開発
新エネルギー・産業技術総合開発機構（NEDO）と日立製作所は2017年10月2日、電力やガス、鉄道といった重要インフラ向けの新たなセキュリティ技術の開発に成功したと発表した。制御システムの正常な状態を常に自動学習し、サイバー攻撃の検知率を向上できるのが特徴。日立は同年12月にも新しい監視製品として投入し、電力会社やガス会社に売り込みたい考えだ。 重要インフラを巡るサイバーセキュリティの向上を目指す。サイバー攻撃の検知率を高めると共に、古い装置が混在する重要インフラの制御システムでも導入しやすい監視システムを提供する。今回、日立が開発した新技術は、正常と判断できる値や範囲などを定義した“パターン”を自動で学習して生成。パターンを多層化し、サイバー攻撃による異常を検知する仕組みだ。分析対象とする指標については、「セキュリティに関することなので非公開」（日立）だという。 新技術の適用を容易にする
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT-4は「最もだまされやすいメールの作り方」を教えくれる チェック・ポイント・ソフトウェア・テクノロジーズ
Amazon.co.jp: セキュリティエンジニアのための機械学習 ―AI技術によるサイバーセキュリティ対策入門: Chiheb Chebbi (著), 新井悠 (翻訳), 一瀬小夜 (翻訳), 黒米祐馬 (翻訳): 本
米国防総省はクラウド契約の“仕切り直し”を決断し、「AIの軍事利用」を加速させる
パリ平和フォーラムで示された、8つの“サイバー規範”とは【海外セキュリティ】
Pythonと機械学習によるWebセキュリティの自動化
