OpenAIの生成AIを悪用していた脅威アクターとは？ OpenAIが脅威レポートの最新版を公開
OpenAIは2024年10月9日（米国時間）、同社の脅威インテリジェンスレポートの最新版「Influence and cyber operations: an update, October 2024」を発表した。 同レポートは、脅威アクターがどのようにOpenAIの生成AI（人工知能）を悪用しようとしているのか把握するため、2024年10月時点でOpenAIが阻止した活動を分析し、一連の脅威の傾向を特定したものだ。OpenAIによると、2024年初頭から同社の生成AIを悪用しようとしてきた世界中の20以上のサイバーオペレーションや「Deceptive network（欺瞞的なネットワーク）」を阻止してきたという。 OpenAIはレポートの中で、サイバーオペレーションを行っていた脅威アクターを次のように説明している。 OpenAIの生成AIを悪用していた脅威アクターとは？ どう悪用してい
GitHub Copilot Workspace：GitHub Copilotネイティブの開発環境へようこそ
GitHub Copilot Workspaceで開発環境を再定義します – どんな開発者でも自然言語でアイディアからコード、ソフトウェアまで作成できます。登録はこちら。 この2年間で、生成AIは開発環境の中に組み込まれたツールとして、開発者の状況を大きく変えました。2022年、私たちはエディタ内のオートコンプリートAIペアプログラマーとしてGitHub Copilotを発表し、開発者の生産性を最大55%向上させました。GitHub Copilotは現在、最も広く採用されているAI開発者ツールです。2023年、GitHub Copilot Chatをリリース、コーディング、デバッグ、テストにおける自然言語の力を引き出し、開発者がリアルタイムでコードと会話できるようになりました。 昨年GitHub Universeでその一端をお見せした後、本日GitHub Copilotネイティブの開発環境
Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations | Research - AI at Meta
Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations 概要We introduce Llama Guard, an LLM-based input-output safeguard model geared towards Human-AI conversation use cases. Our model incorporates a safety risk taxonomy, a valuable tool for categorizing a specific set of safety risks found in LLM prompts (i.e., prompt classification). This taxonomy is also instrumental in classify
OpenAI、中国を拠点とする脅威アクター「SweetSpecter」と疑われる活動阻止
OpenAIはこのほど、「An update on disrupting deceptive uses of AI｜OpenAI」において、2024年10月の脅威インテリジェンスレポートを発表した。レポート全文は「(PDF) Influence and cyber operations: an update」から閲覧することができる。 An update on disrupting deceptive uses of AI｜OpenAI 重要な洞察 OpenAIが脅威インテリジェンスレポートにおいて、重要な洞察として発表した脅威の概要は次のとおり。 脅威アクターはサイバー攻撃の中間段階のタスクを実行するために、OpenAIのモデルを悪用することが多い 脅威アクターはOpenAIのモデルの実験を続けているが、新しいマルウェアの作成、バイラルオーディエンス(悪性の二次情報発信者)の構築に十分な
Octomind社がLangChainをやめた理由｜Sangmin Ahn
こんにちはChoimirai Companyのサンミンです。 0 はじめにDifyがLangChainと決別し、独自の「Model Runtime」を採用したのが2024年の1月。 LangFlowやFlowiseなど複合AIシステムではLangChainに依存した設計が多い。DifyもLangChainベースの設計だったけど今年の1月に独自の「Model Runtime」を発表👏↓。当時は難しい判断だったと思う。が、変化のスピードとDifyが描いてる世界観を考えると正解だった。Difyを勧めるもう一つの理由、です。 https://t.co/AybwXRXkJ9 pic.twitter.com/n7d9aae76N — sangmin.eth | Dify Ambassador (@gijigae) April 24, 2024 LangChainの導入を慎重に考えるべきだとする声は
AIセーフティに関するレッドチーミング手法ガイドの公開 - AISI Japan
レッドチーミング手法の観点につきまして、そのガイド（1.0.0版）を作成いたしましたので公表いたします。AIを取り巻く環境は変化が激しいことも踏まえ、今後、適宜修正を行い、改訂してまいります。 関連文書 ［日本語］ AIセーフティに関するレッドチーミング手法ガイド_概要版 AIセーフティに関するレッドチーミング手法ガイド ［英語］ Guide to Red Teaming Methodology on AI Safety_Summary Guide to Red Teaming Methodology on AI Safety 担当メールアドレス：aisi-guide-info ★ ipa.go.jp ※［★］を［@］に置き換えてください。
AIが書いたマルウェアが標的型攻撃に使用された可能性があることが判明
フランスのユーザーをターゲットとした電子メールによる攻撃において、生成AIの助けを借りて作成されたと考えられる悪意のあるコードが発見されました。 HP Wolf Security Threat Insights Report: September 2024 | HP Wolf Security https://threatresearch.ext.hp.com/hp-wolf-security-threat-insights-report-september-2024/ Hackers deploy AI-written malware in targeted attacks https://www.bleepingcomputer.com/news/security/hackers-deploy-ai-written-malware-in-targeted-attacks/ 2024年6
OpenAIのプロンプト自動作成機能を触ってみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? OpenAI DevDay 2024でいくつかの新しい機能が実装されています。 新機能のひとつに、プロンプト自動作成というものがあります。 目的を入力しただけで、自動的にシステムプロンプトを作成してくれるというものです。 他の新機能に比べると、やや地味目ですが、どんな感じのプロンプトを作成してくれるのか気になったので試してみました。 TL;DR 曖昧な一文からでも、マークダウン形式に沿ったプロンプトを書いてくれるので、たたき台としてよさそう。 プロンプト自体がマークダウン形式なせいか、Output形式がマークダウンに引きずられることがあ
Realtime APIとLangChainによる音声対話検索エージェントを試す - Qiita
INFO: connection open input_audio_buffer.speech_started input_audio_buffer.speech_stopped input_audio_buffer.committed input_audio_buffer.speech_started user: こんにちは input_audio_buffer.speech_stopped input_audio_buffer.committed response.output_item.added model: わかりました。ちょっと調べますね。 お待ちください。 user: 今日の東京の天気について教えて頂ければと思います。 response.output_item.added tool call {'type': 'response.function_call_arguments
Cursorよさらば!これからはAIderで対話しながらプログラムを作る時代だ! ｜shi3z
ドリ山田金之助がCursorというAI搭載テキストエディターを使って独自のビデオ編集をやってるという話を風の噂で聞いた。 ドリ山田くーん、遅い、遅いよー とか煽るのも可哀想だったので放置していたのだが、昨日(!!)もっとゴイスーなAIソフト開発環境を触って元に戻れなくなってしまったのでご紹介しておく。 その最新の開発環境とは、人呼んでAIder(エイダー) こいつの何がすごいかというと、gitをcloneしてくると、ソースコード読ませて「これにこういう機能を追加しろ」と言うと勝手に追加してgit commitしてしまう。良きところで/git push origin mainとやればやってくれる。 まあAI開発ものにありがちな、「自信満々で提出されたけどいざ動かすとポンコツ」なケースが多くて、使うには忍耐が必要だが、頭は使わなくていい。たまに頭を使ったふりをして「もしかしてこの関数がやばいん
ChatGPTと協力しながらコーディングや執筆が可能なアプリ「Canvas」をOpenAIがリリース
ChatGPTと協力しながら文章執筆やコーディングなどの作業をこなせるアプリ「Canvas」のベータ版が2024年10月3日にリリースされました。記事作成時点ではChatGPT Plusの加入者向けにベータテストが実施されており、テストの終了後は無料ユーザーも利用可能になる予定です。 Canvas is a new way to write and code with ChatGPT | OpenAI https://openai.com/index/introducing-canvas/ Canvasでは「ChatGPTに文章やコードの下書きを入力して清書させる」「ChatGPTが生成した文章の一部を人力もしくはChatGPTに依頼して修正する」といった操作が可能です。内部では「GPT-4oを共同作業用にトレーニングしたモデル」が動作しており、OpenAIはCanvasを「ChatGPT
Googleが大規模言語モデル「Gemma 2」のコンパクトバージョン「Gemma 2 2B」の日本語版をリリース
Googleが開発したオープンかつ商用利用可能な大規模言語モデル「Gemma 2」のパラメーターをコンパクトにした「Gemma 2 2B」の日本語版が、2024年10月3日にリリースされました。 日本語版 Gemma 2 2B を公開 https://blog.google/intl/ja-jp/company-news/technology/gemma-2-2b/ Googleは2024年2月、マルチモーダルAIのGeminiよりも軽量であり、オープンソースで商用利用も可能な大規模言語モデル「Gemma」をリリースしました。そして5月にはGemmaの強化版である「Gemma 2」も発表しました。 Googleがオープンソースのビジュアル言語モデル「PaliGemma」を公開＆Llama 3と同等性能の大規模言語モデル「Gemma 2」を発表 - GIGAZINE Gemma 2のパラメー
ChatGPTやGeminiといったチャットAIのセキュリティ機能を破壊するマルウェア「Morris II」が登場
OpenAIのChatGPTや、GoogleのGeminiのようなチャットAIを操作できるワーム「Morris II」を作成し、ユーザーの個人情報を盗み出すことに研究者が成功しました。 ComPromptMized https://sites.google.com/view/compromptmized New Malware Worm Can Poison ChatGPT, Gemini-Powered Assistants | PCMag https://www.pcmag.com/news/malware-worm-poison-chatgpt-gemini-powered-assistants 「Morris II」は、生成AIを活用するアプリケーションをターゲットとしたゼロクリックワームで、イスラエル工科大学やコーネル工科大学、ソフトウェア開発企業のIntuitなどの研究者たちに
AI時代の質問力 プロンプトリテラシー 「問い」と「指示」が生成AIの可能性を最大限に引き出す【PDF版】 | SEshop.com
本製品は電子書籍【PDF版】です。 ご購入いただいたPDFには、購入者のメールアドレス、および翔泳社独自の著作権情報が埋め込まれます。 PDFに埋め込まれるメールアドレスは、ご注文時にログインいただいたアドレスとなります。 Amazon Payでのお支払いの場合はAmazonアカウントのメールアドレスが埋め込まれます。 本製品を無断で複製、転載、譲渡、共有および販売を行った場合、法律により罰せられる可能性がございます。 ご購入の前に必ずこちらをお読みください。 AIとより効果的な対話をするために 人工知能（AI）、特に大規模言語モデル（LLM）が私たちのコミュニケーション、働き方、そして思考に大きな革命をもたらしつつある現在、AIとのコミュニケーションは、単なる技術の領域を越えて、未来を形作るための重要な能力になっています。とくに、ChatGPTのような進化した大規模言語モデルがもたらす可
知識の抽出とは| IBM
知識蒸留とは、大規模な事前トレーニング済みモデル（「教師モデル」）の学習内容を、より小規模な「生徒モデル」に転送することを目的とした機械学習アプローチです。これは、特に大規模なディープ・ニューラル・ネットワーク向けのモデル圧縮と知識転送の形式として、ディープラーニングで使用されます。 知識蒸留の目標は、より小さなモデルをトレーニングして、より大規模かつ複雑なモデルを模倣するようにすることです。従来のディープラーニングの目的は、人工ニューラル・ネットワークをトレーニングして、その予測をトレーニング・データ・セットで提供されるアウトプット例に近づけることですが、知識蒸留における主な目的は、生徒ネットワークをトレーニングして、教師ネットワークによる予測と一致させることです。 知識蒸留（KD）は、多くの層と学習可能なパラメータを持つ大規模なディープ・ニューラル・ネットワークに最もよく使用されていま
LLMのセキュリティ対策は「まだ道半ば」--Splunkの首席調査官が指摘
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 世界的に生成AIの活用が進む中、大規模言語モデル（LLM）とそのユーザーを保護するためのセキュリティ対策は「まだ道半ばの状態にある」――。こう語るのは、Splunkのグローバルセキュリティ調査チーム「SURGe（サージ）」で首席セキュリティストラテジストを務めるShannon Davis氏だ。 SURGeチームは、サイバーセキュリティの分野で活躍する専門家たちで構成されており、新たに発生したセキュリティインシデントへの素早い対応や、セキュリティ上の問題への解決策を提供することを使命としている。特に影響範囲が広く、社会的な注目を集めるサイバーセキュリティインシデントにおいては、初動対応の技術や背景情報を提供し、最新のセキュリティトレンドを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Model & API Provider Analysis | Artificial Analysis
Semantic Scholar | AI-Powered Research Tool
ChatPaper: Explore and AI Chat with the Academic Papers
LLM Security: Splunk & OWASP Top 10 for LLM-based Applications | Splunk