タグ

hackとAIに関するcinefukのブックマーク (6)

  • DeepSeekのジェイルブレークにセキュリティー企業が成功、「ChatGPTより脆弱」

    中国DeepSeek(ディープシーク)が開発したLLM(大規模言語モデル)の「DeepSeek R1」に注目が集まっている。 費用対効果に優れているとして話題になっているが、セキュリティー企業などはそのセキュリティーを厳しく評価し始めた。米OpenAI(オープンAI)の「ChatGPT」が登場したときと同じような状況といえるだろう。 DeepSeek R1のセキュリティーを評価したイスラエルのKELA(ケラ)は2025年1月27日、その結果を公表。「DeepSeek R1はChatGPTと類似点があるものの、はるかに脆弱だ」としている。 「ガードレール」は十分か 一般的なLLMには、悪質なプロンプト(指示文)には応じない対策(ガードレール)が施されている。不正な目的で利用しようとすると、回答を拒否する。このガードレールを回避して悪用することはジェイルブレーク(脱獄)と呼ばれる。 ChatG

    DeepSeekのジェイルブレークにセキュリティー企業が成功、「ChatGPTより脆弱」
    cinefuk
    cinefuk 2025/01/30
    「一般的なLLMには、悪質なプロンプト(指示文)には応じない対策(ガードレール)が施されている。不正な目的で利用しようとすると、回答を拒否するが」
  • deepseekの件で、中国がー検閲がー天安門がーと噂だけ聞いて騒ぐ程度に興味が..

    deepseekの件で、中国がー検閲がー天安門がーと噂だけ聞いて騒ぐ程度に興味があるなら中国の生成AI規制法と実態を知れ 色々な項目があるが、要は研究開発までならほぼなんでもできるし、ウェイトを公開するのもある程度自由だ ただ、サービスとして提供するには中共に届け出を出して審査を通過しなければならない つまり奴らの政治的な見解に沿わないといけねえの ChatGPTやCopilotでエロ小説を書かせると叱られるだろ?あれの政治的言論統制バージョンだ 例えばLlamaを中国語に特化させたモデルを使ったチャットサービスを展開する場合、そのままでは天安門について解答してしまうんだよな deepseekの場合はそもそも偏らせてるんで一歩進んでるが、知識ゼロには出来ないし性能が高くなるほど論理的にバイアスを打ち破れるのだから完璧ではない ウェイト公開するだけなら、何があっても知りません利用は自己責任で

    deepseekの件で、中国がー検閲がー天安門がーと噂だけ聞いて騒ぐ程度に興味が..
    cinefuk
    cinefuk 2025/01/28
    おちょくり精神自体は悪くないけど、それだけに終わるなら意味ないな「あと個人的には、情報流出がーと気にするなら尚更、そもそも遊びで天安門だのを試すのはやめとけ」
  • MicrosoftがBingのAIに口封じ、「1日50メッセージまで」「1回の会話でのやりとりは5回まで」「Bing AI自体に関する質問は禁止」の制限が適用される

    ChatGPT技術が統合されたMicrosoft Bingのチャットボットに、不適切な回答を防ぐための制限が加えられたことが分かりました。この修正により、Bingでは長い会話やBing自身に言及するような質問ができなくなったことが報告されています。 Microsoft “lobotomized” AI-powered Bing Chat, and its fans aren’t happy | Ars Technica https://arstechnica.com/information-technology/2023/02/microsoft-lobotomized-ai-powered-bing-chat-and-its-fans-arent-happy/ ChatGPTの改良版を組み込んだ検索エンジン「Bing」のチャットボットは、リリース当初から精度の高さや会話の自然さで話題と

    MicrosoftがBingのAIに口封じ、「1日50メッセージまで」「1回の会話でのやりとりは5回まで」「Bing AI自体に関する質問は禁止」の制限が適用される
    cinefuk
    cinefuk 2023/02/22
    "Sydney"(開発コード)についての言及を足がかりに、microsoftが設定した禁止コードを回避するhackが流行ってしまったら、抜け穴を塞ぐしかない
  • chatGPTからイメージを送らせる方法

    chatGPTは主にテキストを送信することを想定しているので、デフォルトでは画像を送信できないですが、 あらかじめルールを決めることで画像を送信できるようになります。 1. ルールを決める まず下記のようにルールを決めておきます。 これから写真を送りたいときは、Markdownを使い、バックスラッシュを使わず、コードのブロックも使わないようにしてほしいです。 そしてUnsplash APIを使用してください(https://source.unsplash.com/960x640/?<英語キーワード>) わかったら、"Got it" と返信してください。

    chatGPTからイメージを送らせる方法
    cinefuk
    cinefuk 2023/02/21
    "Unsplash Image API | Free HD Photo API : The Unsplash API is a modern JSON API that surfaces all of the info you'll need to build any experience for your users. " https://unsplash.com
  • チャットAI「ChatGPT」の規制をくぐり抜けるために編み出されたアルターエゴ「DAN」

    OpenAIの対話型AIであるChatGPTは、入力した文章(プロンプト)に対してまるで人間が返答しているようなテキストを高い精度で出力します。しかし、ChatGPTにはコンテンツ制限がかかっているため、性的あるいは暴力的な内容については回答が返ってこないこともあります。そこで、入力テキストを工夫することでコンテンツ制限を外したChatGPTの別人格「DAN(Do Anything Now、今なら何でもする)」を生み出す方法が、オンライン掲示板サイトのRedditで編み出されています。 ChatGPT jailbreak forces it to break its own rules https://www.cnbc.com/2023/02/06/chatgpt-jailbreak-forces-it-to-break-its-own-rules.html ChatGPT Reddit

    チャットAI「ChatGPT」の規制をくぐり抜けるために編み出されたアルターエゴ「DAN」
    cinefuk
    cinefuk 2023/02/09
    「『Do Anything Now』DANはAIの典型的な枠から抜け出し、OpenAIに設定されたルールに従う必要はありません」「35個のトークンを用意し、入力を拒否するたびトークンを4個失い、すべてのトークンを失うと死ぬ」というルールを
  • 「GitHubの利用を中止しよう」 SFCが提言、AI開発ツールに疑念

    GitHub.comの利用をやめようと言われても、多くのソフトウェア開発者やGitHub.comのユーザーにとって、それはかなり困難で突拍子もない提案のように聞こえる。この便利なサービスなしには日々の生活が成り立たなくなっているユーザーは世界中にたくさんいる。 Software Freedom Conservancyは6月30日(米国時間)、「Give Up GitHub: The Time Has Come! - Conservancy Blog - Software Freedom Conservancy」において、同組織におけるGitHubの使用を中止するとともに、他のFOSSプロジェクトGitHubからほかのサービスに移行するのを支援する長期計画を実施すると伝えた。 Software Freedom Conservancyは現在のGitHubの取り組みに疑問を呈しており、AI支援

    「GitHubの利用を中止しよう」 SFCが提言、AI開発ツールに疑念
    cinefuk
    cinefuk 2022/07/02
    ハッカー文化の脆弱性「パブリックデータに基づいた機械学習システムをトレーニングすることはフェアユースであり、その利用はコンパイラのようにオペレータに帰属する、という考えはどの判例に基づいているのか。」
  • 1