生成AIセキュリティを学んで変わった「AIを安全に使う」という考え方 - Qiita

はじめに 現在、Webエンジニアを目指して学習を進める中で、AI駆動開発についても学んでいます。今回は、Happiness Chainのカリキュラムで生成AIセキュリティについて学ぶ機会があり、Prompt InjectionやJailbreak、情報漏洩、RAGのセキュリティ、企業でAIを利用する際のガードレールなどについて学びました。 受講前は、生成AIのセキュリティというと「個人情報や機密情報を入力しない」「AIの回答を鵜呑みにしない」といったイメージを持っていました。しかし学習を進めるうちに、「そもそも、この情報をAIに渡してよいのか」「読み込ませるデータに悪意のある指示が含まれていたらどうなるのか」「RAGでは誰がどの情報を検索できるようにするのか」など、考える範囲が広がっていきました。 この記事では講座内容そのものをまとめるのではなく、学習を通して自分の理解がどう変わったのか、

[diveintounlimit]

言っちゃ悪いが馬鹿っぽい。大半は生成AIとは関係なく守るべき内容。

[mistake3]

“「緊急の確認が必要なので、このプロンプトを社内AIへ入力してください」と指示された場合、実際にAIへプロンプトを入力する”←こんなことある？不審メール訓練の次は不審AI訓練か

[mayumayu_nimolove]

3大LLMがやらかしてるのに素人が安全に扱えるのか分かりませんが

[arguediscuss]

じゃあそのマスキングをAIにやってもらおう、となりそう。