プロンプトインジェクション対策: 様々な攻撃パターンから学ぶセキュリティのリスク - GMO Flatt Security Blog
はじめに こんにちは、GMO Flatt Security株式会社セキュリティエンジニアの石川(@ryusei_ishika)です。 近年、ChatGPT や Gemini などの大規模言語モデル（LLM）をはじめとする生成 AI の活用が急速に進んでいます。その一方で、これらの AI モデルに対する新たな攻撃手法である「プロンプトインジェクション」が注目を集めており、そのセキュリティリスクが問題視されています。 この記事では、プロンプトインジェクションが実際にどのような脅威となり得るのか、具体的な事例を交えながらそのリアルなセキュリティリスクを解説します。さらに、開発者や経営者が取るべき具体的な対策についても、分かりやすくご紹介します。 また、GMO Flatt Securityは日本初のセキュリティ診断AIエージェント「Takumi」や、LLMを活用したアプリケーションに対する脆弱性診
225行のコードでGPTの仕組みを理解する
概要 LLMに関心があり、ChatGPTやtransformerの仕組みを理解したいと思っていたところ、雰囲気を掴むのにこちらの動画がとても参考になりました。 動画の内容としては、以下のコーパスを学習して、直前の数文字から次の1文字（単語ではないことに注意）予測機を作成するというものです。 この動画で完成するコードは以下で、225行しかなくとても読みやすいです。 また短いですがtransformerのエッセンスが詰まっていて勉強になりそうです。 このコードを読み解くことでGPTやtransformerがどのように動いているのか、ざっくり理解してみようと思います。 ちなみに完成するとこんな感じの文字列が生成されます。ぱっと見文章っぽいですね。 first Scitizen: He's enough; but he cannot give his friends. MARCIUS: Do yo
ChatGPTで個人情報漏えい OpenAIが原因と対策を説明
米OpenAIは3月24日（現地時間）、20日にChatGPTを短時間オフラインにした理由を説明した。ユーザーに別のユーザーの氏名、メールアドレス、住所、クレジットカード番号の下4桁、カードの有効期限が表示される問題があったためオフラインにし、バグを修正したという。 個人情報が漏えいしたのは、有料版「ChatGPT Plus」の会員の約1.2％で、影響を受けた可能性のある全員に連絡したという。 この問題と同時に、一部のユーザーに別のユーザーのチャット履歴が表示されてしまう問題も発生していた。 ChatGPTのチャット履歴は、画面の左側にあるサイドバーに表示され、クリックするとチャットの続きを再開できるようになっている。このサイドバーに他人のプロンプトが表示されていた。 OpenAIによると、バグは修正され、「数時間分を除いて、チャット履歴を復元できた」という。 チャット履歴と個人データが他
AI時代へ向けて育成すべきはAI人材か?｜楠 正憲（デジタル庁統括官）
今年3月に政府のAI戦略が年間25万人を目標にAI人材を育てるとぶち上げたのに続いて、教育再生会議が全ての大学生がAIなどの基礎的な素養を身につけられるように標準カリキュラムを作成することを提言した。ガートナーが2017年1月に産業界で2020年末時点で30万人以上のIT人材（原典を確認したところAI人材ではなかったようですね）が不足するといったらしいのだが、今からカリキュラムをいじったところで2030年くらいにならないとAIネイティブな新入社員は入ってこないし、その頃まで深層学習が流行っているのか、NVidiaが残ってるのか、PythonやTensorFlowが広く使われているのか、GAFAがどうなっているかなんてさっぱり見当がつかない。 残念ながら私たちは2010年代に深層学習の実用化の局面で米国に負けたのであって、いまから教育をいじるといったって泥棒を捕らえて縄を綯うような話である。
Lispの車窓から見た人工知能 - dely engineering blog
はじめに こんにちは。 機械学習エンジニアの辻です。 本記事はdely Advent Calendar 2018の22日目の記事です。 dely Advent Calendar 2018 - Adventar dely Advent Calendar 2018 - Qiita 昨日は弊社のサーバサイド・エンジニアの山野井が「【Vue.js】算出プロパティの仕組みについて調べてみた」という記事を書きました！ とてもわかり易く解説しているので興味のある方は是非読んでみてください。 tech.dely.jp さて本日は「Lispの車窓から見た人工知能」と題しまして、プログラミング言語Lispから見た人工知能の風景を眺めていきたいと思っています。ぼくはEmacs使いのLisperですが、Lispを書くのは自分用のスクリプトや、Emacs Lispの設定変更といったものだけで、ふだんの機械学習に関す
『みんパイ』著者が、Pythonはなぜ流行ったのかを考える
空前のPythonブーム、到来!! 「Python」流行っていますね。最近は、AIや機械学習、データサイエンスというようなキーワードを頼りに、Pythonを探しあてる人が多いようです。他にも、ネットワーク、IoT、Webやスクレイピングなど、いろいろなキーワードでPythonにたどり着く人がいます。応用範囲が広く、学びやすく、それでいて長く使えるのがPythonの魅力です。 コンピューターが便利な点は、「手順」を自動化してくれるところです。たとえば、Webから必要な文字や数字を取ってきて、Excelのシートにまとめる手順を自動化することで、面倒なルーチンワークから解放されます。あるいは、CO2濃度が高まって眠気が増すのを避けるために、センサーで検知した数値が2,000ppmを超えたら自動的に社内SNSにお知らせを投げるプログラムを書くこともできます。こうして換気をうながすことにより、生産性
この１０年間のプログラミングの変化｜山本一成🚗TURING
はじめましてnoteの皆さん、名人を倒した将棋プログラムPonanzaというものを作っていた山本一成と言います。この度ははてなから引っ越してきました。2018年になったので新しくブログ書いてみようかなぁ〜ってはじめました。 私がプログラミングをはじめたのは大学生だった時ちょうど10年前でした。そして今2018年になって、同じプログラミングにしても色々変わったなぁという印象です。今日はそのへんを皆さんと共有できたらなぁ〜と書きました。 あくまで私の観測範囲内での話をすればですけど、10年前のプログラミングの世界は速く動くことがかっこよかったです。実際にかっこいいだけでなく、必要とされる場面も多かったような気がします。私が愛用しているプログラミング言語はC++(シープラスプラス)と言って、まあそれは高速に動作することだけを意識して作られた言語でした。 加えて、今から考えれば一体なんでそんなトリ
Rebuild: 181: UNK Reply Bot (higepon)
Taro Minowa さんをゲストに迎えて、ボット、機械学習、AI などについて話しました。 Show Notes seq2seq の chatbot を日本語で動かしてみた - Higepon’s blog ひげみbot (@higepon_bot) Convolutional neural network Sequence-to-Sequence Models ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 TensorFlow Keras Theano Chainer 意味分からない。最初からKeras使った方が良くない？流石日本人。Chainer好きすぎでしょ。 MeCab: Yet Another Part-of-Speech and Morphological Analyzer りんな Twitter taught Microsof
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
