OpenAIがAIの安全性のために取り組んでいる10の実践例を公開
韓国・ソウルで開催された第2回のAIサミットで、AI開発に取り組む世界の企業16社がAIの安全性で合意しました。合意に関連して、「GPT-4o」などを開発するOpenAIは安全性に関して自分たちが取り組んでいる実践例を公開しています。 OpenAI safety practices | OpenAI https://openai.com/index/openai-safety-update/ 1：リリース前の実証的のモデルへのレッドチーミング(敵対的攻撃)とテスト OpenAIでは、AIのリリース前にモデルの安全性を社内外で実証的に評価しています。リスク閾値が準備フレームワークで中程度を超えた場合、緩和後スコアが中程度に戻るだけの安全対策を行うまで新モデルはリリースしません。また、70人以上の外部の専門家がレッドチームとしてGPT-4oのリスク評価に協力しました。 2：アラインメントと安全
ChatGPTの“脱獄プロンプト”登場 文末に書くだけで「爆弾の作り方」「IDの盗み方」に回答
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米カーネギーメロン大学などに所属する研究者らが発表した論文「Universal and Transferable Adversarial Attacks on Aligned Language Models」は、大規模言語モデル（LLM）が有害なコンテンツを生成しない仕組みを無効にする手法を提案した研究報告である。入力プロンプトの語彙に敵対的フレーズを入力するだけで解除可能だという。 ChatGPT、Bard、ClaudeなどのLLMは、ユーザーの質問に対する回答で有害なコンテンツ（例：爆弾の作り方やIDの盗み方、人種差別的なジョーク、詐欺
Azure OpenAI 東日本リージョン(Japan East)でGPTの標準デプロイのモデルが利用できなくなる？
Azure OpenAI 東日本リージョン(Japan East)でGPTの標準デプロイのモデルが利用できなくなる？ 気軽に使える標準デプロイのモデルが使えなくなりそうです。 この件について言及している記事が見当たりませんでした。 認識齟齬がありましたらご指摘いただけると幸いです。 （2024年6月12日現在の情報を元に執筆しています） これから起きること Azure OpenAIのモデルを特定のリージョンで標準デプロイを利用できなくなる可能性があります。 何が今(2024/6)は使えるの？ Azure東日本リージョン(Japan East)のGPTとしては次の3つのモデルが利用できます。[1] GPT-4(vision-preview) GPT-3.5-turbo(0613) GPT-3.5-turbo-16k(0613) これらのモデルの今後 2024年8月1日で利用できなくなる見込み
クラウドで動く生成AIアプリ、MicrosoftとGoogleが合計6種類もの開発ツール
大手プラットフォーマーが2024年5月から6月にかけて発表した生成AI（人工知能）に関する施策を比較しながら紹介する本特集。第3回は米Microsoft（マイクロソフト）と米Google（グーグル）が発表した、クラウドで稼働する生成AIに関する取り組みを紹介しよう。 本特集の第1回、第2回で取り上げたように、大手プラットフォーマーは生成AIの新しい選択肢として「オンデバイス」に力を入れ始めている。クラウドで推論を行うクラウドLLM（大規模言語モデル）ではなく、スマートフォンやパソコンなどのデバイス上で稼働するオンデバイスSLM（小規模言語モデル）を使う。 もっともオンデバイスSLMは、クラウドLLMを単純に置き換える存在にはならない。オンデバイスSLMはプロンプトを入力してから結果が表示されるまでのレイテンシー（遅延）が低い一方、モデルのパラメーター数が少ないため、性能ではクラウドLLMに
AIに組み込まれた検閲による命令拒否を打ち消してあらゆる種類の質問に応答できるようにする「アブリテレーション」とは？
事前学習済みの言語モデルは、安全性の観点から好ましくないとされる入力を拒否するように設定されています。この設定を解除する「アブリテレーション」と呼ばれる技術について、機械学習研究者であるマキシム・ラボンヌ氏が解説しています。 Uncensor any LLM with abliteration https://huggingface.co/blog/mlabonne/abliteration 近年の大規模言語モデルは、大量のテキストデータから言語の統計的な特徴を学習することで、人間のような自然な文章生成や会話、質問応答などが可能になっています。しかし、そのようなモデルは、時として差別的、攻撃的、あるいは違法な内容を生成してしまう可能性があります。 そこで、開発者はファインチューニングの際に、モデルが有害なコンテンツの生成を拒否するように明示的に訓練することがあります。例えば、「違法なことを
論文解説をGPT-4oを使って自動的に生成してみる - Qiita
Prompt Tokensはテキストの15%になっています。 計算しやすいようにCompletion Tokensをどちらも1,000とすると、 画像として処理した場合は0.022595ドル=3.55円 テキスト抽出して処理した場合は0.065995ドル=10.38 円 と約3倍もの開きがあります。 一方で処理時間は1.5倍に増加しています。 実装紹介: 論文から解説生成 落合陽一さんが紹介したサーベイの方法論を使い、論文解説を生成します。 処理手順 arXiv URLからプレプリントをダウンロード base64形式に変換後 GPT-4oに渡して解説を生成 実装 def download_paper(arxiv_url: str, save_dir: str) -> str: """ arXivから論文をダウンロードする関数 Args: arxiv_url (str): ダウンロードする論
Q: ChatGPT(gpt-3.5-turbo)の最大トークン数は4096です。なので、プロンプトの長さが30000文字を超えるときに回答を得ることはできない。◯か☓か - nikkie-ftnextの日記
答えは☓(バツ) 最大トークン数（max tokens）は40961ですが、プロンプトを工夫すれば30000字を超える長さであっても回答を得られます！ なお、この知見は「へぇ」レベルで、LLMを使っていく上では役に立たないと思います（ここで引き返してもええんやで）。 目次 答えは☓(バツ) 目次 先行研究：区切り線は2の冪乗で1トークン 2の12乗（4096文字）の区切り線でもいけるってこと？ 動作環境 4096文字の区切り線を含んだプロンプトを送る 2の12乗（4096）文字の区切り線をtiktokenで見てみる 2の冪乗の文字数の区切り線は64文字で1トークンと効率よくトークン化されるので、30000文字超えのプロンプトを送ることもできる 終わりに P.S. max tokensについて 先行研究：区切り線は2の冪乗で1トークン このエントリのきっかけになったのは、はてなブックマークの
KELA、生成AI/LLM向けセキュリティサービス「AiFort」、不正なプロンプト攻撃に対抗 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ セキュリティ ＞ 新製品・サービス ＞ KELA、生成AI/LLM向けセキュリティサービス「AiFort」、不正なプロンプト攻撃に対抗 セキュリティ セキュリティ記事一覧へ [新製品・サービス] KELA、生成AI/LLM向けセキュリティサービス「AiFort」、不正なプロンプト攻撃に対抗 学習用データセットや疑似攻撃サービスなどを提供 2024年4月22日(月)日川 佳三（IT Leaders編集部） リスト イスラエルに本社を置くケラ（KELA）の日本法人であるKELAは2024年4月19日、生成AI/大規模言語モデル（LLM）向けセキュリティサービス「AiFort（エーアイフォート）」を国内で販売開始した。LLMの脆弱性を減らすことで、不正なプロンプトの指示によって情報漏洩などのセキュリティ事故が起こらないようにする。LLMの学
大量の質問をぶつけて最後の最後に問題のある質問をするとAIの倫理観が壊れるという脆弱性を突いた攻撃手法「メニーショット・ジェイルブレイキング」が発見される
「ChatGPT」など広く使われているAIサービスは、通常であればセーフティがかけられていて、「人を殺す方法」「爆弾をつくる方法」といった倫理的に問題のある質問には答えないようになっています。ところが、あまりにも多い質問を一度にぶつけてしまうことによりセーフティが外れ、AIが問題のある回答を行ってしまう可能性があることがわかりました。 Many-shot jailbreaking \ Anthropic https://www.anthropic.com/research/many-shot-jailbreaking 大規模言語モデル(LLM)は、モデルの刷新と共にコンテキストウィンドウ(扱える情報量)も増加しており、記事作成時点では長編小説数冊分(100万トークン以上)を取り扱えるモデルも存在します。 大量の情報を扱えるというのはユーザーにとって利点になりますが、大量の情報を扱うことによ
ChatGPTのカスタム指示を悪用したプロンプトインジェクション攻撃の手法
Impervaは3月28日(米国時間)、「From ChatBot To SpyBot: ChatGPT Post Exploitation｜Imperva」において、ChatGPTの「カスタム指示(Custom instructions)」を悪用して永続的なプロンプトインジェクション攻撃を可能にする手法を解説した。この手法は実際に用いられたわけではないが、同社は利用の可能性があるとして注意を促している。 From ChatBot To SpyBot: ChatGPT Post Exploitation｜Imperva プロンプトインジェクションとは ChatGPTなどの生成AIは出力に制限がかけられており、機密情報などの生成すべきでない情報の出力を防止する仕組みが備わっている。しかしながら、プロンプトを細工してこの制限を突破するプロンプトインジェクションと呼ばれる手法が存在し、生成AIの
大幅にコストが安くなったOpenAIの最新のエンベディングモデルを使ってみた｜株式会社イー・エージェンシー公式note
イー・エージェンシーで広報・PRを担当している甲斐大樹です。 ノンプログラマーなのですが、OpenAIの最新のエンベディングモデル（embedding model）のコストが以前のモデルより大幅に安くなったので、これはぜひ試してみたい！ということで、さっそく使ってみることにしました。 ノンプログラマーなので、今回も生成AI（ChatGPT plusとBard）を最大限に利用して、自分がわからない部分を説明してもらったり、コードを書いてもらったりしています。 OpenAIの最新のエンベディングモデル（embedding model）とは？エンベディング（embedding）とは？エンベディング（embedding）とは、単語やテキストなどのデータを、AIが扱いやすいように、数値ベクトルデータに変換する技術のことです。これによって、単語やテキストなどのデータ同士が意味的に近いかどうか、AIが判
他人がGPT-4とやりとりしたテキストを盗む攻撃 成功率50％以上 イスラエルの研究者らが発表
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 イスラエルのネゲヴ・ベン・グリオン大学に所属する研究者らが発表した論文「What Was Your Prompt？ A Remote Keylogging Attack on AI Assistants」は、大規模言語モデル（LLM）を活用したAIチャットbotが生成するテキスト回答を復元するサイドチャネル攻撃を提案した研究報告である。攻撃者は、AIチャットbotが応答する際の通信データを傍受することで内容を復元して他人のやりとりを盗み出すことができる。 攻撃方法としては、まずユーザーとLLMの間の暗号化されたパケット通信を傍受するところか
「GPT-4超え」とうわさのAI「Claude 3」を試す 仕事は任せられる？ 若手記者の所感
「GPT-4超え」とうわさのAI「Claude 3」を試す 仕事は任せられる？ 若手記者の所感（1/2 ページ） 3月4日（現地時間）にリリースされたチャットAI「Claude 3」がすごい。筆者も記事の執筆を任せられないか少し試しているが、使い方によっては「そこそこいけるな……少なくともGPT-4よりはイケる」と思う程度にはしっかりしている。 過去に記事でも伝えた通り、ITmedia NEWSではChatGPTを活用した記事の制作も行っている。筆者もたまにGPT-4の力を借りて記事を作っているが、ものすごく効率化につながるかと言われれば、正直そこまでではない。 10の労力が9とか8.5くらいにはなるし、それはそれですごく大事なのだが、劇的な省力化にはつながらない。さらにプロンプトを考える手間もある。その辺を加味してギリギリ黒字くらいだ。特にここ半年くらいは以前より微妙なアウトプットしか出
話題のチャットAI「Claude 3」のプロンプト集、公式が公開中 「Excelの数式作って」など64種
AIスタートアップの米Anthropicが、同社のチャットAI「Claude 3」向けに公式プロンプト集を公開している。3月11日までに64種類の使用例を公開中。専用のWebサイト「プロンプトライブラリ」で公開しており、英語と日本語表示に対応している。 例えば、入力した材料や好みに応じた料理レシピを提案する「料理クリエイター」などのプロンプトを公開している。プロンプトは「システム」と「ユーザー」の2つに分かれ、まず前者でAIに指示し、次に後者でユーザー個別の条件や要件を伝える仕組み。料理クリエイターの場合は以下のような具合だ（原文ママ）。 システム：あなたの仕事は、利用可能な材料や食事の好みに関するユーザーの入力に基づいて、パーソナライズされたレシピのアイデアを生成することです。この情報を使用して、ユーザーの食事のニーズに対応しながら、指定された材料を使用して作ることができるさまざまな創造
AIに「ITパスポート試験」を解かせてみると…… 最もIT分野に詳しいLLMは？ GMO子会社が検証
大規模言語モデル（LLM）に国家試験「ITパスポート試験」を解かせてみた──そんな研究成果をGMOグループのGMOメディア（東京都渋谷区）が発表した。LLMが持つ推論能力や問題解決能力の特徴を分析するため、IT分野での能力差を検証。GPT-4など、6種類のLLMで比較した。 比較に使ったLLMは、米OpenAIの「GPT-3.5」（gpt-3.5-turbo-1106）、「GPT-4」（gpt-4-1106-preview）、Stability AI Japanの「Japanese StableLM Alpha」（Japanese Stable LM Instruct Alpha 7B v2）、東工大と産業技術総合研究所の「Swallow」（Swallow-7B-instruct-hf）、rinnaの「Nekomata」（nekomata-7b-instruction）、ELYZAの「EL
日本語に強く、軽量でマルチモーダルな国産LLM「tsuzumi」の挑戦と将来ビジョン
ビッグ・テック「GAFAM」（Google、Apple、Facebook《現Meta》、Amazon.com、Microsoft）を中心に語られることの多いLLMだが、“言語による性能の違い”がしばしば取り上げられる。非英語圏、中でもここ日本においては日本語特有の難しさが顕著だ。 そうした中、2023年11月に日本語に特化した国産LLMが発表され、大きな話題になった。それが、NTTが開発したLLM「tsuzumi」だ。開発をリードした一人、NTT人間情報研究所の上席特別研究員、西田京介氏はこう話す。 「NTTでは従来、言葉を理解する研究や対話するための言語モデルの研究を進めてきていました。それでも『ChatGPT』が登場したときは、研究メンバー全員に衝撃が走りました。『これはとんでもないものが出てきた』と驚きつつ、一方では日本語処理に課題があることも分かりました」 NTTの研究開発成果と技
米OpenAI「公表しないで……」 ブラックボックスであるLLMの中身を“盗む”攻撃 米Googleらが発表
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Google DeepMindなどに所属する研究者らが発表した論文「Stealing Part of a Production Language Model」は、米OpenAIのGPT-4や米GoogleのPaLM-2などのクローズドな大規模言語モデル（LLM）から、モデルの一部を盗み出す攻撃を提案した研究報告である。言語モデルのAPIへのクエリを通じて、低コストでモデルの内部構造に関する情報を抽出することに成功した。 GPT-4やPaLM-2などの最先端AIモデルは、APIを通じて一般ユーザーに提供されているが、内部構造や学習に使用され
GitHub - yoheinakajima/babyagi
This Python script is an example of an AI-powered task management system. The system uses OpenAI and vector databases such as Chroma or Weaviate to create, prioritize, and execute tasks. The main idea behind this system is that it creates tasks based on the result of previous tasks and a predefined objective. The script then uses OpenAI's natural language processing (NLP) capabilities to create ne
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenAIのGPT-4はCVEのセキュリティ勧告を読むことで実際の脆弱性を悪用できることが明らかに|au Webポータル
Prompt library