12月9日（現地時間）、EUの閣僚理事会と欧州議会は、2021年4月に提案され審議が続いてきたAI法案「EU AI Act」について、暫定的な政治合意に達したと発表した。今後、最終的な内容を詰め、その上で各国の承認を得るプロセスに入るため、具体的な規制がどのような形で決着するのかは予断を許さない。 また承認が得られても、AI法が施行・適用されるようになるのはまだ先で、26年中になると見られている。とはいえAIを包括的に規制する、強制力のあるルールがついに施行されるということで、AI法の成立はAIガバナンスにとってエポックメーキングな出来事といえるだろう。 その詳しい内容はこれから定義される（「欧州AI庁」という組織が設置され、各種基準の定義や運用を担う予定）予定だが、具体的な道が示されることで、AIリスクの管理が容易になると期待されている。 しかしこうしたガバナンス方法の提案は、本当に社会

こんにちは、パトルです。 2023年12月17日、カルフォルニアのシボレーの販売店で使われている顧客対応用のChatGPTが、プロンプトインジェクション（AIのハッキングみたいなやつ）にあって、多大な特典を付与したり、新車を1ドルで売ってしまう事案が発生しました。 今回は、このショッキングな事案の概要、どういうプロンプトインジェクションが用いられたのか、損害状況などを解説しながら、プロンプトインジェクションのリスクを勉強したいと思います。 概要今回の舞台はカルフォルニアのワトソンビルという地区にあるシボレーのディーラーのホームページに設置されていたセールチャットボットです。URLはこちらです。（残念ながら12/22時点ではChatGPTは外されています） https://www.chevroletofwatsonville.com/ChatGPTは、商品を説明するという位置づけで導入されて

Image credit: Pickpik 約1年前に「ChatGPT」が登場して以来、ジェネレーティブ AI の時代は一気に加速しているが、その一方で反対勢力も存在する。 多くのアーティスト、芸能人、パフォーマー、そしてレコード会社までもが AI 企業を相手取り訴訟を起こしており、中には ChatGPT のメーカー OpenAI を相手取ったものもある。こうした訴訟は、これらの新しいツールの背後にある秘訣、すなわちトレーニングデータに関するものだ。つまり、これらの AI モデルは、大量のマルチメディアにアクセスし、そこから学習することなしには機能しないということだ。その中には、何の予備知識も持たず、自分たちの作品が新しい商用 AI 製品のトレーニングに使われることに反対する機会も与えられなかったアーティストが制作した文章や画像も含まれている。 これらの AI モデルのトレーニングデータセ

日本写真家協会は8月23日、生成AIで作成した画像は「二次的著作物」にあたり、原著作者の権利を保護するルール作りが必要だと問題提起する文書を公開した。 同協会がWebサイトで公開した「生成AI画像についてその考え方の提言」によると、日本の著作権法は著作物を「思想又は感情を創作的に表現したもの」と定義していることから、生成AI画像は既存の著作物を元に新たな画像を作成する「翻案（二次的著作物の創作）」にあたるという。 二次的著作物とは「キャラクターの絵から着ぐるみを作ったり、小説を映画化したり、ある外国の小説を日本語に翻訳した場合のように、一つの著作物を原作とし、新たな創作性を加えて創られた著作物」（文化庁、著作権解説集より）を指す。 しかし生成AI画像の場合、見ただけでは原著作物が何であるのか判断できない。このため同協会は、生成AI画像に原著作物の著作者名や出典、利用者などを明示する義務を設

クリエイティブな領域における人工知能（AI）との争いにおいて、人間が1つの勝利を収めた。米連邦裁判所判事は先週、AIが生成した作品は著作権で保護されないとの判決を下した。 Beryl Howell連邦地裁判事は判決文の中で、「人間の手にまったく導かれることなく動作する、新しい形態の技術によって生成される作品を保護するほど、著作権法が範囲を広げられたことはない。人間の創造物であることが基本要件だ」と述べた。 特に、米映画俳優組合（SAG-AFTRA）がストライキに入ってから100日間以上が経過し、AIを利用して脚本を制作するという概念が勢いを増す中、AIが生成した作品が法的保護を受けないという考え方は、クリエイティブな分野に携わる人々にとって朗報だ。 著作権は時代に適応していくものだが、「人間の創造性が新しいツールを経由したり、新しいメディアとして実現したりしても、人間の関与が著作物性の根幹

個人情報保護委員会は8月21日、生成AIサービスの利用に関する注意点をまとめたパンフレットを公開した。事業者や行政機関などに向けて、各提供サービスの利用者が入力した情報を、AIの学習データとして利用する予定がある場合に注意すべきことなどを記載している。 内容は、「個人データを第三者に提供する場合は本人の同意を得る必要がある」「保有個人情報を利用・提供する場合は特定された目的のためでなければならない」などの規律が存在することを知らせるもの。 サービス組み込み用の生成AIを提供する事業者などは、利用者が入力した情報を学習に使う場合もある。サービスの実装方法や規約によってはこれが個人情報保護法に触れる可能性があるため、確認するよう注意喚起したものとみられる。 個人情報保護委員会は以前にも「生成AIサービスの利用に関する注意喚起等」という文書を公開。生成AIサービスの利用に当たっては、情報の取り扱

Artificial Intelligence Policy Institute（AIPI）が米国で1001人の成人を対象に、人工知能（AI）に対する考えを調査した。その調査結果は、一般の人々が持つAIへの恐怖心を反映したものとなっている。

2023年6月7日、集英社は、AI（人工知能）生成画像を使ったグラビア写真集『生まれたて。』の販売を終了すると発表した。生成AIをとりまく様々な論点・問題点についての検討が十分ではなく、AI生成物の商品化については、より慎重に考えるべきであったと判断したとのことである。今回は、このようなAI生成画像を用いた「AIグラビア」の法的な問題点について弁護士の二木康晴氏に聞いた。 AI生成画像を使った実在しないモデル「さつきあい」のグラビアと、さつきあいのグラビア写真集『生まれたて。』の販売終了を知らせる集英社「週刊プレイボーイ」編集部のWebサイトの画像（出所／集英社） Q1　今回の「AIグラビア」では何が問題になったのか。 A1　集英社から公表されたプレスリリースを確認する限りでは、「AIグラビア」の販売が終了した直接の原因は明らかではない。 一般的には、生成AIは、著作権などの権利を侵害しな

資料やイベントのチラシなどの印刷物、SNSの投稿、Webサイトなどでイラストや写真が欲しい場合は多々あるが、画像生成AIの登場で自在に画像を生み出せるようになった。「プロンプト」と呼ぶ文字列で指示するだけで新しい画像を生成できる。

日本新聞協会など4団体は8月17日、生成AIにまつわる著作権保護策の再検討を求める共同声明を発表した。日本の著作権法第30条の4が「諸外国に比べ、AI学習に極めて有利に作られていることは大きな課題」と指摘。AIに学習させる著作物データの保護をめぐり、権利者団体と関係当局の意見交換を求めている。 声明を出したのは、新聞協会と日本雑誌協会、日本写真著作権協会、日本書籍出版協会。 生成AIは、ネット上の大量のデータを、著作者の同意なく学習して開発されているケースが多い。日本では、著作権法第30条の4により、このデータ収集は、「著作権者の利益を不当に害する」場合はを除き、著作権を侵害しないとされている。 声明では「学習利用の価値が著作権者に還元されないまま大量のコンテンツが生成されることで、創作機会が失われ、経済的にも著作活動が困難になる」「海賊版をはじめとする違法コンテンツを利用した、非倫理的な

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 野村総合研究所（NRI）は8月9日、「生成AIのセキュリティリスクと対応のあり方」というテーマで報道説明会を開催した。 NRIセキュアテクノロジーズ コンサルティング事業統括本部長 兼 北米支社 Security Consulting Department部長の山口雅史氏はまず、2022年11月30日に対話型生成AI「ChatGPT」が公開されたことを挙げ、「現時点で実用に至っていることがかなり多い」と位置づけた。 企業での関心が高まる一方、業務効率化などを期待して生成AIを活用する際に想定されるリスクとして、同氏は「自社からの情報漏えい」「法令違反」「サービス事業者からの情報漏えい」「でっち上げ・誤情報・根拠不明の情報生成（ハルシネー

人間レベルの文章を生成するChatGPTがEUのデータ保護規則に違反している疑いで、開発元のOpenAIがイタリアのデータ保護機関から調査を受けています。当局は2023年4月30日までにイタリア及びEUの法律を順守するよう呼びかけていますが、AIの専門家は「このタスクは不可能に近い」とし、ChatGPTおよびOpenAIが抱える問題について詳述しました。 OpenAI has until April 30 to comply with EU laws — ‘Next to impossible,’ say experts https://cointelegraph.com/news/openai-has-until-april-30-to-comply-with-eu-laws-next-to-impossible-say-experts EUの一般データ保護規則(GDPR)の下では、技術

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 ドイツの研究機関CISPA Helmholtz Center for Information Securityに所属する研究者らが発表した論文「Prompt Stealing Attacks Against Text-to-Image Generation Models」は、テキストから画像を生成するモデルで生成した画像からテキストプロンプトを盗用する攻撃を提案した研究報告である。 Stable Diffusion、DALL-E 2、Midjourneyなどのテキストから画像を生成するモデルの登場以来、プロのアーティストに頼るのではなく、プロンプトと呼

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます ゼットスケーラーは11月15日、高度な自動分類機能を用いることで設定時間の短縮やセキュリティ部門にかかる負荷やコストの削減を可能にするデータ保護機能（Data Loss Prevention、DLP：情報漏えい防止）の新機能を発表した。日本では22日から提供を開始する予定。 カントリーマネージャーのRavi Garudadri氏は、従来のDLP製品がもともとオンプレミス向けのシステムであり、誤検知が多くて面倒なソリューションであったとし、「SaaSアプリケーションの世界にマッチしていない」と指摘した。 また、従来のデータセンターを中心とした企業ネットワークのアーキテクチャーでは、ユーザーとアプリケーションを同じネットワークに接続すること

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米デューク大学と米ミシガン大学の研究チームが開発した「Security Analysis of Camera-LiDAR Fusion Against Black-Box Attacks on Autonomous Vehicles」は、自動運転車のセンサーをだまして、周囲の物体が検出距離よりも近い（または遠い）と信じ込ませる攻撃に成功し、搭載するカメラやセンサーの脆弱性を実証した。 センサーが取得する3D点群に実際の位置より前方または後方にわずかなデータポイントを追加するだけで、自動運転車のシステムを混乱させ、危険な判断をさせることができるという。 例えば、下記の図では前方中央から車が猛

現在、世界各国で自動運転車の開発が盛んに行われています。 自動運転車は、人間が運転操作を行わなくとも自動で走行できる自動車と定義されており、カメラやレーダー、GPSなどのセンサー類や、高精細の地図情報を配信するクラウドサービス、また、他車両と通信を行うネットワークサービスなどを組み合わせることで、自律的な走行を実現しています。また、より完全な自立走行を実現するために、道路標識や歩行者などの認識や、運転操作の意思決定をディープラーニング・モデルで行う自動運転車も開発が進んでいます。 このように、自動運転車には「繋がる」「自律走行」という、従来の自動車にはなかった新たな性質が加わっています。しかし、これと同時に、センサー類やクラウドサービス連携に対する攻撃や、ディープラーニング・モデルに対する攻撃といった、従来の自動車にはなかった新たな攻撃経路も生まれています。 そこで、本連載は「自動運転車セ

現在、世界各国で自動運転車の開発が盛んに行われています。 自動運転車は、人間が運転操作を行わなくとも自動で走行できる自動車と定義されており、カメラやレーダー、GPSなどのセンサー類や、高精細の地図情報を配信するクラウドサービス、また、他車両と通信を行うネットワークサービスなどを組み合わせることで、自律的な走行を実現しています。また、より完全な自律走行を実現するために、道路標識や歩行者などの認識や、運転操作の意思決定をディープラーニング・モデルで行う自動運転車も開発が進んでいます。 このように、自動運転車には「繋がる」「自律走行」という、従来の自動車にはなかった新たな性質が加わっています。しかし、これと同時に、センサー類やクラウドサービス連携に対する攻撃や、ディープラーニング・モデルに対する攻撃といった、従来の自動車にはなかった新たな攻撃経路も生まれています。 そこで、本連載は「自動運転車・