世界中で爆発的に広がったチャットGPT チャットGPTを開発した米オープンAI社のサム・アルトマンCEO「ChatGPT」の大ブームを受けて、対話型AIを思いどおりに動かすための言語「プロンプト」が注目されている。中には高額報酬を条件に、プロンプトを操る専門家を雇おうとしているIT企業もあるようだ。 一方で、プロンプトを弄してChatGPTを悪用せんとする動きも活発化している。そして、その実態の取材で見えてきたのは、通称「ワームGPT」という悪の対話型AIの誕生だった！ ＊　＊　＊ ■チャットGPTにどう指示する？ 米オープンAI社が開発したAIチャットボット「ChatGPT（チャットGPT）」が爆発的な広がりを見せている。その最新バージョンの「GPT-4」と、GPT-4を搭載した米マイクロソフトの検索エンジン「bing AI」もリリースされた。 ネット上にある膨大なデータを学習したAIが

AI研究団体・OpenAIが発表して話題を呼んだ対話型AI「ChatGPT」は、テキスト自動生成AI・GPT-3の派生形である「GPT-3.5」をファインチューニングした自然言語処理モデルです。チューリッヒ工科大学で機械学習とロボティクスの博士号課程に進んでいるダニエル・デュガス氏が、GPT-3が行っている数学的処理工程について解説しています。 The GPT-3 Architecture, on a Napkin https://dugas.ch/artificial_curiosity/GPT_architecture.html ◆入力／出力 まずGPTの「入力」とは一連のN個の単語のことで、「(入力)トークン」とも呼ばれます。そして、GPTの「出力」とは、入力トークンの最後に配置される可能性が最も高いと推測される単語です。例えば「not all heroes wear(すべてのヒーロ

Learn prompt engineering best practices for application development Discover new ways to use LLMs, including how to build your own custom chatbot In ChatGPT Prompt Engineering for Developers, you will learn how to use a large language model (LLM) to quickly build new and powerful applications.  Using the OpenAI API, you’ll be able to quickly build capabilities that learn to innovate and create val

毎日使いたいほど気持ちがいい!「ストレッチポールに寝転ぶだけ」で呼吸の浅さや疲れやすさが改善【今日のライフハックツール】

昨年末から急激に話題を呼んだChatGPT、その内部的なバージョンアップであるGPT-3.5とGPT-4はいずれもMicrosoftから強力な支援を受けた米OpenAIという企業が独占的に提供する大規模言語モデル（LLM）だ。 それに呼応するかのように、Meta社からはLLaMA（ラマ）がリリースされ、LLaMAをChatGPTとの1万3千回の会話データで微調整したAlpaca（アルパカ）、AlpacaをShareGPT（GPTとの会話を有志がオープンにしたもの）のデータで微調整したVicuna（ビクーニャ）といった派生モデルが次々と登場した。 しかし、LLaMAはMeta社の意向により「アカデミック用途限定」という縛りがある。またGPTの出力にはOpenAIの利用規定で「GPTの出力結果を元にGPTに対抗できる強力なAIを作ってはいけない」という制約があるため、AlpacaもVicuna

表1. 介入割当方法3種類とそれらが用いる被推定量，介入の選択方法 OPは，アウトカムの平均を予測し，それが最大となる介入を選択します． CPは，介入効果を予測し，それが最大となる介入を選択します． APは，介入効果が最大となる選択自体を学習します． CPとAPの違いが少し分かりづらいかもしれませんが，クラス分類において，クラスに属する確率を予測する（これがCP）か属するクラス自体を予測するか（これがAP）の違いと考えると分かりやすいかもしれません． 3つの方法はいずれも理想的な条件（データが十分多く，機械学習モデルのパラメータ推定量が一致推定量）を満たせば漸近的に最適な割当を得ることができることが示されているそうです[1]. しかし，実問題においては，得られるデータ数は有限であるためこれら3つの方法に違いが生じます． その1つとして，「OP・CPは予測性能が介入割当の性能と必ずしも一致し

ブログ「読書猿 Classic: between/beyond readers」主宰。「読書猿」を名乗っているが、幼い頃から読書が大の苦手で、本を読んでも集中が切れるまでに20分かからず、1冊を読み終えるのに5年くらいかかっていた。 自分自身の苦手克服と学びの共有を兼ねて、1997年からインターネットでの発信（メルマガ）を開始。2008年にブログ「読書猿Classic」を開設。ギリシア時代の古典から最新の論文、個人のTwitterの投稿まで、先人たちが残してきたありとあらゆる知を「独学者の道具箱」「語学の道具箱」「探しものの道具箱」などカテゴリごとにまとめ、独自の視点で紹介し、人気を博す。現在も昼間はいち組織人として働きながら、朝夕の通勤時間と土日を利用して独学に励んでいる。 『アイデア大全』『問題解決大全』（共にフォレスト出版）はロングセラーとなっており、主婦から学生、学者まで幅広い層か

サマリー：創造的でオリジナルのアウトプットを生成できる「ジェネレーティブAI」の活用が進んでいる。本稿は、ジェネレーティブAIのビジネス用途について、事例を挙げながら、その可能性を示す。ジェネレーティブAIが生成する...　もっと見るコンテンツは、所有権と知的財産の保護に影響を及ぼすことが間違いないとする一方、知識労働とクリエイティブな仕事に革命をもたらす可能性も高い。　閉じる AIがコンテンツ制作を一変する 創造的でオリジナルのアウトプットを生成できる「ジェネレーティブAI」や、基盤モデルとも呼ばれる、大規模な言語・画像AIモデルは、コンテンツの制作を行う企業とプロフェッショナルに新たな機会をもたらしている。それらの機会の一部には以下が含まれる。 1. 自動コンテンツ生成：大規模な言語・画像AIモデルを用いて、記事やブログ投稿、ソーシャルメディア投稿などのコンテンツを自動的に生成すること

はじめまして@vimmodeです。普段はMNTSQというリーガルテックの会社で自然言語処理をしています。今回はBERTとBERTまでの流れを簡単に紹介します。 自然言語処理で今やデファクトスタンダードとなりつつであるBERT。登場当時はモデルの複雑さに伴う計算環境や計算リソースの確保が難しく気軽に動かせなかったが、ColabやKaggleカーネル環境が整備されたきたおかげで誰でも気軽に使えるようになりました。 また、haggingface社が公開したBERTと関連モデルのラッパーライブラリであるtransformersによりわずか10行程度でBERTモデルを記述できます。 一方、自然言語処理を始めて間もない段階でいきなりBERTを突きつけられても理解の壁が高いと思いますので、今回は数式やコードを使わずにBERTに至るまでの流れを簡単に紹介したいと思います。 ※これらはあくまで私の理解であり

オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 2018年10月に登場して、自然言語処理でもとうとう人間を超える精度を叩き出した ことで大きな話題となったBERT。それ以降、XLNetやALBERT、DistillBERTなどBERTをベースにしたモデルが次々と登場してはSoTAを更新し続けています。その結果、GLUEベンチマークでは人間の能力が12位(2020年5月4日時点)に位置しています。BERTは登場してまだ1年半程度であるにもかかわらず、被引用数は2020年5月4日現在で4809 にも及びます。驚異的です。この記事ではそんなBERTの論文を徹底的に解説していきたいと思います。BERTの理解にはTransformer[Vaswani, A.

こんにちは。Turing株式会社の機械学習チームでインターンをしている九州大学修士1年の岩政(@colum2131)です。 Turingは完全自動運転EVの開発をするスタートアップです。 自動運転技術において、カメラやセンサ情報は正確な制御をする上で不可欠な要素である一方、自然言語やマルチモーダルな処理が必要となる状況もしばしば存在します。特に完全自動運転車においては、音声認識によってドライバーの音声命令を認識し、リアルタイムで適切な制御を行うことや、複雑な交通状況の背景にあるコンテクストを理解させるといった要求が出てきます。そのために、「基盤モデル」と呼ばれるような、自然言語処理を含む大規模モデルの学習が必要になってくると、私たちは考えています。 そこで本記事では、言語モデルの発展の流れとTuringが目指す基盤モデルの開発について紹介します！ 1. 言語モデルとは？ 近年の言語処理モデ

ChatGPTにとって日本は”機械学習パラダイス”なのか ～LLM（大規模言語モデル）にとっての個人情報保護法とGDPR～ ChatGPTを提供する米OpenAI社のCEOが来日したことが話題になっています。 「ChatGPT」CEO来日、個人データ保護「政府に協力」（日本経済新聞・20230411） 上記記事によれば、OpenAIのCEOは「自ら日本に足を運ぶことで、オープンAIへの支持を広げる狙いがあったとみられる」「日本に拠点を設ける考えも示唆した」とあり、OpenAIは日本を市場として重視しようとしていることが伺われます。 OpenAIにとって、なぜ日本の市場は魅力的なのでしょうか。その理由のひとつとして、GDPR（欧州一般データ保護規則）をはじめとする主要な海外個人データ保護法制よりも、日本の個人情報保護法が機械学習にとって対応しやすいことが挙げられます。 実は日本における著作権

既に記事タイトルが雄弁に物語っていますが、「マーケティング分野におけるデータ分析でいかにして成果を挙げるか」というのはある意味永遠の課題であると言えると思います。誇張でも何でもなく、この地球上の全てのマーケティングに関わるデータ分析組織ではこの課題について毎日議論を戦わせていると言っても過言ではないでしょう。 より具体的に言えば、「マーケティング戦略立案のためにデータ分析を実施しても改善提案がなかなか事業側から採用してもらえない」「マーケティングデータ分析の結果を事業側としてはどこまで信頼して良いのか分からない」という悩みは、それこそ僕がデータサイエンス業界にやってきた10年以上前からそこかしこで聞かれ続けてきたものです。しかし、個人的にはここ5年くらいである程度そこを突破するためのスキームが整備されてきたという感想を持っています。 特に現在僕が働いているチームでは、ここ4年ほどに渡って「

オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 話題爆発中のAI「ChatGPT」の仕組みにせまる！ 注意：ChatGPTはまだ論文が出ていないため、細かい箇所は不明です。本記事では公式から出た記事およびInstructGPTの論文をもとにChatGPTの仕組みを探っていきます 本記事の流れ: 忙しい方へ ChatGPTとは GPT-3 InstructGPT ChatGPT まとめと所感 参考 0. 忙しい方へ ChatGPTは、InstructGPTをベースとしたモデルだよ InstructGPTは、「人間の好みに合った文を出力するように微調整したGPT-3」だよ InstructGPTの学習では、以下の3つが重要だよ GPT-3の教師ありファインチューニング Reward Modelの学習 RLHF（＝Re

株式会社アイレップは、OpenAI社が開発した「ChatGPT」を含む大規模言語モデル(LLM:Large Language Model)を活用し、デジタルマーケティングを効率化・高度化する新たなプラットフォーム「IREP LLMs PLAYGROUND」の運用を開始した。 ChatGPTはOpenAI社によって開発された先進的なLLMで、幅広いタスクをこなし、多くの業界で利活用が進んでいる。 大規模言語モデルを活用した「IREP LLMs PLAYGROUND」 アイレップではChatGPTの公開以前よりLLM活用を進めており、検索連動型広告をAIで改善する「H-AI SEARCH」の広告文自動生成機能などを提供してきた。 ChatGPTの公開以後も、情報の保全を徹底した上でマーケティング領域での活用事例創出に取り組んでいて、より一層LLMの利活用を促進するため、LLMを活用したプラット

発表動画はこちら。 https://youtu.be/l9fpxtz22JU 2023/4/29 一部修正とAPIに関するページ追加 2023/5/11 ChatGPTの言葉の意味を補足する資料を追加。Azure OpenAI Serviceで使えるモデルの記載を一部修正・最新情報追記。 202…