サマリー 我々は、誰でも歴史のあるオフザシェルフのオープンソース大規模言語モデル(LLM)を活用し、高品質トレーニングデータを用いて単体のマシンで30分トレーニングすることで、魔法のようなChatGPTのように指示に従う能力を提供できることを説明します。驚くべきことに、指示への追従には最新かつ最大のモデルは必要ないように見えています: GPT-3の1750億のパラメーターと比較して、我々のモデルは60億のパラメーターです。我々のモデル(Dolly)のコードをオープンソース化し、Databricks上でどのように再作成できるのかを示します。DollyのようなモデルによってLLMの民主化の助けとなって、限られた数社のみが購入できるような何かを、どの企業でも所有し、自身の製品を改善するためにカスタマイズできるようなコモディティになることを信じています。 背景 プロプライエタリの指示追従モデルであ

全３回のシリーズパート２の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 （2.1）各技術の定性的な説明（本記事） （2.2）Transformerのアルゴリズム詳細 （2.3）GPTの能力と可能性について 2.1 各技術の定性的な説明 自然言語の構造を考えてみる まず我々が使う言語についてちょっと振り返るところから話を始めましょう。 文や文章は、おおもとのデータである文字から始まって、単語、文節、句、節、文、文章、さらにその上の意味、という風に階層的な構造を持っていると我々は概念的に認識してますよね。 構文の階層 そして、各階層や階層間には、文法や語法といった言葉のルールがあります。 深層学習はその名の通り、層を深くしたニューラルネットワ

GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク

2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転換点となり得ることは、驚異的なことである。本講演では、ChatGPTがベースにしているInstructGPTを中心に、大規模言語モデルやプロンプト、人間のフィードバックによる強化学習などの技術を概観する。また、ChatGPTのような生成型の人工知能が社会やビジネス、学術にもたらす脅威について述べる。 https://aip.riken.jp/sympo/sympo202303/

本ブログでは、OpenAI社から発表されたチャットサービスであるChatGPTの仕組みを紹介していきます。どのようにChatGPTを使うかといった話ではなく、ChatGPTそのものがどのような枠組みの上で成り立っているのかをざっくりと理解できることが本記事のゴールとなります。

OpenAIのChatGPT、MicrosoftのBing、GoogleのBardなど、言語系のAIサービスが急速に普及し始めました。1ちなみに記事冒頭のアイキャッチ画像は, 会社のロゴ風画像で「GPT」という文字をなんとか表示させようと画像生成AIで1時間悪戦苦闘したが結局、意味不明の文字列しか出てこなかったロゴ」です これらのサービスは、いずれも大規模言語モデル（Large Language Models; LLMs)をベースにしているという共通点があり、社会や産業に極めて大きなインパクトを与えると予想されています。 そこで、このような大規模言語モデル（LLM）に関連するビジネスを展開する際に留意すべき法規制・知的財産権・契約について、何回かに分けてまとめてみようと思います。 今回は、まずは総論部分として「大規模言語モデル（LLM）に関連するビジネス3つの領域」と「それぞれの領域におい

はじめに OpenAI API (ChatGPT含む) のプロンプトエンジニアリングのベストプラクティスが公式から出ているのを知り、和訳しながら読んでいきたいと思います！ プロンプトエンジニアリング8箇条 (忙しい人向け) 最新のモデルを使用する 指示をプロンプトの最初に配置し、###または"""で指示と文脈を分ける 望む文脈、結果、長さ、形式、スタイルなどについて具体的で詳細に記述する 例を使って望む出力形式を明示する ゼロショットから始め、効果がなければファインチューニングを行う 曖昧で不正確な表現を減らす やってほしくないことだけでなく、代わりにやってほしいことも記述する コード生成には、特定のパターンに誘導する「leading words」を使用する How prompt engineering works (プロンプトエンジニアリングの仕組み) インストラクション・フォロー・モデ

OpenAIが開発した対話型AIのChatGPTには、「インターネット上の最新情報を収集する」といった機能を追加できるプラグインシステム「ChatGPT plugins」が用意されています。ハッカーのrez0(@rez0__)氏が、ChatGPTのAPIをハッキングすることで公開されていない80以上の「秘密のプラグイン」を発見したと報告しました。 Hacker Uncovers Secret ChatGPT Plugins in OpenAI API | Deepleaps https://deepleaps.com/news/hacker-uncovers-secret-chatgpt-plugins-in-openai-api/ ChatGPTは膨大な量のテキストを基にトレーニングして構築された対話型AIであり、さまざまなプラグインを使用して能力を拡張することが可能です。たとえば、トレ

高精度なチャットAI「ChatGPT」は、2022年11月30日に発表されて以降、その性能の高さから大きな注目を集め、2023年2月時点で月間アクティブユーザー数が1億人に到達したことが報告されています。そんなChatGPTを開発したAI研究団体・OpenAIをイーロン・マスク氏が2018年に買収しようとしていたことが明らかになりました。 The secret history of Elon Musk, Sam Altman, and OpenAI | Semafor https://www.semafor.com/article/03/24/2023/the-secret-history-of-elon-musk-sam-altman-and-openai Elon Musk reportedly tried and failed to take over OpenAI in 2018

【速報】Stability AIはClipdropの新機能『Stable Diffusion Reimagine』を発表しました。 Stability AIは、 Stable Diffusion Reimagineを開始することを発表します！Stable Diffusion を通して、ユーザーが画像を試し、デザインを「再想像」するよう呼びかけます。 Stable Diffusion Reimagineは、新しい クリップドロップツール1つの画像から複数のバリエーションを無制限に生成できるようにしたものです。複雑なプロンプトは必要ありません。ユーザーは、アルゴリズムに画像をアップロードするだけで、好きなだけバリエーションを作成することができます。 下の例では、左上の画像がツールに投入されたオリジナルファイルで、その他の画像はオリジナルからインスピレーションを得た「再構築」された作品です。 寝

海外掲示板・Redditのユーザーのひとりであるスターン・サファリさんが、「Midjourney(画像生成AI)を通じ、一晩で仕事を好きになったきっかけをすべて失いました」と報告しています。 I lost everything that made me love my job through Midjourney over night. : blender https://old.reddit.com/r/blender/comments/121lhfq/i_lost_everything_that_made_me_love_my_job/ サファリさんは社員10人の小さなゲーム会社で、わずか2人のアートチームの3Dアーティストとして雇用されています。業務内容は「3Dモデルを作成し、モデルをレンダリングし、ゲームエンジン用の2Dスプライトを取得する」というもの。サファリさんの働くゲーム会社

メルカリは3月28日までに、大規模言語モデル（LLM）と生成型AI専任チームを設立することを明らかにした。チームの規模や目的など詳細は非公開だが「量的にも質的にもさまざまなデータを持つメルカリだからこそできるアクションを取る」という。 メルカリ傘下で新規事業の企画・開発・運営を担うソウゾウの石川佑樹CEOがTwitterで明らかにした。LLMを利用しているエンジニアやデザイナーからの反応や、他社との事業連携の話も待っているという。 メルカリの広報担当者は同チームについて「具体的な実装先、実装予定など現時点で決まっていることはないが、生成AI・LLM技術の活用を様々な面から検討している」と話すにとどめた。 関連記事 メルカリの出品データ、研究者向けに無償提供　国立情報学研究所と連携 メルカリの研究開発組織であるmercari R4Dと国立情報学研究所（NII）は大学などの公的な研究機関向けに