GPT-3.5ベースのChatGPTのコーディング能力は「古い問題には有効も新しい問題では困難に直面する」ことが明らかに
GoogleやMistral AIなどからプログラミングに特化したAIツールが登場しており、大手テクノロジー企業のCEOが「AIがコードを書くのでもうプログラミングを学ぶ必要はない」と発言するなど、AIによるプログラミングは注目を集めています。そんなAIによるプログラミング能力を分析した研究が公開されており、AIモデルがトレーニングされたタイミングによっては困難に直面することがあることが判明しました。 No Need to Lift a Finger Anymore? Assessing the Quality of Code Generation by ChatGPT | IEEE Journals & Magazine | IEEE Xplore https://ieeexplore.ieee.org/document/10507163 ChatGPT Code: Is the AI
Whisper + GPT-3 で会議音声からの議事録書き出し&サマリ自動生成をやってみる！ - Qiita
こんにちは！逆瀬川 (https://twitter.com/gyakuse)です！ 今日は議事録の音声からの書き出しとサマリの自動生成を行います。 概要 会議音声(wavとかmp3ファイル)からWhisperを用いて書き出しを行い、GPT-3.5でサマリを自動生成します。 会議音声としていますが、べつにどんな音声でも大丈夫です。 Colab whisper.cpp版(処理に動画秒数×10倍程度の時間がかかりますがGPU不要です) whisper.fp16版(処理は動画秒数/4程度の時間で済みますがGPU必須です) 使い方 OpenAIのAPIキーを貼り付け ランタイム > すべてのセルを実行から実行し、最初の処理の下に出てくるファイル選択で録音ファイルを選択します ひたすら待ちます 実装 Whisperの軽量化 Whisperの軽量化としては、cpp実装のwhisper.cppがあります
Top > 学術＆研究 > GPT-3.5の100分の1以下のモデルサイズでより高いプログラミング処理能力持つ「phi-1」Microsoftが開発
「GPT-3」は人間と遜色ない文章を生み出し、人間との自然な対話も可能な文章生成AIです。文章作成やコーディングの支援に使われるGPT-3ですが、ソフトウェアエンジニアのマット・ビリュー氏はこれをメール返信時の定型文作成に用い、見事返信の自動化に成功しました。 Responding to recruiter emails with GPT-3 | Matt’s programming blog https://matthewbilyeu.com/blog/2022-09-01/responding-to-recruiter-emails-with-gpt-3 ビリュー氏の下には企業からの求人メールが頻繁に届くそうですが、特に求職中というわけではないビリュー氏はメールの内容にはあまり興味がないそうです。しかし、放っておくと何度もメールを送ってくる企業もあるので、ビリュー氏は逐次確認して返信し
GPT-3などの大規模言語モデルを処理するには高い計算量とメモリが必要なため、通常は複数のハイエンドなAIアクセラレーターが求められます。この処理を、メモリ16GBのNVIDIA Tesla T4やメモリ24GBのNVIDIA GeForce RTX 3090など、メモリ容量が限られたGPU単体でも実行するための生成エンジン「FlexGen」が公開されました。 GitHub - Ying1123/FlexGen: Running large language models like OPT-175B/GPT-3 on a single GPU. Up to 100x faster than other offloading systems. https://github.com/Ying1123/FlexGen#readme FlexGenは大規模言語モデルの推論リソース要件を単一のGPU
マイクロソフト、GPT-3.5やDALL・E 2のAIモデルを含む「Azure OpenAI Service」正式に提供開始。まもなくAzure上で学習させたChatGPTなども実行可能に
マイクロソフト、GPT-3.5やDALL・E 2のAIモデルを含む「Azure OpenAI Service」正式に提供開始。まもなくAzure上で学習させたChatGPTなども実行可能に マイクロソフトは、同社のクラウドサービスMicrosoft Azure上でOpenAIによるAIモデルを基にしたサービス「Azure OpenAI Service」の正式な提供開始を発表しました。これまではLimited Accessとして限られたユーザーのみ利用可能でした。 Azure OpenAI ServiceのAIモデルには、自然言語による高度な対話などを実現するGPT-3.5、自然言語からプログラムコードを生成するCodex、テキストから画像を生成するDALL・E 2などが含まれています。 Just in—new AI models on Azure OpenAI Service empowe
まだChatGPTのAPIでGPT-3.5 Turbo使ってるの？すぐにGPT-4o miniに置換しよう！ - Qiita
まだChatGPTのAPIでGPT-3.5 Turbo使ってるの？すぐにGPT-4o miniに置換しよう！APIOpenAI生成AIChatGPTGPT-4o-mini ChatGPTのAPIを使ってチャットボットを作ったり、アプリにChatGPTを導入している人も多いと思います。 ChatGPTのAPIが2023年3月に登場して1年、気づけばGPT-3.5 Turboは時代遅れとなりつつあります。 ChatGPTのAPI利用している場合はすぐにでもGPT-4o miniに乗り換えましょう。 GPT-4o miniは激安の生成AI 7月18日に登場したGPT-4o miniは生成AI界隈で大きな注目を集めています。 OpenAIはChatGPTを発表後、GPT-4やGPT-4oなど性能面でのアップデートを主に図ってきました。 そんな中、GPT-4o miniはコスト面を改良した激安AIモ
あまりに高精度なテキストを生成できるということで話題になった「GPT-3」のような最新の言語モデルは、言語処理能力を向上させる過程で自然に他者の心を推察する能力を獲得していたとする研究論文が発表されました。 [2302.02083] Theory of Mind May Have Spontaneously Emerged in Large Language Models https://arxiv.org/abs/2302.02083 Theory of Mind May Have Spontaneously Emerged in Large Language Models (PDFファイル)https://arxiv.org/ftp/arxiv/papers/2302/2302.02083.pdf ヒトが他者の心の状態、目的、意図、知識、信念、志向、疑念などを推測する心の機能を「心の理
人間と見分けがつかないほど自然な文章を書けるAI「GPT-3」の改良版AI「InstructGPT」一般公開、詩も執筆可能
文章生成AI「GPT-3」はオンライン掲示板で人間とバレずに1週間会話できるほど違和感の少ない文章を生成できることで知られており、Microsoftのプラットフォームに採用されるなど大きな注目を集めています。一方でGPT-3には反イスラム教的なバイアスが存在することが指摘されるなど、生成される文章に偏りがあることも分かっています。そんなGPT-3の学習モデルを改良して偏りを抑えつつ文章生成精度も向上させた文章生成AI「InstructGPT」の一般提供が2022年1月27日に始まりました。 Aligning Language Models to Follow Instructions https://openai.com/blog/instruction-following/ OpenAI launches new GPT-3 model despite continued toxic t
非常に高精度の文章を作れる言語モデル「GPT-3」は、OpenAIが開発したものの、オープンソースでもオープンアクセスでもなく、さらにMicrosoftと独占的ライセンス契約を締結しているので、自由に使うことはできません。こうした状況に対して「オープンソースのGPT-3」を作ろうとする動きがあります。その中の1つが「GPT-Neo」です。 EleutherAI - GPT-Neo https://www.eleuther.ai/gpt-neo AI Weekly: Meet the people trying to replicate and open-source OpenAI's GPT-3 | VentureBeat https://venturebeat.com/2021/01/15/ai-weekly-meet-the-people-trying-to-replicate-and
OpenAI社が2023年3月1日に公開した「ChatGPT API」についての初心者向け記事です。 VisualStudio CodeとGoogle Apps ScriptでChatGPT(gpt-3.5-turbo)をより安全快適に使いましょう。 GASはともかくスプレッドシートでGPTを関数化すると、ものすごい勢いでトークンを失う＆安定に動かない問題を解決しています。 「gpt-3.5-turbo」そもそも何が嬉しいの？ 公式資料 まず何といってもモデルの使用料金がインパクトあります。 ChatGPTモデルファミリー「gpt-3.5-turbo」は、ChatGPT製品で使用しているものと同じモデルであり、既存の「GPT-3.5」よりもGPT-3.5モデルより10倍安く、価格は1,000トークンあたり0.002ドルです。 また、チャット以外の多くのユースケースに最適なモデルです。プロン
革命かパンドラの箱か、新AIツールGPT-3の波紋
革命かパンドラの箱か、新AIツールGPT-3の波紋：星暁雄「21世紀のイノベーションのジレンマ」（1/5 ページ） 米シリコンバレーのテクノロジー好きな人々の間で、ひとつの新技術が大きな反響を呼び起こしている。米サンフランシスコに本拠を置くAI（人工知能）開発の非営利組織OpenAIが開発した最新AIツール「GPT-3」だ。 OpenAIが2020年6月にGPT-3をインターネット経由で利用できるインタフェース（API）を限定公開したところ、試した人々は想像を越える応用範囲の広さに驚いた。そこからソーシャルメディア経由で話題が広がり、より大勢の人々に刺激を与える形となった。 GPT-3は、英単語や短い文章をインプットすると、関連する「それらしい」テキストを自動生成するツールだ。文章だけでなく、プログラムコードや楽譜を自動的に生成するデモンストレーションも登場した。 プログラムを自動生成でき
概要 背景・目的 関連研究 提案手法 実験 終わりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 ファッションの分野ではトレンドの変化とそれに伴う属性情報の変動に対応するため、画像分類AIモデルを頻繁にアップデートする必要性がある。 しかし、既存の画像分類AIモデルのアップデートには、労力と時間が掛かる。 様々なタスクの遂行能力が高いGPT-3.5に画像処理能力を付与し、画像分類タスクに挑戦した。 既存の研究（ex. HuggingGPT）と違って、GPT-3.5自体が画像分類の推論を行う点がユニークである。 実験からは有望な結果が得られた。 今後の性能向上はプロンプトを工夫するなど、比較的簡単な方法で達成できる可能性がある。 背景・目的 ファッションの業界は、トレンドの変化が早く、新しいスタイルが次々と提案されます。それに伴い、スタイルに付随する属性情報も常
メタ（旧フェイスブック）AIラボは、自社開発した大規模言語モデル「OPT」を研究者向けに無償で提供を開始した。オープンAIの「GPT-3」と同じパラメーター数を持つ。同モデルの構築方法や訓練方法の詳細も公開しており、巨大テック企業の取り組みとしては異例だ。 by Will Douglas Heaven2022.05.09 56 11 メタ（旧フェイスブック）AIラボは、オープンAI（OpenAI）の先駆的なニューラル・ネットワーク「GPT-3」の驚くべき能力と有害な欠陥の両方を継承する新しい大規模言語モデル「OPT（Open Pretrained Transformer）」を作成し、研究者向けに提供を開始した。同モデルの構築方法や訓練方法の詳細も公開する。巨大テック企業の取り組みとしては異例のことだ。 「自社の研究を他者が精査できることは、研究にとって重要なことだと強く思っています。他の研
GPT-3.5世代のオープンな言語モデルを調べてみました。 本稿では以下の特徴をもって「GPT-3.5世代」の言語モデルと定義しました。 ChatGPT等（text-davinci-003、gpt-3.5-turbo）の登場した2022年11月以降に登場 GPT-3と同様にテキスト生成ができる言語モデル GPT-3（text-davinci-003等）を主なベンチマークにしたり、学習に利用したりしている 「オープンな言語モデル」としていますが、本稿では以下いずれかを満たしていればオープンな言語モデルとします。一般的なオープンソース・ソフトウェアの定義等とは少し異なります。 学習済モデルが公開されている 学習データと学習用ソースコードが公開されており、学習済モデルの再現が可能である GPT-3.5世代のオープンな言語モデルの特徴 本稿で紹介するGPT-3.5世代のモデルには、以下のような特徴
法律は言語の使用に大きく依存する分野だ。法令や規制、契約、特許、司法判断などの文書を継続的に作成し、膨大な量のテキストデータを生成している。 他方で、OpenAIのGPT（Generative Pre-trained Transformer）などの登場により大規模言語モデル（LLM）が注目されてきた。最近ではGPT-3.5と呼ばれる「text-davinci-003」モデルが開発されており、GPT-3.5シリーズのモデルを微調整したテキスト対話モデル「ChatGPT」が登場し、一部で話題となった。 法律用語の複雑な性質とGPT-3.5の一般的なタスクパフォーマンスに関する学習を考えると、GPT-3.5のような最先端のLLMが、法律タスクに成功できるかどうかは未知の問題である。 この問題を評価するために研究チームは、NCBE（National Conference of Bar Examin
OpenAI GPT-3 APIの使い方を解説
アカウントが作成できたらログインします。 そして、Anaconda Promptなどからpipでopenaiというライブラリをインストールします。 pip install openai Google Colaboratoryでも大丈夫です。 Google Colaboratoryであれば !pip install openai ですね。 そして、以下のモジュールをインポートします。 import os import openai API keyを設定します。 API keyはログインしたあと右上の"Personal"から"View API keys"をクリックすることで確認することができます。 そのAPIを以下のようにopenai.api_keyに設定します。 API_KEY = "受け取ったAPI key" openai.api_key = API_KEY これで前準備ができました。 文
超高精度な言語モデル「GPT-3」などを開発した研究機関のOpenAIが、プロセスの改善によりGPT-3のウェイトリストを削除し、誰でもAPIを利用可能にしたと発表しました。 OpenAI’s API Now Available with No Waitlist https://openai.com/blog/api-no-waitlist/ OpenAIはテスラの創業者であるイーロン・マスク氏らの手により設立された人工知能(AI)研究企業です。これまでに画像認識AIの「CLIP」や言語モデルのGPT-3の開発を行ってきたほか、GitHubでソースコードの続きを自動補完する「GitHub Copilot」の開発に協力するなどの実績を残してきました。このうち、OpenAIはGPT-3を用いたAPIの利用にウェイトリストを設け、使用者数に制限をかけていました。 OpenAIが超高精度な言語モデ
無限にしゃべる「AIひろゆき」爆誕 本人っぽい声で年中無休YouTubeライブ GPT-3活用で質問にもそれっぽく回答
AI音声合成サービスを提供するCoeFont（東京都港区）は3月14日、匿名掲示板「2ちゃんねる」の開設者・西村博之（ひろゆき）さんのようなコメントを、ひろゆきさんのような声で発し続けるAIを開発したと発表した。YouTube上で24時間365日質問に答え続けられるという。まずは16日午後6時から6時間、専用のチャンネルでテスト配信する。 米OpenAIの「ChatGPT」にもマイナーチェンジ版が搭載されている自然言語モデル「GPT-3」を活用した。ひろゆきさんがしゃべりそうなことを教えたAIでテキストを生成。CoeFontが開発した、ひろゆきさんの声を再現した音声合成AIで読み上げる仕組み。 YouTubeのライブ配信では、コメントでの質問に応じてテキストを生成し、それを読み上げる。配信画面には、AI画像生成技術を使って作成したひろゆきさんの画像を使用。読み上げの内容に応じた画像を用意し
クラウドコンピューティング事業「Microsoft Azure」を展開するMicrosoftが、人工知能(AI)開発団体・OpenAIとの継続的なパートナーシップを拡大し、超高精度な文章生成AI「GPT-3」の独占的ライセンスを取得したことを2020年9月22日に発表しました。 Microsoft teams up with OpenAI to exclusively license GPT-3 language model - The Official Microsoft Blog https://blogs.microsoft.com/blog/2020/09/22/microsoft-teams-up-with-openai-to-exclusively-license-gpt-3-language-model/ Microsoft gets exclusive license fo
認知心理学の観点からみたGPT3の振る舞いとロボット技術・Labratory Automation - 電通総研 テックブログ
XI本部 オープンイノベーションラボの飯田です。 最近、ChatGPTをはじめとした生成AIが注目されています。 その中で、Gigazineのニュースで以下の話を目にしました。 gigazine.net 上記の記事に感化され、心理学でChatGPTのようなものが、どのように扱われているのかを調べています（私は大学で心理学専攻だったこともあり）。その中で、心理学系論文のプレプリントが掲載されている PsyArXivで、GPT-3の振る舞いを認知心理学の観点で分析した論文を見つけました。 生成系の振る舞いを理解する上でも参考になりそうだし、ISIDでも取り組んでいるロボット技術やLabratory Automationとの接合点を見つけた気がしましたので、ISIDでの取り組みを紹介しつつ、妄想したいと思います。 Binz, M., & Schulz, E. (2022, June 21). U
ついに解放された最強自然言語AI、GPT-3を味見する。 2021.04.22 Updated by Ryo Shimizu on April 22, 2021, 14:34 pm JST 恐るべき巧みなマーケティングにより、前評判は世界最強と名高いGPT-3のオープンベータテストのアカウントがついに筆者にも解放されたので試してみた結果をここで共有したい。 ただし、GPT-3の利用にあたってはかなり厳しい利用規約があるので、それを踏まえて記事を執筆したい。 パッとみたところ、GPT-3のAPIの利用方法は非常に簡単だ。 わずか数行で試せてしまう。 サンプルも、単純なチャットものから、要約、翻訳、映画のタイトルから絵文字を出力するなんていうものまである。 スタートレックとスターウォーズが完全に同じものになってしまうのはなんだか釈然としない。 こんなふうに、ブラウザだけでGPT-3の成果を確か
当初公開したタイトルに誤りがありました。本ブログはChatGPTではなく2022年初頭にトレーニングを終えたGPT-3.5シリーズのモデルをAPIとして実行したものになります。ChatGPTのAPIがAPIで実行できるようになり次第ブログを更新したいと思います。※ChatGPTはGPT-3.5シリーズのモデルをベースに微調整を加えたもの 各所で盛り上がっている ChatGPT を 使い慣れた LINE から使えるようにしてみました。 簡単なやり取りであればコードを書く必要すらないのでノーコードツール（Make）を使って実現してみます。 今回の成果物はこちら(15 分程度で作成することができます) ChatGPT とは 作り方の説明に入る前にまず簡単に ChatGPT とは何かについてChatGPTに聞いてみます。 だそうです。 少しだけ補足すると ChatGPT はOpenAIが開発した言
米AI研究企業のOpenAIは11月19日（現地時間）、大規模自然言語処理モデル「GPT-3」のAPIを利用する際の人数制限を撤廃し、誰でもすぐに利用できるようにしたと発表した。 ガイドラインを更新し、ヘイトスピーチやアダルトコンテンツについては使用を禁止。コンテンツフィルターなど安全装置を設けた上で人数制限を撤廃した。 同社は「何万人もの開発者が、GPT-3を通じてさまざまなAIモデルを活用している。APIへのアクセスを開放することで、より多くの開発者が有用なアプリや未解決な問題に、AIを使った創造的な方法を見つけられると信じている」としている。 GPT-3は、イーロン・マスク氏が共同会長を務める非営利のAI研究企業であるOpenAIが開発した大規模自然言語処理モデル。文章の次の言葉を予測する訓練を重ねており、少ない学習量で人間が書いたような文章を生成できる。関数名やコメントからコードを
「GPT-3は我々の『書く』ということを変える力を秘めている」と考えた大学生が、実証用にGPT-3に記事を作らせたブログを開設したところ、2週間で2万6000人が訪れ、ソーシャルニュースサイト・Hacker Newsで一時的に1位になったそうです。これだけ多数の目に触れてなお、「GPT-3によるものではないか」と疑いをかけた人はわずかだったとのこと。 My GPT-3 Blog Got 26 Thousand Visitors in 2 Weeks - Excavations https://liamp.substack.com/p/my-gpt-3-blog-got-26-thousand-visitors 2020年7月に技術者のマヌエル・アラオス氏が、GPT-3に関するブログ記事を公開して大きな話題となりました。 「GPT-3はビットコイン以来の破壊的な可能性を秘めている」というブロ
こんにちは、Choimirai School のサンミンです。 【主要なアップデート】 （2020.07.22）グーグルシート用の関数、gpt3() を追加 （2020.07.22）Repl.it のコード仕様説明ツールを追加 （2020.07.20）ReactでTODOリストのアプリを生成する動画を追加 0 はじめに2020年5月28日に発表された、GPT-3。 GPT-3: Language Models are Few-Shot Learners, by @notTomBrown et al. “We train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its
なお、評価に使ったコードはこちらの eval_xxx というコードである。 https://github.com/hotchpotch/youri-7b-stf-qa-context-jaqket/ Supervised Fine-tuning Trainer(SFT) を使った学習 STFは手軽な方法で指示に対して特定フォーマットの出力(Instruction Tuning)を学習させることができる方法である。学習のさせ方も簡単で、例えば ### 指示: 今日の天気は何ですか？ ### 入力: 本日は大雨ですね。 ### 応答: 大雨 のような例文を用意する。例では「### 応答:」以降がうまく出力されるように学習して欲しいデータである。この時、例文と「### 応答:」だけ与えれば、よしなに学習してくれる。実際の学習時には、「応答:」以降を推論し、望ましい回答である「大雪」のtokenの
GitHub - Yue-Yang/ChatGPT-Siri: Shortcuts for Siri using ChatGPT API gpt-3.5-turbo & gpt-4 model, supports continuous conversations, configure the API key & save chat records. 由 ChatGPT API gpt-3.5-turbo & gpt-4 模型驱动的智能 Siri，支持连续对话，配置API key，配置系统prompt，保存
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
OpenAI/GPT-3のプロンプトプログラミングとは何か?実際にやってみる 2021.04.27 Updated by Ryo Shimizu on April 27, 2021, 08:05 am JST GPT-3は、イーロン・マスクやMicrosoftらが支援するOpenAIという組織によって公開された世界最高峰の自然言語AIと言われている。 膨大なパラメータを持ち、インターネット上のありとあらゆる文字情報を学習したもので、あまりに自然な文章が作れてしまうので一般公開が制限されるという、いわく付きのAIだ。 GPT-3を利用したアプリケーションには「プロンプトプログラミング」という手法が使われている。 これを使えば、欲しいプログラムが簡単に書けるのである。 これは非常に画期的なパラダイム(考え方)で、「プログラミング」という概念を大きく広げるものだと言える。 そこで「プログラミング
©Microsoft 「この言語モデルは危険すぎる」「新たなブレイクスルーだ」など多くの議論を生み、一躍注目された「OpenAI」が開発した言語モデル「GPT-3」の独占的ライセンスを、米Microsoftが取得した。 MicrosoftとOpenAIのコラボレーションに期待が高まるMicrosoftが2020年9月22日、OpenAIとの継続的なパートナーシップを拡大し、文章自動生成AI「GTP-3」の独占的ライセンスを取得したことを公式ブログで明らかにした。 MicrosoftのEVPであるケビン・スコット氏は公式ブログの中で、「GPT-3モデルによって解き放たれる商業的、創造的な可能性の範囲は非常に広く、本当に斬新な能力を持っています。文章生成のような分野で人間の創造性や創意工夫を直接支援したり、（コードを含む）長文データの大きなブロックを要約して記述したり、自然言語を別の言語に変換
「無料でGPT-3に匹敵する自然言語処理モデルを利用したい」 「Googleが公開している自然言語処理モデルを試したい」 このような場合には、Flan-T5がオススメです。 この記事では、Flan-T5について解説しています。 本記事の内容 Flan-T5とは？Flan-T5のシステム要件Flan-T5の動作確認 それでは、上記に沿って解説していきます。 Flan-T5とは？ Flan-T5を知るには、FLANとT5について知っておく必要があります。 FLANとは、FinetunedLAnguage Netの略称です。 FLANを取り入れることで、ゼロショット学習の効果が向上します。 ゼロショット学習により、未知のことに対応できやすくなります。 つまり、FLANによってモデルの精度が上がるということです。 T5とは、Googleが発表した自然言語処理モデルになります。 Googleは、T5
MetaのAI研究組織であるMeta AI Researchが、大規模言語モデル「LLaMA(Large Language Model Meta AI)」を2023年2月24日に発表しました。Meta AI Researchによれば、LLaMAはOpenAIのGPT-3よりもパラメーター数がずっと小さく、単体GPUでも動作可能でありながら、ベンチマークテストの一部ではGPT-3を上回ったとのことです。 LLaMA: Open and Efficient Foundation Language Models - Meta Research https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/ Meta unveils a new large languag
1. 概要 近年、ディープラーニングの自然言語処理分野の研究が盛んに行われており、その技術を利用したサービスは多様なものがあります。 当社も昨年2020年にINTELLILINK バックオフィスNLPという自然言語処理技術を利用したソリューションを発表しました。INTELLILINK バックオフィスNLPは、最新の自然言語処理技術「BERT」を用いて、少ない学習データでも高精度の文書理解が可能です。また、文書の知識を半自動化する「知識グラフ」を活用することで人と同じように文章の関係性や意図を理解することができます。INTELLILINK バックオフィスNLPを利用することで、バックオフィス業務に必要となる「文書分類」「知識抽出」「機械読解」「文書生成」「自動要約」などさまざまな言語理解が可能な各種AI機能を備えており、幅広いバックオフィス業務の効率化を実現することが可能です※1。 図：IN
米AI研究企業OpenAIは1月27日（現地時間）、自然言語モデル「GPT-3」よりも「ユーザーの意図に従い、より加害性の低い」言語モデル「InstructGPT」をAPIのデフォルト言語モデルとし、提供を開始したと発表した。 GPT-3はインターネット上のデータで学習した文章生成のための言語モデル。かなり自然な文章を生成できることで話題を呼んだ。だが、学習に使うネット上のデータには人種差別的なものや暴力的なものもあるため、一般に望ましくない結果が生成されてしまうこともある。 InstructGPTはそうした問題を解消する目的で改良したGPT。過去1年間のβテストでは、GPT-3と比較して人間の誤った答えを模倣してしまうことが少なく、加害性も低くなっているという。また、人間による評価を行ったところ、InstructGPTの方が幻覚のような創作をする頻度が少なく、より適切な出力が生成されたこ
note社は2月8日、AIを活用した創作支援機能「note AIアシスタント（β）」を近日公開すると発表した。書きたい記事のテーマを入力すると、記事の構成案を提示する機能で、個人・法人問わず有料会員に提供する予定。 米OpenAIの自然言語AI「GPT-3」を採用。例えば、AIアシスタントに記事テーマとして「AIを使ってnoteを書く方法」と入力すると、「AIを使ってnoteを掛けることをご存じですか？」「noteではエディタ画面からAIを使えます」「AIで書いてみた文章を紹介します」といった見だしを生成する。 8日から28日にかけて先行体験ユーザーを募集。体験者の反応を踏まえて、今後の開発、拡張、展開方針を検討するとしている。 関連記事 note深津CXOが「ChatGPT」の使い方解説 2月9日にイベント配信 noteが2月9日にAIチャットbot「ChatGPT」の使い方を解説するオ
GPT-3生成のブログ、ハッカーニュースで1位に
カルフォルニア大学バークリー校の学部生Liam Porrが言語生成AIツール「GPT-3」を使って偽のブログ記事を作成したところ、ハッカーニュースで1位になったとMIT Technology Reviewが報じた。Porrは、GPT-3によって生成されたコンテンツが人間によって書かれたものと信じ込ませることができることを実証した。彼は「実際、超簡単だった、それが怖いところだった」と語っている。 彼のブログが完全にAIが生成したものだと気づいた人はほとんどいなかった。何人かは「購読」を押した。これまでで最も強力な言語生成AIツールであるGPT-3がコンテンツ制作にどのような影響を与えるかについては、多くの人が推測してきたが、今回のケースはその脅威を例証した。 GPT-3はサンフランシスコに拠点を置くOpenAIによって設計された機械学習モデルである。GPT-3は、あらゆる種類の情報を網羅した
AIが記事を作り、小説を執筆し、問い合わせにチャットで回答することは当たり前になってきました。その背景にはAIの自然言語処理技術の飛躍的な向上があり、中でも2020年に登場したGPT-3はある種のブレイクスルーとしてAIの界隈以外にも広く知れ渡るようになりました。GPTは従来のAIと比較して、その規模やメカニズムにおいていくつかの注目すべき点があります。本記事では、そんなGPT-3について簡単に解説していきます。 合同会社Noteip代表。ライター。米国の大学でコンピューターサイエンスを専攻し、卒業後は国内の一部上場企業でIT関連製品の企画・マーケティングなどに従事。退職後はライターとして書籍や記事の執筆、WEBコンテンツの制作に関わっている。人工知能の他に科学・IT・軍事・医療関連のトピックを扱っており、研究機関・大学における研究支援活動も行っている。著書『近未来のコア・テクノロジー（翔
分散システムの開発者向けツールを構築するOpenZeppelinの元CTOであるマヌエル・アラオス氏が公開した「OpenAIのGPT-3はビットコイン以来で最大のものかもしれない」というブログ記事が大きな反響を呼んでいます。高精度なテキストを作れる言語モデル・GPT-3は確かにすごい技術なのですが、このブログ記事のポイントはまた別のところにありました。 OpenAI's GPT-3 may be the biggest thing since bitcoin https://maraoz.com/2020/07/18/openai-gpt3/ 記事は冒頭に「OpenAIの新たな言語予測モデル(GPT-3)を用いた初期の実験内容を共有します。なぜ私がGPT-3にブロックチェーン技術に匹敵する破壊的可能性があると思っているのかという理由を説明します」という要約があります。 本文では、bitco
GPT-3.5に匹敵するチャットAIを構築可能なモデル「Alpaca 7B」をスタンフォード大学が公開、オープンソースで安価に再現可能
Metaの大規模言語モデル「LLaMA」の7Bモデルに微調整を行った、オープンソースでよりよい命令追従性を実現した大規模言語モデル「Alpaca 7B」をスタンフォード大学の研究チームが公開しました。Alpacaを用いると、GPT-3.5に似た動作を、はるかに小さな環境で簡単・安価に再現することができます。 Alpaca: A Strong Open-Source Instruction-Following Model - Stanford CRFM https://crfm.stanford.edu/2023/03/13/alpaca.html Stanford Alpaca, and the acceleration of on-device large language model development https://simonwillison.net/2023/Mar/13/a
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT-3.5の100分の1以下のモデルサイズでより高いプログラミング処理能力持つ「phi-1」Microsoftが開発 | Ledge.ai
文章生成AI「GPT-3」を使って企業の採用担当者にメールを自動返信したソフトウェアエンジニアが登場
単体のGPUでもGPT-3などの大規模言語モデルを処理できる「FlexGen」が登場
「GPT-3」などの最新言語モデルが自然に他者の心を推察する能力である「心の理論」を獲得していたという研究論文
「GPT-3」に近い性能の言語モデルをオープンソースで目指す「GPT-Neo」
VSCodeとGASでChatGPT(gpt-3.5-turbo)をより安全快適に使う - Qiita
GPT-3.5がTeamsに統合。Web会議の翻訳も議事録もAIにお任せ
GPT-3.5に画像分類タスクを解かせる - DROBEプロダクト開発ブログ
メタ、「GPT-3並み」の大規模言語モデルを研究者向けに無償提供
GPT-3.5世代のオープンな言語モデルを調べてみた - Qiita
ChatGPTの言語モデル「GPT-3.5」、司法試験を受ける 結果は？
AIベンチャー・OpenAIの「GPT-3」がウェイトリストなしで誰でも利用可能に
Microsoftが世界トップクラスの言語モデル「GPT-3」の独占的ライセンスを取得
ついに解放された最強自然言語AI、GPT-3を味見する。
GPT-3 を LINE チャットボットに組み込んでみた | DevelopersIO
言語モデル「GPT-3」、APIの人数制限を撤廃 誰でもすぐに利用可能に
「あまりに高精度の文章を作る」として危険視されていた「GPT-3」の書いた記事がソーシャルニュースサイトの1位に浮上
GPT-3を活用することで自然言語からコードを自動生成｜Sangmin Ahn
Q&A + RAG に特化したLLMをSFTで学習させ4bit量子化モデルを作り、GPT3.5以上の性能を7Bモデルで達成する - A Day in the Life
OpenAI/GPT-3のプロンプトプログラミングとは何か?実際にやってみる
「高精度過ぎる文章を作る」Microsoftが言語モデルGPT-3の独占的ライセンスを取得 | Ledge.ai
【無料】GPT-3レベルのGoogle製Flan-T5を利用する方法
Metaが大規模言語モデル「LLaMA」を発表、GPT-3に匹敵する性能ながら単体のGPUでも動作可能
自然言語処理モデル「GPT-3」の紹介 | NTTデータ先端技術株式会社
OpenAI、「GPT-3」より従順な改良版「InstructGPT」をAPIで提供開始
noteにAIサポート機能追加へ テーマから記事の流れを考案 GPT-3ベース
超高精度の言語AI「GPT-3」は何がスゴい？要約、小説、コーディングなど広がる可能性
「GPT-3はビットコイン以来の破壊的な可能性を秘めている」というブログ記事が大反響を呼ぶ理由とは？