All Microsoft Global Microsoft 365 Teams Copilot Windows Surface Xbox Deals Small Business Support Software Windows Apps AI Outlook OneDrive Microsoft Teams OneNote Microsoft Edge Skype PCs & Devices Computers Shop Xbox Accessories VR & mixed reality Certified Refurbished Trade-in for cash Entertainment Xbox Game Pass Ultimate PC Game Pass Xbox games PC and Windows games Movies & TV Business Micro
Discover how companies are responsibly integrating AI in production. This invite-only event in SF will explore the intersection of technology and business. Find out how you can attend here. In June, OpenAI published a paper detailing GPT-3, a machine learning model that achieves strong results on a number of natural language benchmarks. At 175 billion parameters — the part of the model that has le
There has been a lot of interest on HN in fine-tuning open-source LLMs recently (eg. Anyscale's post at https://news.ycombinator.com/item?id=37090632). I've been playing around with fine-tuning models for a couple of years, and wanted to share some insights and practical code. I’ve condensed what I’ve learned into a small set of notebooks at https://github.com/OpenPipe/OpenPipe/tree/main/examples/
OpenAIは8月22日(現地時間)、同社の開発する大規模言語モデル「GPT-3.5 Turbo」の微調整(fine-tuning)機能をリリース。これにより、開発者は独自のデータを持ち込んでモデルを個々のユースケース向けにカスタマイズできるようになる。 能力が大幅向上 微調整とは、機械学習モデルのトレーニング手法のひとつで、すでに大量のデータで訓練されたモデル(事前訓練モデル)を、特定のタスクや新しいデータセットに適応させるために追加のトレーニングを行うことを指す。 OpenAIによると、微調整が施されたGPT-3.5-Turboでは、これまでの2倍となる4000トークンを扱うことができ、プロンプトエンジニアリングや関数呼び出しのような他の技術と組み合わせることで能力をさらに高めることができるという。 また、初期テストの結果から、GPT-3.5 Turboを微調整することで、特定のタスク
そろそろみなさん食傷気味でしょうか 僕はむしろなんだか最近、AIが勝手に書く本を読むのが楽しくなってきました。なんか脱線の仕方が人間以上なんですよね。でも、人間の著者も、書いているうちに筆が乗ってつい脱線することはよくあるんです。そんなところも、なんかAI生成物による本を見ていると癒されてしまうポイントかもしれません。 そこでゲームの歴史に続き、Web3の教科書を書いてもらいました。 プロンプトはこちら Web3の教科書を書こうと思っています。誰にでもわかりやすく身近な例を絡めて説明したいと思います。また、自立分散組織DAOが株式会社に置き換わる可能性についても指摘したいと考えています。 プロンプト執筆には自動執筆機械v3.0を使いました。 本文は以下です 構成 1章 Web3とは何か? 1.1 Web3の基本的な概念とは 1.2 Web3の歴史と進化 1.3 Web3が解決しようとしてい
Zennチームの五十嵐です。普段、Zennに関する記事はZennのPublicationに書くのですが、今回は「やってみた」系の内容なのでこちらに記事を書きます。 Zennチームでは、ZennのテキストデータとGPTなどのLLMとを組み合わせて、これまでにない新しい体験を作りたいと考えています。その第一歩として、Zenn公式アカウントの記事(使い方ページ)をベクトルデータにしてPineconeに登録し、OpenAIのChat APIを使って対話形式で質問できるようにしてみました。 デモ 若干怪しい部分もありますが、関連するページのテキストを要約して回答できていることが分かります。 実装 本記事ではざっくりとした流れだけを説明します。ソースコードをご覧になりたい方は、GitHubのリポジトリを参照してください。(内容としてはよくあるチュートリアルレベルのものです。) 構成 テキストのベクトル
MetaのAI研究組織であるMeta AI Researchが、2023年2月24日に発表した大規模言語モデル「LLaMA(Large Language Model Meta AI)」はパラメーター数の小ささから、単体GPUでも動作可能とされています。そんなLLaMAを、iPhoneやPixelといったスマートフォンで動作させることにエンジニアのanishmaxxing氏が成功したと報告しています。 anishmaxxing(@thiteanish)さん / Twitter https://twitter.com/thiteanish Meta AI Researchが発表したLLaMAはWikipediaやCommon Crawl、C4などの一般に公開されているデータセットで学習が行われています。一方でOpenAIが提供する「GPT-3」などの言語モデルは一部非公開のデータセットを使用し
ステージ上のロボット「ソフィア」。中国・香港で(2018年7月10日撮影、資料写真)。(c)ISAAC LAWRENCE / AFP 【10月2日 AFP】実業家イーロン・マスク(Elon Musk)氏が共同設立した企業で開発された人工知能(AI)技術は、筋の通った記事や小説、理路整然としたコンピュータープログラムなどを生成する能力に対して称賛を受けている。しかしその一方で、人種差別や性差別といった問題にはまだ対応できていないのが現状だ。 米カリフォルニア州に拠点を置く企業「オープンAI(OpenAI)」が開発した最新のAI言語モデル「GPT-3」は、2人が交わしている会話を完結させたり、一連の質問と答えを続けたり、更には英劇作家ウィリアム・シェークスピア(William Shakespeare)のようなスタイルで書かれた詩を完成させることができる。 GPT-3は学習済みの膨大な情報に基づ
GPT-3、GPT-J、GPT-Neoは非常に強力なAIモデルです。ここでは、これらのモデルを効果的に利用する方法として、数撃ちゃ当たる学習法を紹介します。 スモールショット学習は、プロンプトにいくつかの例を与えるだけで、AIモデルを訓練/微調整するようなものです。 ジーピーティー・スリー OpenAIが公開した「GPT-3」は、テキスト理解やテキスト生成のためのAIモデルとして、これまでで最も強力なものです。 1,750億ものパラメータで学習させたので、非常に汎用性が高く、ほとんど何でも理解できるのです チャットボット、コンテンツ作成、エンティティ抽出、分類、要約など、GPT-3を使えばいろいろなことができます。しかし、ある程度の練習が必要で、このモデルを正しく使うことは簡単ではありません。 GPT-JとGPT-Neo GPT-NeoとGPT-Jは、オープンソースの自然言語処理モデルで、
OpenAIが「GPT-3.5 Turbo」にファインチューニング機能を発表しました。なお、GPT-4のファインチューニング機能は、今秋に公開する予定です。 このAIニュースのポイント 米OpenAI、GPT-3.5 Turboのファインチューニング機能を発表。ユーザーは独自データでカスタマイズ可能 ファインチューニングにより、モデルの操作性向上や論調統一が可能。特定のタスクではGPT-4以上の性能を発揮 プライバシー保護も保証されており、GPT-4のファインチューニング機能も2023年秋に提供予定 米OpenAIは、大規模言語モデル「GPT-3.5 Turbo」のファインチューニング機能を発表しました。これにより、ユーザーは独自のデータを使用してモデルをカスタマイズできるようになります。 ファインチューニングは、事前学習済みモデルを再トレーニングしてパラメーターを調整する手法であり、モデ
Creative writing by OpenAI’s GPT-3 model, demonstrating poetry, dialogue, puns, literary parodies, and storytelling. Plus advice on effective GPT-3 prompt programming & avoiding common errors. I continue my AI poetry generation experiments with OpenAI’s GPT-3 (released mid-2020), which is 116× larger, and much more powerful, than the 2019 GPT-2. GPT-3, however, is not merely a quantitative tweak y
概要 Aの場合はBして、Cの場合はDして、、、みたいな命令をGPT3に与えるときに、プログラミング言語風にプロンプトを書けたらいいなーと思ったので試してみます。 自然言語で指示を出せるからこそ使い勝手が良かったはずのGPT3に、あえてプログラム風に指示を出す逆転の発想です。 環境 GPT3のplayground(text-davinci-003)で検証しています。 簡単な分岐処理の実行 入力した時刻に応じて異なる挨拶を返す処理をpython風に書いてみます。 def greeting(hour: int) -> str: result = "" if 6<=hour<=10: result = "おはよう" elif 11<=hour<=16: result = "こんにちは" elif 17<=hour<=24 or 0<=hour<=5: result = "こんばんは" else:
Web 4.0 could be the propitious evolution for the procedural web. Goopt is an experiment in what the "procedural web" could be. This new web will use procedural content generation to create varied content, completely synthetic, since these are generated by algorithms and artificial intelligence. For now, the content is only text that is being generated automatically with GPT-3, the recent OpenAI m
革命かパンドラの箱か、新AIツールGPT-3の波紋:星暁雄「21世紀のイノベーションのジレンマ」(3/5 ページ) GPT-3は大規模化を追求した「言語モデル」 GPT-3の正体を一言で説明するなら、「テキスト生成のための巨大な学習済みモデルを備えているAIツール」だ。GPT-3の特徴は、とにかく規模が巨大なことだ。 OpenAIの開発者らは論文中で、GPT-3を「1750億のパラメータ(変数)を持つ自己回帰型言語モデル」と呼んでいる。また機械学習のため、Webサイトから数年にわたり収集した1兆語におよぶデータセットを用いている。 かみ砕いて説明すると、こうなる。1兆語から成るきわめて巨大な例文集を元に、1750億種類の変数を持つ「言語モデル」に言葉と言葉の関連の度合いを記憶させておく。この「言語モデル」に対して「数種類の実例と課題文」を与えると、それらしい文章を出力する。これがGPT-3
tl;drGPT-3 edit capability works like an input-function-output process. Not only can you verbally instruct GPT-3 to transform inputs, but you can tell it to evaluate python functions! IntroductionRecently OpenAI released an update to the GPT-3 playground for editing and inserting text. This update brings a new layer of controls to what GPT-3 will do and modify. For example, we can provide an input
Open AIは2023年3月14日(現地時間)、大規模マルチモーダルモデル「GPT-4」を発表した。テキストだけでなく画像が混在した入力にも対応し、テキストを出力する。Open AIは、GPT-4について「さまざまな専門的および学術的なベンチマークで人間レベルのパフォーマンスを示す」と評価している。同社によると、GPT-3.5のスコアは模擬司法試験において受験者の下位10%前後だったのに対し、GPT-4は上位10%のスコアで合格した。 Open AIが同日に発表した技術レポートには、大規模言語モデルや生成AI(人工知能)ならではのリスクも指摘されている。同社は、GPT-4をリリースする前に、安全性の調査やリスク評価、その反復に8カ月を費やし、その結果を技術レポートにまとめている。 GPT-4はGPT-3.5から何が進化し、どのようなリスクを抱えているのか。 GPT-3.5から何が進化した
How To Use GPT-3, GPT-4, ChatGPT, GPT-J, And Other Generative Models, With Few-Shot Learning June 13, 2023 GPT-3, GPT-4, ChatGPT, GPT-J, and generative models in general, are very powerful AI models. We're showing you here how to effectively use these models thanks to few-shot learning, also known as prompt engineering. Few-shot learning is like training/fine-tuning an AI model, by simply giving a
import glob import librosa import IPython import MeCab import unidic import pandas as pd import alkana import re import os from IPython.display import Audio %cd /content/voicevox_core # ローカルPCマイクでの録音設定 from IPython.display import Javascript from google.colab import output from base64 import b64decode RECORD = """ const sleep = time => new Promise(resolve => setTimeout(resolve, time)) const b2text
The Artificial Curiosity Seriesより。 GPT-3については、多くの素晴らしい記事があり、GPT-3で何ができるかを示し、その結果について考え、どのように動作するかを視覚化しています。しかし、私がこのアーキテクチャを理解したと確信するまでには、いくつかの論文やブログをくまなく調べる必要がありました。 このページの目的は地味ですがシンプルです。GPT-3アーキテクチャをできるだけ詳細に理解するのを手助けすることです。 また、せっかちな方は、アーキテクチャの全体像のスケッチに直接ジャンプしてください。 オリジナルの図 まず始めに、オリジナルのトランスフォーマとGPTの論文から、次の図が得られます。 図解として悪くはありませんが、私のように全体像を理解するには十分ではありません。というわけで、早速掘り下げてみましょう! 入力と出力 他のことを理解する前に、知っておく
GPT-3は自然言語の質問からそれに沿った回答をしてくれますが、わりと自由な形式での回答が返ってきます。たとえば「Windowsでtest.txtを作成するコマンドとその解説」というプロンプトを入力してみると以下の答えが返ってきました。 コマンド:echo > test.txt 解説:echoコマンドを使用して、test.txtという名前の新しいテキストファイルを作成します。このコマンドは、新しいテキストファイルを作成し、そのファイルに何も書き込まないことを意味します。 もし自然言語からコマンドを実行するプログラムを作りたいときにGPT-3がこの回答をしてきても、出力の形式が定まってないためプログラムで読み取って解説を表示したりコマンドを実行したりできません(GPT-3を使ったアプリにチャットボットが多いのはその影響もあるでしょう)。 この問題はプロンプトにJSON Schemaを含めるこ
この記事の要約 (By Notion AI)GPT-3を利用したプロダクトを1週間で開発 PM DAOのコミュニティメンバー3人で分担しリリース 初期のプロダクトマネジメントにおけるプロダクトディスカバリーについて解説 はじめに昨今何かと話題の Generative AI、毎日のように新サービスやプロダクトがTwitterを賑わしています。私は米国の企業でAI製品に関連するプロダクトマネジメントをしており、そこで得た考え方をもとに、1週間でプロダクトをデザイン、開発、リリースした話をお話しします。 想定の読者新機能を作りたいプロダクトマネージャー 新サービスを立ち上げたい新規事業開発担当者 これから起業を目指したり、初めてプロダクトをリリースしようとしているアントレプレナー 初期のプロダクトマネジメントについてプロダクトマネジメントと言ってもその内容はさまざまです。特に、初期のプロダクトと
モルゲンロット株式会社は、GPT-3を活用した書き起こしと、話者の自動識別、要約機能を搭載した音声書き起こしサービス「Easy Text」を開発、クローズドβ版の提供を開始しました。同時に、企業ユーザーのテスト参加の先行募集を開始しています。 モルゲンロットは、グリーンエネルギーを活用したAIの活用について研究開発を行っており、その結果、今回の書き起こしAI「Easy Text」の開発に至りました。 「Easy Text」は、動画や音声データをクラウドへアップロードするだけで文字の書き起こしを生成できる、AIを利用した書き起こしサービスで、議事録などの業務の効率化を推進します。Easy Textの特徴として、日本語音声の認識率が93.8%あり、話者の自動識別機能や、文字起こししたファイルをAIが自動要約することも可能です。 モルゲンロットは「要約機能を含めた音声認識エンジンの改良や、API
一応自然言語処理の研究をしている大学院生であるにもかかわらず、最近の生成型言語モデルの進化に全くついていけていないので、キャッチアップとして OpenAI の GPT-3 を使ってみたという記事です。 普通にテキスト生成させるだけではあまり面白みがないので、今回は JCommonsenseQA を使って、GPT-3が常識をどのくらい持っているのかを調べてみます。 JCommonsenseQA とは? 日本語言語理解ベンチマークJGLUEのうち、常識が必要とされる QA(質問応答)タスクです。例えば以下のような質問が含まれています。 質問: 鉛筆で書いた間違えを何で消すか? choice0: 火消し choice1: 消しゴム choice2: 暗殺者 choice3: 黒消し choice4: 闇 解答: 1 質問: 年上の女性のきょうだいを敬う言い方は? choice0: 従兄弟 cho
概要 OpenAIのモデル「Text davinci」に英文添削をしてもらう 意外と使い物になる英文ができた。 動機 英語で何かを書かなくてはならないときによく詰んでしまう。 Grammarlyなどのサービスがあるが、無料版では文法間違いのみの指摘。 ちょっとした英文のブラッシュアップをしたい。 🧠 Awesome ChatGPT Prompts 巷を沸かせているOpenAiのChatGPTですが、世界のすごい人が「呪文集」をまとめてくれています。 🧠 Awesome ChatGPT Prompts その中に"Act as an English Translator and Improver"という面白いものがありました。 これは、ChatGPTが英語教師に成り代わって文書推敲してくれるという願ったり叶ったりの呪文です。 Act as an English Translator and
Chat-GPT3が話題になり始めたとき、シラバスを書かせてみたり、文学者クイズを答えさせてみたりして、すごいなぁ、けどまあ仕事には使えんな、と思っていたのだけれど、最近認識を改めつつある。こやつ、助手として、ものすごく優秀だ。 たとえば今日は、参考文献リストをフォーマットAからフォーマットBに書き直してもらった。 研究をしていたり、大学教員の就職活動をしていたりすると、参考文献リストや自分の業績リストを、フォーマット甲からフォーマット乙に書き換えなければならない、ということがしばしばある。そしてこれは、以外にめんどいのだ。 今日、Chat-GPTに手伝ったもらったのは以下のような作業だった。 エクセルで管理していた文献リストAがある。 文献リストA(部分)これを、 工藤 彰, 村井 源, 徃住 彰文(2011)「村上春樹の『1Q84』における因子分析を用いたチャプターの特徴と共起ネットワ
NTTは2024年3月25日、独自LLM(大規模言語モデル)である「tsuzumi」のサービス提供を始めた。日本語の性能で米OpenAI(オープンAI)のLLM「GPT-3.5」を上回るという。2023年11月にtsuzumiを発表して以降、ヤマト運輸や東京海上日動火災保険など、500以上の企業や自治体などから導入相談があるとする。 tsuzumiは日本語と英語に対応し、パラメーター数は70億とOpenAIの「GPT-3」の1750億と比べて25分の1と軽量だ。LLMの日本語処理性能に関するベンチマークテスト「Rakuda Benchmark」の結果では、GPT-3.5や同規模の国産LLMを上回ったという。tsuzumiは言語に加え、図表や画像の解析などにも対応する。 利用環境はパブリッククラウドのほか、顧客のオンプレミス(自社所有)環境や、専用線を使ったNTTグループのデータセンターでの
LangChain で GPT-3.5 に Google 検索と Vector Index を使い分けて回答させる【Agent】 参考:https://langchain.readthedocs.io/en/latest/modules/agents/examples/agent_vectorstore.html 独自の QA Bot を構築する場合に、業務ルールなど自社独自の情報はマニュアルなどから検索し、それ以外の一般的な質疑については Google 検索の結果を返したい、という場合はあるでしょう(Excelの使い方もぐぐってくれないおじさんとかですね)。 また、自社情報であっても業務の範囲が広い場合などに、データベースのメンテナンスの都合で一つの vector index database にマニュアル類をまとめて格納できない状況も考えられます。 それぞれのツール、データベースごとに
ジェニファー ラングストン (Jennifer Langston) ※本ブログは、米国時間 11 月 2 日に公開された “New Azure OpenAI Service combines access to powerful GPT-3 language models with Azure’s enterprise capabilities” の抄訳を基に掲載しています。 昨年、AI の研究と開発を手掛ける OpenAI が、画期的な自然言語モデルプラットフォームである GPT-3 を発表しました。以来、強力で包括的に言語を理解するこの AI モデルによって、数え切れないことができることが明らかになりました。 例えば、試合中にファンと交流する新アプリを開発しているスポーツチームであれば、迅速かつ抽象的に情報を要約するこのモデルの機能を活用し、テレビのライブ中継のコメント内容を試合のハイ
比較①:人物についての質問 まずは知識面での比較を行っていきます。今回はまずは「Appleの創業者は誰なのか」について聞いてみたいと思います。 プロンプト: Appleの創設者は誰ですか? 出力(GPT-4): Appleの創設者は、スティーブ・ジョブズ、スティーブ・ウォズニアック、およびロナルド・ウェインの3人です。彼らは1976年4月1日にカリフォルニア州でApple Computer, Inc.を設立し、後にApple Inc.となりました。 出力(GPT-3.5): Appleの創設者は、スティーブ・ジョブズ、スティーブ・ウォズニアック、ロナルド・ウェインの3人です。1976年、彼らはカリフォルニア州クパチーノでApple Computer Inc.を設立しました。ジョブズは特に、Appleの成功に大きく貢献し、同社のCEOとしての長年の歴史において、多くの革新的な製品を生み出しま
The goal of this post is to guide your thinking on GPT-3. This post will: Give you a glance into how the A.I. research community is thinking about GPT-3. Provide short summaries of the best technical write-ups on GPT-3. Provide a list of the best video explanations of GPT-3. Show some cool demos by people with early beta access to the GPT-3 API. If you think something should be added, email m@lamb
OpenAI、GPT-3.5 Turboより安価でパフォーマンスに優れた「GPT-4o mini」を発表しています。詳細は以下から。 OpenAIは現地時間2024年07月18日、今年05月に発表した、より人間らしい対話が可能になった最新の大規模言語モデル「GPT-4o」の軽量版となる「GPT-4o mini」を新たに公開したと発表しています。 Introducing GPT-4o mini! It’s our most intelligent and affordable small model, available today in the API. GPT-4o mini is significantly smarter and cheaper than GPT-3.5 Turbo.https://t.co/sqJsFEYHWq pic.twitter.com/g6jMttp1mF
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く