Notice GPT-2 1.5B is trained with 40GB of Internet text, which is roughly 10 Billion tokens (conversely assuming the average token size is 4 characters). So GPT-3 175B has a lower data compression ratio 300 / 175 = 1.71 in comparison to GPT-2 1.5G 10 / 1.5 = 6.66. This raises the question that, with this amount of parameters, whether the model functions by memorizing the data in the training and p
はじめに 本家 OpenAI や Azure OpenAI Service で利用できる各言語モデルで使われているエンコーディングについて情報をまとめました。 エンコーディングとは OpenAI の言語モデルにおけるエンコーディングとは、テキストがトークンに変換される際の (トークナイズされる際の) ルールのようなものです。モデルによって使われるエンコーディングは異なります。 エンコーディングの種類 下記 3 種類のエンコーディングが存在しています。ただし、gpt-3.5-turbo 以降の全てのモデルで cl100k_base が使われていて、これが現在の主流になっています。一方で p50k_base と r50k_base (gpt2) は現在では非推奨の古いモデルでしか使われていません。 cl100k_base p50k_base r50k_base (gpt2) 確認方法 エンコー
この前、公園を散歩しながらスマホでウイークリー落合の番組を聞いていたら、そこで落合さんがChatGPTに謎の呪文?コマンド?のようなものを入力していた。 https://newspicks.com/movie-series/87?movieId=2528 その時はまったく意味がサーパリ分からなかったので、まったく意識に入ってこないでスルーしてしまった。 清水さんのnote記事によれば、新登場したGPT-4で物語を作って遊んでいたら、落合さんから例の呪文?が送られてきたそうだ。 それを入力したら何か物語の筋書きが生成されたらしい。 GPT-4使ってみた コマンドを転載させてもらうが、このようなものだった↓ #[このコンテンツは [Goal] を SeekするためのTemplateです] - [コンテンツの詳細]: - [Goal]: - Goalを達成するため
こんにちは!逆瀬川 ( https://twitter.com/gyakuse )です! 今日はGPT-4に強引に画像を読み込ませて行きたいと思います。 やりたいこと 言語モデルのIncontext Learning能力だけで画像を認識させる なにが面白いのか Computer Visionは非常におもしろい研究領域であり、畳み込みニューラルネットワーク(CNN)やTransformerを画像認識の領域に広げたVision Transformerは超おもろいです。 先日発表されたVirtual ChatGPTは既存研究を組み合わせ、VQA(画像をもちいた質問回答)や画像編集を行うことを可能にしています。 これらの研究はさらに進歩し、動画領域などに進んでいくことでしょう。 さて、今回はそれを忘れます。バイバーイ マタネー 今日やりたいのは、言語モデルのIncontext Learning
Guanaco - Generative Universal Assistant for Natural-language Adaptive Context-aware Omnilingual outputs Image by NobbiP (CC BY 3.0) Our new 🏆SOTA work: CausalLM 72B(preview), 14B & 7B, #1 SOTA model of its size, outperforming ALL open models. Recent update: Added support for multimodal VQA. Guanaco is an advanced instruction-following language model built on Meta's LLaMA 7B model. Expanding upon
[速報]マイクロソフト、自然言語で誰でもアプリケーション開発が可能になる「Copilot in Power Automate」「Copilot in Power Apps」発表 マイクロソフトはローコードでスマートフォン用の業務アプリケーションを開発する「Power Apps」と、CRMなどの既存の業務アプリケーションを組み合わせて新たな業務アプリケーションを開発できる「Power Automate」にChatGPTベースのAIを組み込んだ「Copilot in Power Apps」および「Copilot in Power Automate」を発表しました。 いずれも自然言語でCopilotに作りたいアプリケーションの内容を伝えると自動的にアプリケーションが生成される機能を備えており、プログラマだけでなく、あらゆるビジネスマンがアプリケーションを開発できるようになると期待されます。 これ
先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価するために50人超の専門家らを含む"レッドチーム"を結成。2022年8月から8ヶ月に渡ってリスクの評価とその軽減に向けたチューニングを実施してきた リスク評価における実験の中には「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く