タグ

OpenAIとTransformerに関するmisshikiのブックマーク (6)

  • OpenAI Sora に使われる技術

    TL; DR OpenAI が非常に高品質な動画生成モデル Sora を公開 画像生成モデル Diffusion-Transformer を利用 動画を3次元画像として扱うことで画像モデルを拡張 キャプションは DALL•E3 同様、キャプション生成モデルで作成 OpenAI Sora Sora は OpenAI が今年の2月に発表した、動画生成モデルです。まずはこのモデルの出力例を見てみましょう。 図1. Sora の生成例: https://cdn.openai.com/sora/videos/big-sur.mp4 各フレームの画像が非常に美しく生成されています。また、従来の動画生成では時間が経った際に写っているオブジェクトを保つことが難しく、消えたり現れたり、急に歪んだりするものが多かったのに対し、Sora では一度隠れてから再度現れる場合であっても、矛盾なく生成できています。 こ

    OpenAI Sora に使われる技術
    misshiki
    misshiki 2024/03/27
    “OpenAI が非常に高品質な動画生成モデル Sora を公開。画像生成モデル Diffusion-Transformer を利用。動画を3次元画像として扱うことで画像モデルを拡張。キャプションは DALL•E3 同様、キャプション生成モデルで作成。”
  • GitHub - openai/transformer-debugger

    Transformer Debugger (TDB) is a tool developed by OpenAI's Superalignment team with the goal of supporting investigations into specific behaviors of small language models. The tool combines automated interpretability techniques with sparse autoencoders. TDB enables rapid exploration before needing to write code, with the ability to intervene in the forward pass and see how it affects a particular

    GitHub - openai/transformer-debugger
    misshiki
    misshiki 2024/03/13
    OpenAI製 “Transformer Debugger (TDB) は、小さな言語モデルの特定の動作の調査をサポートすることを目的として開発されたツール。フォワード パスに介入して特定の動作にどのような影響を与えるかを確認できる...”
  • GPT-4 Technical Report

    We report the development of GPT-4, a large-scale, multimodal model which can accept image and text inputs and produce text outputs. While less capable than humans in many real-world scenarios, GPT-4 exhibits human-level performance on various professional and academic benchmarks, including passing a simulated bar exam with a score around the top 10% of test takers. GPT-4 is a Transformer-based mo

    misshiki
    misshiki 2023/05/19
    OpenAIが出しているGPT-4の技術レポート論文。
  • 【論文解説】OpenAI GPT-4 を理解する

    さて、ChatGPT が非常に盛り上がっていますが、2022年11月にリリースされた ChatGPTGPT-3.5 というモデルがベースになっています。 そして、2023年3月にはその後継モデルである GPT-4 がリリースされ、ChatGPT Plus で利用できるようになっています。(月額20$) それ以降も画像データを処理できるようになったり、個人の好みを記憶できるようになったりと色々なアップデータがあってこの先どうなるんだろうと楽しみになりますね。 今回は、もともとの GPT-4 についてしっかりと解説したいと思います。 ちょっとした対話であれば GPT-3.5 でも GPT-4 でもそこまで大きな差はないように思えますが、GPT-4 に情報抽出や分類問題などのタスクを解かせようとすると、GPT-4 の方がかなり精度が良くなっていることがわかります。 ですので、より複雑な利用

    【論文解説】OpenAI GPT-4 を理解する
    misshiki
    misshiki 2023/05/19
    GPT-4 のテクニカル・レポートを読んでいく。より多くの人向けに分かりやすく一通り学べてお勧め。
  • OpenAI、「GPT」を早く商標登録したい!

    OpenAI、「GPT」を早く商標登録したい!2023.04.28 16:00 Kevin Hurler - Gizmodo US [原文] ( 岩田リョウコ ) なかなか承認されず、焦ってる! ChatGPTの生みの親OpenAIが「GPT」の商標申請をしているのですが、ChatGPTの爆発的な人気により、審査のプロセスを早くしてほしいと特許商標局にリクエストを出していたそうですが、それが拒否されてしまいました。 早く商標が欲しいOpenAITechCrunchによると「GPT」の商標申請が出されたのは去年の12月。 一気にChatGPTが過熱して、模倣アプリがたくさん出てきている一方、4月になってもまだ申請許可が降りないことからOpenAIは焦っている様子ですね。イーロン・マスクも「TruthGPT」って名付けてますし、現在はGPTの名がどんどん使われている状態です。 知的財産関連の弁

    OpenAI、「GPT」を早く商標登録したい!
    misshiki
    misshiki 2023/05/01
    “知的財産関連の弁護士Jefferson Scher氏はTechCrunchの取材に対して、特許商標局の認可にはあと5カ月くらいかかるだろうと話しています。”
  • GitHub - lucidrains/DALLE-pytorch: Implementation / replication of DALL-E, OpenAI's Text to Image Transformer, in Pytorch

    You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

    GitHub - lucidrains/DALLE-pytorch: Implementation / replication of DALL-E, OpenAI's Text to Image Transformer, in Pytorch
    misshiki
    misshiki 2021/06/04
    “PyTorchでの OpenAI の Text to Image TransformerであるDALL-E ( paper ) の実装/複製。また、世代をランク付けするためのCLIPも含まれます。”詳しいチュートリアル説明とColabノートブックあり。
  • 1