当サイト【スタビジ】の本記事では、昨今のAIの進化のきっかけになっているGPTシリーズについてまとめていきたいと思います。GPT-1から始まりGPT-2、GPT-3、そしてChatGPTであるGPT-3.5、GPT-4と進化してきました。この進化の軌跡と違いについて解説していきます。 こんにちは！ データサイエンティストのウマたん(@statistics1012)です！ この記事では最近のAIブームの火付け役になったGPTシリーズについて簡単にまとめていきたいと思います。
GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた｜スタビジ
当サイト【スタビジ】の本記事では、昨今のAIの進化のきっかけになっているGPTシリーズについてまとめていきたいと思います。GPT-1から始まりGPT-2、GPT-3、そしてChatGPTであるGPT-3.5、GPT-4と進化してきました。この進化の軌跡と違いについて解説していきます。 こんにちは！ データサイエンティストのウマたん(@statistics1012)です！ この記事では最近のAIブームの火付け役になったGPTシリーズについて簡単にまとめていきたいと思います。
#この記事は実在しません GPT-2 Text Generation Demo：朝日新聞社メディア研究開発センター 人工知能研究の取り組み
この記事は弊社の機械学習モデル（GPT-2言語モデル）が自動で生成したものをそのまま掲示したフィクションであり、実在の人物・団体・商品等とは何ら関係ありません。 GPT-2言語モデルは、朝日新聞記事で事前訓練した後に、日本語Wikipedia記事を用いてfine-tuningしています。詳細はこちらまで。 この記事はあらかじめ弊社の言語モデルに生成させた結果を蓄積し、スクリプトにより表示したもので、リアルタイムに生成させているものではありません。リロード、もしくはこちらをクリックすると、新しい記事が出てきます。 HOME PRODUCTS ABOUT PUBLICATIONS API利用停止 サイトポリシー プライバシーポリシー CONTACT 当サイトに掲載された内容は、日本の著作権法並びに国際条約により保護されています。掲載記事・写真・データ等の無断転載を禁じます。 Copyright
文書の数が多い場合、単語の種類(ボキャブラリ)も多くなり単語の次元が大幅に増えていきます。 一方、一つの文書に含まれる単語の数には限りがあるため、これは全体として疎行列になります。 また、単語が各次元として扱われますが、文書ごとの出現順序など、単語間での関連性を示す情報は抜け落ちたものとなります。 それに対して低次元(通常数百次元程度)の密な行列で単語の意味を定義する方法があります。 これは、「分散表現」や「埋め込み表現」と言われるものになっております。 この表現を獲得するため手法は様々なものがありますが、ここではWord2Vecを紹介します。 元論文 : Efficient Estimation of Word Representations in Vector Space 具体的な実装についての解説 : word2vec Parameter Learning Explained Wor
rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン“クリフ”チェン、以下rinna社）は、日本語に特化したGPT-2の大規模言語モデルを構築し、オープンソースとして公開しました。 ■背景 rinna社は、MicrosoftのAI＆リサーチ部門でAIチャットボットの研究を行っていたチームがスピンアウトして2020年6月に設立したAI開発企業です。ディープラーニング技術を活用し、AIが文脈に応じた会話文を自動生成して人間と自然に会話する「共感チャットモデル」、AIが話し声や歌声で豊かな感情表現を可能にする「音声合成システム」などの技術を発表してきました。これらの最新技術は、当社が運営するAIチャットボット「りんな」や、会話内容や音声表現をカスタマイズしてキャラクター性を持たせたAIチャットボットである「AIキャラクター」の開発に応用され、企業のマーケティングなどにお使いいただいています
AIでスーパーマリオのステージを生成する「MarioGPT」発表。土管多め、敵少なめなど自然言語で指示 | テクノエッジ TechnoEdge
著書に『宇宙世紀の政治経済学』（宝島社）、『ガンダムと日本人』（文春新書）、『教養としてのゲーム史』（ちくま新書）、『PS3はなぜ失敗したのか』（晋遊舎）、共著に『超クソゲー2』『超アーケード』『超ファミコン』『PCエンジン大全』（以上、太田出版）、『ゲーム制作 現場の新戦略 企画と運営のノウハウ』(MdN)など。 昨年11月にOpenAIがChatGPTを公開して以来、Googleの「Bard」やマイクロソフトの新たなBing検索エンジンやEdgeブラウザーも会話型AIサービスの大波に乗る事態となっています。 どれもが質問に対して自然な文体で賢い回答が期待されているなか、同じく言語モデルを使って『スーパーマリオブラザーズ』のステージを自動生成する「MarioGPT」の研究が公開されました。 コペンハーゲンIT大学研究チームは、「スーパーマリオ」のレベル（ステージ）を生成する新たな手法につ
GPT-2でブログ記事のタイトルをTogetterまとめ風にする「面白いのでやってみて」 - 詩と創作・思索のひろば
オレ定義だけど Togetter まとめ風というのはこういうやつ。 散歩で急にシロクマと会っても食べるのは肉だけにしたほうがいい「肝臓1gに含まれるビタミンAが致死量を超える」 - Togetter まとめタイトルの終わりに誰かのツイートの引用を挿入する、という形式。よくできたもので、誰かの生の声が入っているだけで、感想やハイライトを抽出し、ちょっと気を引くことができる。まあ一種の演出で、ニュースサイトがやってることもある。 タイトルでアテンションを奪い合わなければならない宿命におけるクリック最適化の手法ということだろう。今回はこれを真似してみることにする。すでに書かれた自分のブログ記事に、括弧書きでセリフっぽいものの引用を捏造して付け加えることで魅力がアップするのか、という実験だ。 こういう生成系のタスクも、とりあえず HuggingFace+Google Colaboratory でや
Top > 学術＆研究 > rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習
GPT-2におけるテキスト生成
はじめにMachine Learning部門の江間見です。ストックマークでは、自然言語処理技術の研究開発を行っています。 昨今、OpenAIからGPT-3が発表され、生成系モデルが大きな注目を集めています。 そこで、本記事では、弊社で作成している生成系モデルの紹介をいたします。 自然言語処理におけるテキスト生成自然言語処理（NLP）は、人間の言語（自然言語）とコンピュータの相互理解、特に大量の自然言語データをコンピュータに処理および分析させるための研究分野です。 今回紹介するテキスト生成は、この自然言語処理の研究分野の一つです。 テキスト生成の応用例の一つは、スマートフォンのキーボードでの次の単語の予測です。このタスクはまさに言語モデルが行うことと同様です。言語モデルは、単語のリストを受け取り、次の単語を予測します。 図1の例では、言語モデルが「今日は」という単語を受け取り、次の単語で
by Suzy Hazelwood 人工知能を研究する非営利組織のOpenAIが開発したAIによる文章生成ツール「GPT-2」は、高精度のテキストを簡単に自動生成できるといわれており、開発陣が「あまりにも危険過ぎる」と危惧するあまり論文公開が延期される事態にまで発展しました。そんなGPT-2は2019年2月、5月、8月と段階的にパラメーターを増やしたモデルが公開されてきましたが、ついに15億個ものパラメーターを持つ最新版がリリースされました。 GPT-2: 1.5B Release https://openai.com/blog/gpt-2-1-5b-release/ GPT_2_Report.pdf (PDFファイル)https://d4mucfpksywv.cloudfront.net/papers/GPT_2_Report.pdf OpenAIはGPT-2が非常に高度な文章を生成する
13億パラメータ日本語GPT-2を使ってみる
2021年11月18日にOpenAIが「GPT-3」のウェイティングリストを解除すると発表しました。 これにより申請すれば誰でもGPT-3のAPIを使用できるようになります。 ということで、GPT-3 ... ただ、上記の記事でも紹介していますが、日本語に特化したモデルではなく、やっぱり日本語で生活している人にとっては日本語のGPTが欲しくなりますね。 そこで、13億パラメータを持つGPT-2のモデルを日本語で学習して、公開してくれたのがこの「rinna」社です。 ということで今回は、この日本語GPT-2を触ってみたいと思います。 なお、今回はモデルの説明は一切ありませんので、詳細についてはこちらの記事を参照していただければと思います。 GPT ... 『【論文解説】OpenAI 「GPT」を理解する』 一番仕組みを詳しく解説しています。GPT-2 ... 『【論文解説】OpenAI 「G
TechCrunch
The eyes aren’t just a window into the soul; tracking saccades can help doctors pick up a range of brain health issues. That’s why French-Belgian medtech startup neuroClues is building acc
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience with neural networks. This implementation is for educational purposes, so it's missing lots of features/improv
GPTは、人間が使う会話や文章に出てくる単語の確率の組み合わせから次の単語の確率を計算する言語モデルだ。 例えば、「確率（吾輩は猫である）＝確率（吾輩）×確率（は|吾輩）×確率（猫|吾輩,は）×確率（で|吾輩,は,猫）×確率（ある|吾輩,は,猫,で）」のような方法で計算する。この性質を用いて、「吾輩は」という単語を入力したとき、次の単語として確率が高い「猫」を予測できる。 性能は14パープレキシティー 関連記事 2021年の「AI／機械学習」はこうなる！ 5大予測 2020年は、自然言語処理（NLP）のTransformer技術に基づくBERT／GPT-3や、画像生成のディープフェイクが大注目となる一方で、倫理に関する問題がさまざまな方面でくすぶり続けた。2021年の「AI／機械学習」界わいはどう変わっていくのか？ 幾つかの情報源を参考に、5個の予測を行う。 Microsoft、自然言語処
文系非エンジニアがChatGPT / LLMを数式なしで解説してみる｜Yuichiro.ito@Finatext(フィナテキスト)
先日、社内でChatGPT / LLMを活用した実証実験をしていたら、一部感動するほど結果が出たことで、今更ながら俄然興味を持ってしまいました。 これからビジネスユースケースを考えていくうえで、「本質的にどういうものなのか」を理解しておくことがとても大切だと思い、改めてChatGPT / LLMの基本的な仕組みを整理してみました。 私みたいな文系で行列や統計はわからないけど、もう少し根本的なところを理解しておきたい！という方に是非です。 それでは、GPTをはじめとするLLM（大規模言語モデル）がどのような背景から生まれてきたのかを振り返りながら、LLMの特徴を理解していきましょう！（最後に参照したおススメの動画・記事を貼っていますので、それだけでも是非ご覧ください。） 1. ベースは、ディープラーニングを用いた自然言語処理モデル2015年頃、日本でも"AI"がバズワードになり、ディープラー
GitHub - rinnakk/japanese-pretrained-models: Code for producing Japanese pretrained models provided by rinna Co., Ltd.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
TextSynth
TextSynth provides access to large language or text-to-image models such as Mistral, Mixtral, Llama2, Stable Diffusion, Whisper thru a REST API and a playground. They can be used for example for text completion, question answering, classification, chat, translation, image generation, speech to text transcription, ... TextSynth employs custom inference code to get faster inference (hence lower cost
「gpt2-japanese」の「mediumモデル」が公開されたので、AIによる日本語テキスト生成を試してみました。 1. gpt2-japaneseのインストール (1) Google Colabのノートブックを開く。 (2) メニュー「編集→ノートブック→ハードウェアアクセラレータ」で「GPU」を選択。 (3) 以下のコマンドで、「gpt2-japanese」をインストール。 # gpt2-japaneseのインストール !git clone https://github.com/tanreinama/gpt2-japanese %cd gpt2-japanese !pip install -r requirements.txt2. モデルのダウンロード「mediumモデル」を「gpt2-japanese」フォルダにダウンロードします。 # mediumモデルのダウンロード !wge
2019年に公開されるやいなや「危険すぎる」と話題になったOpenAIの「GPT-2」を、ゼロから作成したレポートが公開されました。作成にかかった時間は、1時間14ドル(約2200円)のクラウドコンピューティングサービスで1時間半だったため、総コストは約20ドル(約3100円)に収まっています。 Reproducing GPT-2 (124M) in llm.c in 90 minutes for $20 · karpathy/llm.c · Discussion #481 · GitHub https://github.com/karpathy/llm.c/discussions/481 # Reproduce GPT-2 (124M) in llm.c in 90 minutes for $20 ✨ The GPT-2 (124M) is the smallest model in t
Thumbnail photo on openai.com 画像AIの発展が止まらない。 画像認識からブレイクスルーが起こった画像AIは、画像自動生成の分野でも発展を続けている。以前紹介した、モザイクから元画像に類似する高画質画像を自動生成する技術も興味深かったが、今回はまた別の技術を紹介したい。 SpaceXなどで有名なイーロン・マスク氏が共同会長を務める、米国の非営利研究団体OpenAIは、半分の画像を入力するだけで残りの半分を自動生成する技術を発表した。類似研究と違う点は、文章を分析する自然言語処理の技術を転用しているところだ。 文章生成に長けたGTP-2モデルを画像生成に応用 今回OpenAIが発表した技術には、GPT-2モデルが使われている。GPT-2モデルは、OpenAIが2019年に発表した自然言語処理のモデルだ。このモデルはインターネット上にあるウェブページを800万ページ
目次 目次 はじめに そもそもGPTとは 日本語データセットで学習されたGPT 入力文章 GPTによる生成コード 出力結果 ChatGPTで生成 まとめ ABEJAについて はじめに 本記事はABEJAアドベントカレンダー2022の13日目の記事です。 こんにちは！カスタマーサクセス統括部 データサイエンスグループでインターンをやらせていただいている村尾(@MURA_omura)です。 私は高専の専攻科生で、現在GANsを用いた音声生成に関する研究に取り組んでいます。 高専といえばYouTubeで100万人の登録者がいるかっつーさんや、生活に技術を取り込むのが上手なラムダ技術部さんが有名です。 1年半ほど前からKey作品にはまっていて、この間Summer Pockets REFLECTION BLUEを購入しました！ Kye作品は泣ゲーで知られていて、 「CLANNADは人生」 というフレ
language models まとめ
Transcript Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Language Models まとめ 2020/05/26 DeNA Co., Ltd. Strictly confidential 1 Kosuke Sakami 目次 ▪ 前置き ▪ BERT の architecture (単語紹介) ▪ 紹介 ⁃ BERT ⁃ GPT-2 ⁃ Transformer-XL (実験なし) ⁃ XLNet ⁃ RoBERTa ⁃ ALBERT ⁃ T5 (実験なし) ⁃ BART ⁃ ELECTRA 前置き ▪ Language Models を紹介するよ！ ⁃ 分類問題を想定します ▪ huggingface の transformers ライブラリの中から紹介していく ⁃ ForSequenceClassificati
教師ありデータをもっと減らしたい!! GPTの登場により、それまで何万、何十万も必要だった教師ありデータが、たったの数千個で足りるようになりました. これはとてつもない進歩です! しかし、、皆さんもこう思ったかもしれません、、 「数千個て多くない？？」 そうです！全くその通りです！ 何十万もの教師ありデータセットと比べるとそれは少ないですが、普通に数千個て多いですよね？笑 僕だったらそんなデータ作りたいと思いません😅 皆さんと僕がそう思ったように、OpenAIさんも同じことを思っていました. そこでOpenAIのエンジニアはまたもやすごいものを作り出したのです！ なんとGPTの進化系である「GPT-2」を作り出し、必要な教師ありデータを数個まで減らすことに成功したのです！ さすがは自然言語AIのパイオニアOpenAI様ですね、すごすぎます、、 この記事では「GPT-2」とは何なのか、どう
japanese-gpt-1b This repository provides a 1.3B-parameter Japanese GPT model. The model was trained by rinna Co., Ltd. How to use the model import torch from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("rinna/japanese-gpt-1b", use_fast=False) model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt-1b") if torch.cuda.is_available(): mod
rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン“クリフ”チェン、以下rinna社）は、日本語に特化した13億パラメータのGPT言語モデルを開発し、公開しました。 ■背景 rinna社はこれまでに、日本語の自然言語処理 (NLP) に特化したGPT (3.3億パラメータ) やBERT (1.1億パラメータ) の事前学習モデルを公開し、多くの研究・開発者にご利用いただいています。最近のNLPに関する研究では、モデルのパラメータ数が多いほど高い性能であることが知られています。 そこでrinna社は、これまでに公開してきたモデルより大規模な13億パラメータを持つ日本語に特化したGPT言語モデルを開発し、日本語のNLPコミュニティに貢献するために、この言語モデルをNLPモデルライブラリ Hugging Face に商用利用可能なMITライセンスで公開しました。 ■ Hugging Fac
","unk_token":"","pad_token":"[PAD]","bos_token":"","cls_token":"[CLS]","sep_token":"[SEP]","mask_token":"[MASK]"}},"createdAt":"2022-03-02T23:29:05.000Z","discussionsDisabled":false,"downloads":5272,"downloadsAllTime":508495,"id":"rinna/japanese-gpt2-medium","isLikedByUser":false,"isWatchedByUser":false,"inference":"not-popular-enough","lastModified":"2024-07-20T07:50:47.000Z","likes":75,"pipelin
「gpt2-japanese」の「smallモデル」と「ファインチューニングのコード」が公開されたので、日本語によるGPT-2のファインチューニングを試してみました。 前回 (1) Google Colabのノートブックを開く。 (2) メニュー「編集→ノートブック→ハードウェアアクセラレータ」で「GPU」を選択。 (3) 以下のコマンドで、「gpt2-japanese」をインストール。 # gpt2-japaneseのインストール !git clone https://github.com/tanreinama/gpt2-japanese %cd gpt2-japanese !pip uninstall tensorflow -y !pip install -r requirements.txt2. モデルのダウンロード「smallモデル」を「gpt2-japanese」フォルダにダウン
OpenAIはGPT-2に含まれる約30万個のニューロンそれぞれの挙動の説明文や点数をまとめたデータセットをオープンソース化。「研究コミュニティーがより良い分析技術やツールを開発することを期待する」としている。 関連記事 米バイデン政権、OpenAIなどAI関連4社のCEOを招き「責任あるイノベーション」促す 米バイデン政権は、Google、OpenAI、Microsoft、AnthopicのCEOをホワイトハウスに招集。AI開発に関する「率直で建設的な議論が行われた」としている。 “AIのゴッドファーザー”ことヒントン博士、Googleを退社してAI開発に警鐘 “AIのゴッドファーザー”の二つ名を持つジェフリー・ヒントン博士がGoogleを辞めた。New York Timesのインタビューで「Googleを辞めたので、AIのリスクについて自由に話せるようになった」と語った。企業がAIシス
GPT-2: 1.5B release
As the final model release of GPT-2’s staged release, we’re releasing the largest version (1.5B parameters) of GPT-2 along with code and model weights to facilitate detection of outputs of GPT-2 models. While there have been larger language models released since August, we’ve continued with our original staged release plan in order to provide the community with a test case of a full staged release
こんにちは．AIチームの二宮です． 本記事では，最近話題のPrompt-tuningのご紹介と，実装・実験・分析を行ってみました． はじめに 近年，言語モデルの大規模化が著しいです．例えば，huggingfaceで公開されている日本語版のいくつかの言語生成モデルGPTのパラメタ数は以下になります． (M: million, B: billion) rinna/japanese-gpt2-xsmall: 37M rinna/japanese-gpt2-medium: 336M rinna/japanese-gpt-1b: 1.3B abeja/gpt-neox-japanese-2.7b：2.7B naclbit/gpt-j-japanese-6.8b：6.8B BERT-baseが約110M，BERT-largeが約340Mであることを考えると，非常に大規模であることを実感しますね．最近話
We study empirical scaling laws for language model performance on the cross-entropy loss. The loss scales as a power-law with model size, dataset size, and the amount of compute used for training, with some trends spanning more than seven orders of magnitude. Other architectural details such as network width or depth have minimal effects within a wide range. Simple equations govern the dependence
3つの要点 ✔️ GPTシリーズのような汎化性能の高いモデルでさえ訓練データを記憶してしまい、それが情報流出につながる ✔️ GPT-2に実際に攻撃をしかけ、最大67%の精度で訓練データを抽出することに成功している ✔️ 大きなモデルほど訓練データを記憶する能力が高く、昨今のモデルを巨大化させる風潮に一石を投じた重要な論文となっている Extracting Training Data from Large Language Models written by Nicholas Carlini,Florian Tramer,Eric Wallace,Matthew Jagielski,Ariel Herbert-Voss,Katherine Lee,Adam Roberts,Tom Brown,Dawn Song,Ulfar Erlingsson,Alina Oprea,Colin Raff
オープンAIは、機械学習技術を利用して、画像の半分から残り半分を予測し、1つの画像を完成させられるAIシステムを開発した。以前に開発した驚くほど自然な「フェイクニュース」を量産できる文章作成ツールの画像版だ。 by Karen Hao2020.07.22 24 18 6 6 サンフランシスコに拠点を置く非営利の研究機関オープンAI（OpenAI） は2019年2月、もっともらしい英語の文章を書ける人工知能（AI）システムを発表した。「GPT-2」と呼ばれるこのAIシステムに文章や段落の冒頭部分を入力すると、AIが文章の続きを勝手に考えてくれるというものだ。GPT-2はエッセー程度の長さの文章まで生成でき、その内容はまるで人間が書いた文章のように一貫性がある。 そして今、オープンAIは、GPT-2と同じアルゴリズムに、画像の一部を与えたら何が起きるのかを探っている。重大な影響力と可能性に満ち
パラメタ数1.5Bのgpt2-XLを学習した話
この度、gpt2論文を参考に最大サイズのgpt2の日本語版モデルを学習し公開いたしました。 この記事では学習にあたり工夫した点や問題点等を書き連ねます。シングルノードですが比較的大きなモデルを学習しているので知見などを共有できればと思います。 なお学習はA100(40gb)8枚のノードを使って合計70日程かけて学習しました。 現在公開されているdecoder系モデルのうち今回作成したモデルに近い規模のモデルは知る限り2つあり、こちらはgpt3論文を参考にパラメタ設定をしていると考えられ、今回作成したモデルとは層の深さと隠れ層の次元が異なります。 https://huggingface.co/rinna/japanese-gpt-1b https://huggingface.co/yellowback/gpt-neo-japanese-1.3B rinna/japanese-gpt-1bは生
ソーシャル AI チャットボット「りんな」に最新会話エンジン「コンテンツチャットモデル」を採用 - News Center Japan
すべての Microsoft 製品 Global Microsoft 365 Teams Copilot Windows Surface Xbox セール 法人向け サポート ソフトウェア Windows アプリ AI OneDrive Outlook Skype OneNote Microsoft Teams PC とデバイス Xbox を購入する アクセサリ VR & 複合現実 エンタメ Xbox Game Pass Ultimate Xbox とゲーム PC ゲーム Windows ゲーム 映画とテレビ番組 法人向け Microsoft Cloud Microsoft Security Azure Dynamics 365 一般法人向け Microsoft 365 Microsoft Industry Microsoft Power Platform Windows 365 開発者
Gradio | Hub
Run predictions from state-of-the-art machine learning models right from your browser. Use intuitive GUIs, no preprocessing or coding required! You can upload your own models here by logging into your Gradio account with GitHub and uploading a GitHub repository. Star
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper and first released at this page. Disclaimer: The team releasing GPT-2 also wrote a model card for their model. Content from this model card has been written by the Hugging Face tea
TextSynth
TextSynth provides access to large language or text-to-image models such as Mistral, Mixtral, Llama2, Stable Diffusion, Whisper thru a REST API and a playground. They can be used for example for text completion, question answering, classification, chat, translation, image generation, speech to text transcription, ... TextSynth employs custom inference code to get faster inference (hence lower cost
はじめに 今回はrinnaのjapanese-gpt-mediumを用いた文章生成を行なっていきます。 また、芥川龍之介の小説のデータを用いてfine-tuningを行って見るところまでをしてみようと思います！果たして、芥川っぽい小説が完成するのか楽しみですね、、、！ 開発環境
![[自然言語処理][GPT2]GPT2で日本語文章生成 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/512141722a938f104bb875bf8947b508330b0328/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-f625e957b80c4bd8dd47b724be996090.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU4JTg3JUFBJUU3JTg0JUI2JUU4JUE4JTgwJUU4JUFBJTlFJUU1JTg3JUE2JUU3JTkwJTg2JTVEJTVCR1BUMiU1REdQVDIlRTMlODElQTclRTYlOTclQTUlRTYlOUMlQUMlRTglQUElOUUlRTYlOTYlODclRTclQUIlQTAlRTclOTQlOUYlRTYlODglOTAmdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ21pZGRsZSZzPWQ4MjFkNDc5NzY4ZGQwMDc0NjYxZDg1MDFjNzdjM2Y1%26mark-x%3D142%26mark-y%3D151%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwWXVfdW5JMSZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTMyJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NmM3NmM0MDEyZmU0MDYyNTRmM2MyZWE4MWNiMGM5Yzc%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Db14ed704e83a69174f7606c1ccc35d9f)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChatGPTを探す旅に出させていただきます | DevelopersIO
rinna社、日本語に特化したGPT-2の大規模言語モデルを開発しオープンソース化
rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習 | Ledge.ai
「危険すぎる」と話題の文章生成AI「GPT-2」の最新版がリリース、実際に使えるデモサイトも登場
GPT in 60 Lines of NumPy | Jay Mody
13億パラメーターを持つGPT言語モデルをrinnaが公開、日本語に特化
https://jp.techcrunch.com/2021/08/30/rinna-gpt-2-roberta-oss/
gpt2-japaneseの使い方 (1) - mediumモデルによる日本語テキスト生成｜npaka
OpenAIの共同設立者が「GPT-2」をわずか90分の時間と3100円の費用で再現するレポートを公開
半分だけの画像でも全体像を自動生成するAIをOpenAIが発表 | Ledge.ai
GPTでKey作品の名言から文章を生成してみた - ABEJA Tech Blog
【GPT徹底解説】#2 教師ありデータはもう必要ない!GPT-2登場 ~ChatGPT凄さの根源~
rinna/japanese-gpt-1b · Hugging Face
rinna社、日本語に特化した13億パラメータのGPT言語モデルを公開
rinna/japanese-gpt2-medium · Hugging Face
gpt2-japaneseの使い方 (2) - GPT-2のファインチューニング｜npaka
AIの挙動をAIで自動分析 OpenAI、モデルの理解や改善に向け一歩前進
【PyTorch】GPTをPrompt-tuningしてみた | 株式会社AI Shift
Scaling Laws for Neural Language Models
巨大言語モデルに潜む大きなリスク？！巨大言語モデルから情報が流出する脆弱性を示した重要な論文の紹介！
画像の半分から残りを生成、オープンAIがGPT-2を応用
openai-community/gpt2 · Hugging Face
[自然言語処理][GPT2]GPT2で日本語文章生成 - Qiita