【自然言語処理】日本語GPT-2モデルをファインチューニングして文章生成をやってみる
はじめに 2022年11月にOpenAIが公開したchatGPTの反響が凄いですね。 公開6日目にして100万人がユーザー登録したとか。 今のところは、無料で使うことができますが、いずれは利用が制限されるかもしれませんね。 ここでは、chatGPTよりは精度が落ちますが、無料で使うことができて、日本語に特化した事前学習済みモデルもあるGPT-2を採り上げ、文章生成にチャレンジしたいと思います。 具体的にはrinna社が開発したGPT-2モデルを使用します。 事前学習済みモデルだけでもそれなりの文章を生成できますが、せっかくなので、特定のドメインでファインチューニングさせてみて、文章生成をしていきたいと思います。 rinna社の日本語GPT-2の特徴 言語モデルは、会話や文章の「人間が使う言葉」を確率としてモデル化したものです。優れた言語モデルとは、確率を正確に推定できるものを指します。例え
プログラミング言語を作る/crowbar ver.0.1の実装について
全体構成 まずはcrowbar ver.0.1のソースコードに GLOBAL をかけてみました。 ここから参照可能です。 細かい不具合修正を全バージョンに対して行うのは大変ですので、 ver.0.1系列はver.0.1.01に統合しました。 ここから参照してください。 crowbar ver.0.1は全体で3つのモジュールから構成されています。 crowbar本体(CRB) メモリ管理モジュール(MEM) デバッグライト用モジュール(DBG) MEMとDBGは汎用的なライブラリモジュールであり、 crowbarに特化したものではありません。 ソースはそれぞれcrowbar配布ディレクトリの下の memory, debugというディレクトリに存在します。 なお、ここで私が「モジュール」と言っているのは、 「ある特定の機能を持つプログラムの固まり」のことです。 モジュールにはたいてい複数の.c
private キーワード - C# リファレンス - C#
private キーワードはメンバー アクセス修飾子です。 このページでは、private アクセスについて説明します。 private キーワードも private protected アクセス修飾子に含まれます。 プライベート アクセスは、最も制限の多いアクセス レベルです。 次の例に示すように、プライベート メンバーは、宣言されているクラスまたは構造体の本体内でのみアクセスできます。 class Employee { private int _i; double _d; // private access by default } 同じ本体にある入れ子にされた型も、プライベート メンバーにアクセスできます。 プライベート メンバーへの参照を、クラスの外側やメンバーが宣言されているクラスの外側から行った場合は、コンパイル時のエラーが発生します。 private とその他のアクセス修飾子
GPT-3で遊んでみた - Qiita
昨日の@hcpmiyukiさんの記事では、Supabaseという今あついBaaSについて書いてくれました！ MYJLab Advent Calendar 2021の3日目はGPT-3に関してです 論文を要約してAPIで遊びます GPT-3とは イーロン・マスク氏が共同会長を務める非営利のAI研究企業であるOpenAIが発表した、汎用言語モデルの3世代目です ネット上のテキストの次の単語を予測するためだけに訓練されたTransformerベースの自己回帰言語モデルで、なんと1750億個のパラメータで動作するそうです あまりの精度の高さに以前話題沸騰でした This is mind blowing. With GPT-3, I built a layout generator where you just describe any layout you want, and it generat
GPT-2 - Wikipedia
Generative Pre-trained Transformer 2（GPT-2） は、2019年2月にOpenAIによって開発されたオープンソースの人工知能ソフトウェアである[1][2][3][4]。GPT-2は、テキストを翻訳し、質問に答え、文章の要約を行い[5]、時には人間と見分けがつかないようなテキスト出力を生成するが[6]、長い文章を生成すると繰り返したり意味不明な表現になることもある[7]。GPT-2は、多目的学習器であり、特定のタスク（仕事）を行うための特別な訓練を受けてはおらず、これらのタスクを行う能力は、任意の順序で次の項目を正確に合成する一般的な能力の延長線上にある[8][5]。GPT-2は、OpenAIの2018年版GPTモデルの「スケールアップ版」として構築され[9]、パラメータ数と訓練用データセットがともに10倍に増加した[4]。 GPTアーキテクチャは、ディ
「JoeyNMT」で音声データを使った自動音声認識、音声翻訳モデルを作る
「JoeyNMT」で音声データを使った自動音声認識、音声翻訳モデルを作る：「Python＋PyTorch」と「JoeyNMT」で学ぶニューラル機械翻訳（終） 精度向上により、近年利用が広まっている「ニューラル機械翻訳」。その仕組みを、自分で動かしながら学んでみましょう。第3回は「JoeyNMT」を音声に対応させて、音声認識や音声翻訳のタスクをエンドツーエンドで解くモデルを構築してみましょう。 ハイデルベルク大学の博士課程に在籍しながら、八楽という会社で「ヤラクゼン」の開発に携わっている太田です。ヤラクゼンは、AI翻訳から翻訳文の編集、ドキュメントの共有、翻訳会社への発注までを1つにする翻訳プラットフォームです。 第2回は、Discordのチャットbotでニューラル機械翻訳を試す方法と「JoeyNMT」のカスタマイズ方法を紹介しました。第3回は「JoeyNMT」を音声に対応させて、音声認識や
日本語は特殊な言語である（かどうかWALS Onlineを使って調べてみよう） - 思索の海
はじめに 「日本語は特殊な言語である」系のお話には時々反応していて，下記のように記事にしたこともあるのですが， 日本語特殊論絡みで少しだけ - 思索の海 オノマトペと「日本語の脳」に関する日本語特殊論 - dlitの殴り書き 「言語を比べるのはなかなか難しい」とか「オノマトペや敬語が豊かな言語は日本語の他にもある」という話にある程度納得できても，「日本語にもちょっとぐらい変わったところがあるのでは…」ということが気になる人はいるのではないでしょうか。 というわけで，WALSという世界の言語に関するデータベースを使ってほんとうに日本語は特殊ではないのか調べてみましょう。 WALSとは “WALS”は“World Atlas of Language Structures”の略称で，世界の様々な言語がどのような特徴を持つのか，その特徴ごとに見ることができるデータベースです。現在，オンライン版を無
消えゆく「Whom」、文法上の誤りとの戦い
ツイッターのユーザーが自分のホームページを開くと、画面の上部にボックスが表示される。その中には、グレーの文字でこう書かれている。「Who to follow（フォローすべき人）」と。
GitHub - google/budou: Budou is an automatic organizer tool for beautiful line breaking in CJK (Chinese, Japanese, and Korean).
Budou is in maintenance mode. The development team is focusing on developing its successor, BudouX English text has many clues, like spacing and hyphenation, that enable beautiful and legible line breaks. Some CJK languages lack these clues, and so are notoriously more difficult to process. Without a more careful approach, breaks can occur randomly and usually in the middle of a word. This is a lo
PICO-8 Fantasy Console
Welcome to PICO-8! PICO-8 is a fantasy console for making, sharing and playing tiny games and other computer programs. It feels like a regular console, but runs on Windows / Mac / Linux. When you turn it on, the machine greets you with a commandline, a suite of cartridge creation tools, and an online cartridge browser called SPLORE.
TensorFlow Tutorialの数学的背景 − Vector Representations of Words - めもめも
何の話かというと 本シリーズでは、これまで、CNNによる画像分類タスクを中心に解説してきました。ここでは、少し方向性を変えて、NLP（Natural Language Processing/自然言語処理）のタスクを取り上げます。Tutorialでは、Vector Representations of Wordsとして取り上げられているものです。 特徴ベクトルと「意味」の関係 本題に入る前に、「特徴ベクトル」について復習しておきます。 enakai00.hatenablog.com 上記の記事では、データを分類する際は、データそのものを見るのでなく、データから得られる「特徴変数」を見るとうまくいくことを説明しました。一般に特徴変数は複数あるので、これらを並べたベクトルを考えて、「特徴ベクトル」と言ってもよいでしょう。そして、特徴ベクトルの値によってデータがうまく分類できるということは、特徴ベ
Rubyist Magazine - スはスペックのス 【第 1 回】 RSpec の概要と、RSpec on Rails (モデル編)
『るびま』は、Ruby に関する技術記事はもちろんのこと、Rubyist へのインタビューやエッセイ、その他をお届けするウェブ雑誌です。 Rubyist Magazine について 『Rubyist Magazine』、略して『るびま』は、Rubyist の Rubyist による、Rubyist とそうでない人のためのウェブ雑誌です。 最新号 Rubyist Magazine 0063 号 バックナンバー Rubyist Magazine 0063 号 Rubyist Magazine 0062 号 Kaigi on Rails 特集号 RubyKaigi Takeout 2020 特集号 Rubyist Magazine 0061 号 Rubyist Magazine 0060 号 RubyKaigi 2019 直前特集号 Rubyist Magazine 0059 号 Rubyist
[翻訳] Elixir - 次に来る大物Web言語 - Qiita
Lau Taarnskovさんの2015年4月19日付のブログ記事、Elixir - The next big language for the webの翻訳です。 ElixirはErlangのVM上で走る、Rubyにちょっと似た(というのも作者(José Valim)がRuby on Railsのcoreチームメンバーなので)関数型言語です。 2012年に登場していてQiitaでもAdvent Calendarなどが既にあるようですがまだあまり知られていないですね。ElixirとPhoenix Frameworkを組み合わせたものがマイクロ秒のオーダーで反応が帰る爆速だそう(ホントかな～)で興味を持ちました。 しかしほんの10年前ぐらいの話がもう遥かな昔話に聞こえますね…。 (追記：実際にプログラムを書いてみました → Elixirで試しに何か書いてみる(その1) Elixirで試しに何
![[翻訳] Elixir - 次に来る大物Web言語 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/121714e7b4f81ef20eb5afb0875033b81e48e09c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU3JUJGJUJCJUU4JUE4JUIzJTVEJTIwRWxpeGlyJTIwLSUyMCVFNiVBQyVBMSVFMyU4MSVBQiVFNiU5RCVBNSVFMyU4MiU4QiVFNSVBNCVBNyVFNyU4OSVBOVdlYiVFOCVBOCU4MCVFOCVBQSU5RSZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9MWU0NmFjZWU5MWRhZWFiZGE3YmU0MWQ5NmY0OGM3ZDE%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBIaXJvZnVtaVRhbW9yaSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MmFiZjZlMDgzMmY4MmIzNzc2NmE5YWIyNDYxOTg3MGU%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D7d3c2eaf0d32601c0465fa36a051d518)
Rails Internationalization (I18n) API — Ruby on Rails Guides
The Ruby I18n (shorthand for internationalization) gem which is shipped with Ruby on Rails (starting from Rails 2.2) provides an easy-to-use and extensible framework for translating your application to a single custom language other than English or for providing multi-language support in your application. The process of "internationalization" usually means to abstract all strings and other locale
Getting Started with Rails
This guide covers getting up and running with Ruby on Rails. After reading this guide, you will know: How to install Rails, create a new Rails application, and connect your application to a database. The general layout of a Rails application. The basic principles of MVC (Model, View, Controller) and RESTful design. How to quickly generate the starting pieces of a Rails application. 1 Guide Assumpt
Elixir - The next big language for the web
In this article I will explain why I think the Elixir language will make a big impact in the world of web development. From obscurity to the default choice First a short tale of another language that went from being largely unknown to very well known: In 2003 I started using Ruby. A classmate from university was about to release a web framework for it. You could write software with much fewer line
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
C++20 - cpprefjp C++日本語リファレンス
http://www.gembook.org/2011-03-11.html
NameBright - Domain Expired
新着記事
