ChatGPTで自然言語処理は終わるのか？で始まった知性・感性の再定義｜ysk_moto
言語処理学会第29回年次大会(NLP2023) に参加しています。 そこで、予定のプログラムの昼休みをつぶして緊急パネルディスカッションが開催されました。 「緊急パネル：ChatGPTで自然言語処理は終わるのか？」 https://www.anlp.jp/nlp2023/#special_panel 本投稿では、その内容を少しだけ振り返ると共に、私の所感も添えて述べたいと思います。 １．パネルの概要東北大学の乾先生がファシリテーションされながら、以下の方々が5分ずつくらいライトニングトークして、その後残り時間でslackの質問を拾いながらフリー議論という形式でした。 ライトニングトークといってもしっかりプレゼンテーションされていて、それぞれ短時間でご自身のスタンスや考えをまとめられていて、さすがでした。 なお、プレゼンテーションスライドは参加登録者のみの取り扱いで、学会参加者に告知されてあ
GPT-3を使って自分だけのAIアシスタントを作る第一歩 - Taste of Tech Topics
皆さんこんにちは。健康診断の結果がちょっと気になる年齢になってきたSsk1029Takashiです。 GPT-3を扱ってチャットボット作ってみる記事の第2弾になります。 第1弾のこちらもぜひご覧ください。 acro-engineer.hatenablog.com 前回は質問応答システムとしてGPT-3を活用しましたが、今回はAIアシスタントとしてGPT-3を活用してみます。 AIアシスタントとは何かというと、Google Homeのように命令を入力すると、それに沿った処理を実行してくれるシステムを指します。 ChatGPTとの違いは命令の結果は必ずしも文章生成だけではないということです。 ChatGPTでは文字列を入れて、要求に沿った文字列を返します。 対して、AIアシスタントでは、カレンダーに予定を入力したり、アラームを設定したりなど、具体的なタスクを実行します。 この記事では、前回に続
UTH-BERT: a BERT pre-trained with Japanese clinical text – 医療AI・デジタルツイン開発学講座
Abstract This page publishes a Bidirectional Encoder Representations from Transformers (BERT) model that was pre-trained with a huge Japanese clinical text (approximately 120 million lines). This model is released under the Creative Commons 4.0 International License (CC BY-NC-SA 4.0). To develop the model, we leverage the Tensorflow implementation of BERT published by Google on this page. This stu
)
BERT (言語モデル) - Wikipedia
BERT 以前の多くの言語モデルは事前学習に単方向性（英: unidirectional）のタスクを採用しており[4]、学習された表現も単方向の文脈しか考慮しないものであった。この制約は文脈レベルの表現が必要なタスクの性能へ大きなペナルティを与えうる。 後述するMLM により双方向に依存するモデルを採用可能になったことから、BERT ではネットワークとして双方向性の Transformerアーキテクチャ (Bidirectional Encoder[5] of Transformer) を採用した[6]。すなわち self-attention による前後文脈取り込みと位置限局全結合による変換を繰り返すネットワークを用いている。 BERTは、トークン化にWordPieceを使用して、各英単語を整数コードに変換する。その語彙数は30,000である。語彙に含まれないトークンは、「不明」（unkn
言語モデル - Wikipedia
言語モデル（げんごモデル、英: language model）は、単語列に対する確率分布を表わすものである[1]。 解説[編集] 言語モデルは、長さがm個の単語列が与えられたとき、その単語列全体に対しての確率 を与える。この確率分布は、1つまたは複数の言語のテキストコーパスを使用して、言語モデルを訓練することによって得られる。しかし、言語は無限に有効な文を表現することができるため[注釈 1]、言語モデリングは、訓練データでは遭遇しないような言語的に有効な単語列にゼロでない確率を割り当てることが課題となる。この問題を克服するために、マルコフ仮定や、回帰型ニューラルネットワークあるいはトランスフォーマー（transformer）などのニューラルアーキテクチャなど、さまざまなモデリング方法が考案されている。 言語モデルは、計算言語学におけるさまざまな問題に役立っている。当初は、低確率で無意味な単
GPT-3の衝撃 - ディープラーニングブログ
この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Foundation model - Wikipedia
ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送
事前学習（Pre-training）と下流タスク（Downstream Tasks）とは？
A Beginner's Guide to GPT-3
カルテ情報から病気を推論、自然言語処理の医療応用
フリーで使える日本語の主な大規模言語モデル（LLM）まとめ