ChatGPTのコンテキストを英語要約の文書ベクトルで作る｜ふたたか
先日こちらの記事を書いたのですが、コンテキストのウィンドウが4096トークンしかない問題があり、あまり良い結果が得られませんでした。 そこで改善策として、次の点を実施してみました。 記事を要約することで、コンテキストに詰め込める情報量を増やす。 英語に翻訳する。日本語に比べるとトークン数が半減する。また、英語の方が精度が上がる。 ドキュメントを要約＆翻訳する今回もライブドアニュースを使用します。 openai.ChatCompletion.create()を使用して要約します。出力は英語になります。 プロンプトは以下のようになります。要約後のトークンが4096になるようにします。 {"role": "system", "content": '''summarize this document for me and keep the summary to around less than 4
いろんなT5からSentence Embeddingをとって遊ぶ | Shikoan's ML Blog
自然言語処理モデルT5を使って文章単位の埋め込み量（Sentence Embedding）を取得することを考えます。T5のEmbeddingはトークン単位ですが、平均を取ることで、簡単に文章単位に変換できます。Sentence T5としてモデルが公開されていない場合でも、既存のT5から自在に特徴量を取得できることを目標とします。Flan-T5からSentence Embeddingをとって見たりします。 はじめに 普段画像処理ばっかりやってる自然言語処理素人だけど、Imagenで使っていたり、Unified IOがベースにしていたり、何かとT5を聞きますよね。 調べていたらtransformersのライブラリから簡単に利用できることがわかったので、今回遊んでいきたいと思います。このブログでは珍しいNLPの内容です。 問題点 （自然言語処理やっている人には当たり前かもしれませんが、）一つ問題
【論文解説】自然言語処理と画像処理の融合 - OpenAI 『CLIP』を理解する
今回はOpenAIの『CLIP(Contrastive Language-Image Pre-training)』を解説したいと思います。 CLIPは画像の分類に利用されるモデルですが、今までのモデルと何が違うかというと、自然言語処理の技術を応用する点です。 一般的な画像分類では、たくさんの画像を用意して、それぞれ対して犬、猫、リンゴ、などのラベルをつけます。 それを教師データとして学習します。 しかしながら、その方法には以下のような問題点があります。 ラベル付けに非常にコストがかかる。ラベルの種類が限定的で、学習対象の種類についてはうまく分類できるが、初めて見る対象(例えば、犬と猫を学習して、果物を分類するなど)については分類精度が低い。 CLIPでは、こういった問題に取り組んでいきます。 ちなみに、CLIPはモデルの仕組みではなく事前学習方法ですので、モデル自体はResNetやVisi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
