超重要な基盤技術「Attention」、Transformerがなぜ画期的なのかを知る
対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 実は、エンコーダーとデコーダーに用いられている「RNN」（Recurrent Neural Network）には、欠点があります。それは、長い文章が苦手だということです。 なぜ苦手かというと、以下の2つのポイントからそのように言えます。 （1）RNNでは、翻訳元文章全体の特徴を記憶できるサイズが固定されている。そのため、文章が長くなり単語の数が増えるほど、エンコーダーにおいて、文章の前の方で出現した単語の意味が薄まってしまう。 （2）RNNでは、単語を1つずつニューラルネットワークで処理する。そのため、単語の数が多くなればなるほど処理時間がかかってしまう。 ですので、RNNが持つこうした欠点を解消するための仕組み
しばらく使ってわかったがChatGPTは「中央値のアウトプット」を出すのを得意とするので人間には「外れ値のアウトプット」が求められていくようになる
山口周 @shu_yamaguchi しばらく使ってみてわかったんですけど、ChatGPTは「中央値のアウトプット」しか出せないですね。裏側で統計が動いているのがよくわかる。となると人間には「外れ値のアウトプット」が求められるということです。自分の仕事のアウトプットが中央値寄りなのだとするとちょっと危ないかもしれません。 山口周 @shu_yamaguchi 慶應義塾大学文学部哲学科、同大学院文学研究科修士課程終了／電通、BCG等を経て現在は独立研究者／著作家／アクティヴィスト／J-WAVE番組ナヴィゲーター／一橋大学経営管理研究科、神山まるごと高専他の教員／人文科学と経営科学の交差点に棲息／コメントやリプライは基本的に確認しておりませんので悪しからず
GPTが出した回答の確からしさを見えるようにしてみる - Taste of Tech Topics
皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 この記事はGPTでチャットボットを作ってみるシリーズ第3弾です。 第1弾と第2弾もぜひご覧ください。 acro-engineer.hatenablog.com acro-engineer.hatenablog.com 第1弾では、GPTになるべく正確な回答をさせるために、回答の情報を持つ文書を検索し、それをもとに回答を生成するという内容を試しました。 文書をもとに回答を生成することで比較的正確な回答を取得することができました。 ただし、この回答も必ずしも正確な回答とは限らないので、どれくらい信頼していいのかを自動で判定する仕組みが欲しくなります。 今回は第1弾のシ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
