拡散確率モデル (1) スコアマッチング このノートブックは拡散確率モデルに基づく新しいクラスの生成モデルを調べます [1]。このクラスのモデルは熱力学からの考察にインスパイアされていますが [2]、ノイズ除去スコアマッチング [3]、ランジュバン動力学と自己回帰デコーディングへの強い類似性もまた持っています。ノイズ除去拡散暗黙モデル [4] のより最近の開発についても考察します、これはサンプリングを高速化するためにマルコフ連鎖の必要性を迂回します。このワークに由来し、wavegrad モデル [5] についても考察します、これは同じコア原理に基づきますが、音声データのためにこのクラスのモデルを適用しています。 拡散モデルの内部動作を完全に理解するため、関連トピックの総てをレビューします。そのため、説明を 4 つの詳細なノートブックに分割します。 スコアマッチングとランジュバン動力学。 拡
人々の日常生活におけるコミュニケーションの形態が多岐にわたる中、人工知能(AI)との対話も一般的になりつつあります。スマートフォンのアシスタントからカスタマーサポートのチャットボットまで、AIとの会話は私たちの生活の一部となっています。 しかし、大規模言語モデル(LLM)のチャットボットでさえも、人間と同じように長い会話を維持するのは容易ではありません。特に、会話が長くなると、一貫性のある応答を返すことが難しくなることが多いのです。 そこで、この記事では、最新の研究「MemoChat: Tuning LLMs to Use Memos for Consistent Long-Range Open-Domain Conversation」に焦点を当てます。この研究では、LLMが長い会話でも一貫性を保ち、人間のような対話を提供できるようにするための新しい方法が提案されています。 この記事を通し
情報通信研究機構(NICT)が1790億パラメーターの大規模言語モデル(LLM)の開発を進めている。高品質な日本語データを学習させており、日本社会の常識を備えたモデルになると期待される。NICTが学習データを保有しているため、データとモデルの両面から誤情報生成の対策を検証できる。これは日本が人工知能(AI)を使いこなし、リスクに対応していく知見になる。NICTは産学官に成果を提供する。 「学習途中だが、出来はいまいち。この苦労がLLM開発の基礎になる」―。NICTの鳥澤健太郎フェローは開発中のLLMの手応えをこう説明する。 7月に400億パラメーターのLLMを発表し、現在は1790億パラメーターのLLMを開発中だ。巨大なAIモデルの学習はリスクが高い。学習の途中で計算が破綻することがたびたび起こるのだ。 そこで破綻を防ぎつつ精度の高い計算を限られたメモリーで実行することがノウハウになる。例
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く