RAGを複雑な質問に強くする手法「CoA」について
本記事では、「Chain-of-Abstraction (CoA) Reasoning」についてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは普段の業務で、生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、最近聞くようになった「Chain-of-Abstraction (CoA) Reasoning」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー LLMが外部ツールを使って回答を生成するときの、回答精度を高める手法についての論文です。Metaの研究者らによって2024年1月に提案されました。「Chain-of-Abstraction (CoA)」という手法を使うメリットは、RAGに応用することで
「絵が上手いの、ずるい」と言われた
子どもたちと接する機会があり、一緒に絵を描いていたらその親？に言われた。 子どもたち「絵、うま！どうして？」 「君たちくらいのころから描き続けていたからだよ」 親「え～ｗ最初から上手だったんだｗ」 「最初はこの子たちより下手でしたよ～」 親「ないないｗ最初から上手いから描き続けるんだよｗいいな～ずるいよねｗ」 子どもの前で何をいってんだこいつ…と思いながらその場は適当にあしらった。 こいつに初めて描いた絵を見せたいもんだ。 ただのぐちゃぐちゃの線だぞ。 最近はオタク文化が根付いたのか絵描く子多いから今の子の方が上手いだろ。（おそらく） というか「ずるいよねｗ」ってなんだ…。ずる…？ ふと絵描き人生でも振り返るかと思い、吐き出しがてらここに投げることにした。 ＊ 初めて絵を描いたのは覚えていない。物心ついたときから暇だったら絵を描いていた気がする。 幼稚園で一番好きなのは絵を描くとき。 想像
ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される
さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transformer」構造の心臓部「Attention(アテンション)」についての解説が行われています。 3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning https://www.3blue1brown.com/lessons/attention AIの中身と言える大規模言語モデルのベースとなる仕事は「文章を読んで次に続く単語を予測する」というものです。 文章は「トークン」という単位に分解され、大規模言語モデルではこのトークン単位で処理を行います。実際には単語ごとに1トークンという訳ではありませんが、3Blue1Brownは単純化して
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
焦げつくフライパンを3000枚集めて研究！張りつかない冷凍餃子【ひるおび】 | TBS NEWS DIG