オープンソースモデルでも力を合わせればGPT-4oに匹敵することを示す「Mixture-of-Agents（MoA）」アーキテクチャ | AIDB
背景 LLMは、人の好みに合わせて調整することで、より便利で一貫性のある文章を作れるようになってきました。しかし、モデルのサイズや学習データには限界があり、単純に大きくすることで性能を上げるには莫大な費用がかかります。 一方で、LLMは種類によって得意なことが違います。例えば、複雑な指示に従うのが得意なモデルや、コードを書くのが得意なモデルなどがあります。 そこで、研究者たちは新しいアイデアを思いつきました。それは、異なる得意分野を持つLLMを組み合わせることです。 例えば、複雑な指示を理解するのが得意なモデルと、プログラミングコードを生成するのが上手なモデルを組み合わせれば、より高性能で柔軟になるのではないか、と考えたのです。 これまでにも、複数のLLMを組み合わせて使う方法はいくつか提案されてきました。例えば、出力された文章の順位を変えたり、どのモデルを使うかを選んだりする方法がありま
DeepMindの研究者らが有効性を検証した、LLMに自ら高品質な訓練データを生成させる「自己学習」 | AIDB
DeepMindの研究チームは、現在の大規模言語モデル（LLM）は人間によって生成されたデータに過度に依存しており、LLMの発展にとって望ましい状況ではないと考えました。 この問題に対処するために、彼らはLLMが自律的に高品質な訓練データを生成し、データセットを自ら拡充する「自己学習」アプローチの有効性を検証しました。 実施された実験では、自己生成データによって、数学やコード生成の分野におけるLLMの能力が顕著に向上したことが確認されました。 本記事では、研究内容を詳しく見ていきます。 参照論文情報 タイトル：Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models 著者：Avi Singh et al.（多数） 所属：Google DeepMind URL：https://doi.o
ChatGPTで「論文から非常に正確なデータ抽出」ができるとの報告 | AIDB
科学研究において、大量の文献から必要な情報を抽出することは非常に重要な作業です。しかし、手動での抽出は非常に時間がかかる上、誤りが発生する可能性もあるため、自動化が求められていました。 そこで、ウィスコンシン大学の研究者らは対話型AIを活用したデータ抽出手法「ChatExtract」を提案し、ChatGPTを使用した高精度なデータ抽出を実証しました。 プロンプトを工夫することによって前提条件の入力なしに論文から高精度なデータ抽出を行うのは、ChatGPTだけでなく他の対話型AIでも使えるテクニックとのことです。 注目すべきポイント 科学研究において、大量の文献から必要な情報を抽出することは非常に重要な作業である。 手動での抽出は非常に時間がかかる上、誤りが発生する可能性もあるため、自動化が求められていた。 対話型AIを活用したデータ抽出は、プロンプトとフォローアップの質問を工夫し、情報の正
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
