2024年3月22日のブックマーク (2件)

  • OpenAIのライバル、Cohere共同創業者が一押しするAI幻覚対策の切り札「Rerank」

    大規模言語モデル(LLM)の弱点であるハルシネーション(幻覚)への対策として、最も期待されているのはRAG(Retrieval-Augmented Generation、検索拡張生成)だ。RAGに強みを持つカナダのスタートアップ、Cohere(コーヒア)のNick Frosst(ニック・フロスト)共同創業者は、RAGの高度化に「Rerank(再順位付け)」という技術が欠かせないと指摘する。 RAGはLLMに対して、事前学習した知識だけでなく外部の知識情報も参照させてテキストを生成させる手法だ。RAGを活用すれば、企業の内部情報に基づいた回答をLLMに生成させることも可能であるため、LLMがデタラメな回答を出力するハルシネーションへの対策として有望視されている。 LLMと検索を組み合わせるのが「RAG」 RAGは「検索拡張生成」というネーミングが示すとおり、LLMに参照させる知識情報の選択に

    OpenAIのライバル、Cohere共同創業者が一押しするAI幻覚対策の切り札「Rerank」
    macro1597
    macro1597 2024/03/22
  • Evolutionary Optimization of Model Merging Recipes

    We present a novel application of evolutionary algorithms to automate the creation of powerful foundation models. While model merging has emerged as a promising approach for LLM development due to its cost-effectiveness, it currently relies on human intuition and domain knowledge, limiting its potential. Here, we propose an evolutionary approach that overcomes this limitation by automatically disc

    macro1597
    macro1597 2024/03/22