arXivから2024年のLLMトレンド追ってみた

はじめに こんにちは、株式会社松尾研究所 シニアデータサイエンティストの清水です。本記事は、松尾研究所 Advent Calendar 2024の記事です。 2024年も残り僅かとなりましたが、今年もLLM(Large Language Model)で大賑わいの1年となりました。そこでこの記事では今年1年の中でarXivに投稿されたLLMに関する論文を分析した結果を紹介します。 サマリー 2024年(12/16現在)ではLLMに関する論文が16,503本もarXivに投稿されています 音声認識や画像認識などのマルチモーダル化や、推論能力向上などモデルの広がりと深化が進んでいます 一方、実社会への応用を目指した効率化も進みLLM技術のさらなる発展と取り組みが期待されています カテゴリ分析 arXiv apiでは様々な情報が取得できます。今回はid, title, summary, categ

[misshiki]

Topic1: マルチモーダル、2. 学習・訓練方法、3. セキュリティと品質保証、4. 効率化と医療応用、5. 社会的影響と応用、6. RAG（Retrieval Augmented Generation）、7. AIエージェント、8. 推論能力向上。