はてなブックマーク

こんにちは、PKSHA Technology でアルゴリズムエンジニアをしている原田です。プロンプトエンジニアリングは LLM から期待する回答を引き出すための手法であり、これまで様々な手法が開拓されてきました。プロンプトエンジニアリングは簡単に取り入れることが可能なため、実用的に使える機会も多いのではないかと思います。私も業務で LLM を活用する際に、プロンプトエンジニアリングの知見が役に立ったと感じることがあります。本記事でご紹介する「Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves」という論文では、質問を一度 LLM に言い換えさせてから回答させる Rephrase and Respond（RaR）という手法を提案しています。以下、この論文の内容についてご紹介したい

深層学習の技術が著しく進歩した結果、コンピュータビジョンや自然言語処理、音声信号処理などの分野では深層学習モデルの性能が古典的な手法のを大きく上回っており、すでにスタンダードなアプローチになっています。 しかし、テーブルデータを扱うタスクにおいては、深層学習の有効性は明らかになっていません。本記事では、AI Solution 事業部のアルゴリズムエンジニアよりテーブルデータにおける従来手法と深層学習の比較論文のご紹介をしていきます。 背景近年、テーブルデータを扱う深層学習モデルも登場し、一部の論文では決定木ベースのモデルと同等かそれ以上の性能を示しています。しかし、私が実務で試す中では決定木ベースのモデルの方が性能が高く、学習と推論が速く運用コストでも優れているため、深層学習モデル採用には至っていません。 より一般的なテーブルデータのタスクにおける、決定木ベースモデルと深層学習モデルとの性