ViperGPT: Visual Inference via Python Execution for Reasoning

Answering visual queries is a complex task that requires both visual processing and reasoning. End-to-end models, the dominant approach for this task, do not explicitly differentiate between the two, limiting interpretability and generalization. Learning modular programs presents a promising alternative, but has proven challenging due to the difficulty of learning both the programs and modules sim

[shunkeen]

マルチモーダルでないLLMで視覚的な質問に答えられるように、質問に応じて画像処理のPythonプログラムを生成するようファインチューニングを施しておいて、使用する画像処理ライブラリもLLMに若干合わせてる感じ？？？

[misshiki]

“ViperGPT は、ビジュアル クエリを解釈可能なステップに分解します。”