Um novo estudo propõe o método de dicas visuais Set-of-Mark (SoM) para melhorar a precisão visual do GPT-4V. Experimentos demonstraram que o GPT-4V+SoM apresenta desempenho superior em tarefas de segmentação de imagens, aproximando-se do desempenho de modelos especializados. O método de marcação automática/semiautomática do SoM permite que o GPT-4V suporte diversas tarefas visuais de grão fino, incluindo tarefas de referência e segmentação de objetos em vídeo.