Uma equipe de pesquisa conjunta da Universidade de Ciência e Tecnologia de Harbin (HIT) e da Huawei publicou uma revisão abrangente de 50 páginas que destaca o problema das "alucinações" em modelos de linguagem grandes (LLMs) genéricos em domínios especializados.
A revisão aponta que os LLMs genéricos exibem "alucinações" em áreas especializadas, principalmente devido ao seu treinamento em vastos conjuntos de dados abertos que carecem de conhecimento especializado. Os pesquisadores argumentam que esses modelos são treinados com dados muito gerais e, portanto, não possuem o conhecimento específico necessário para lidar com questões complexas em áreas especializadas.
Os pesquisadores defendem a necessidade de melhorar a qualidade dos dados, fortalecer a capacidade do modelo de aprender e recuperar informações factuais para mitigar o problema das "alucinações" em domínios especializados. Em outras palavras, é preciso treinar os modelos com dados mais precisos e relevantes para as áreas específicas de conhecimento, permitindo que eles aprendam e se lembrem de informações factuais com maior precisão.