Google lança novo modelo de linguagem visual PaLI-3 com desempenho robusto e menos parâmetros

Nova quebra de barragem no modelo de linguagem visual! Visual ARFT impulsiona a capacidade de agentes multimodais.

Google lança novo modelo de linguagem visual PaliGemma 2 Mix com recursos multifuncionais para desenvolvedores

Recentemente, o Google anunciou o lançamento de um novo modelo de linguagem visual (Vision-Language Model, VLM), chamado PaliGemma2Mix. Este modelo combina processamento de imagem e processamento de linguagem natural, permitindo a compreensão simultânea de informações visuais e entrada de texto, e gerando saídas correspondentes de acordo com as necessidades. Isso representa um avanço significativo na capacidade de processamento de múltiplas tarefas da inteligência artificial. O PaliGemma2Mix possui recursos poderosos, incluindo descrição de imagens, reconhecimento óptico de caracteres

IBM lança o modelo de linguagem visual Granite-Vision-3.1-2B, para análise simplificada de documentos complexos

Com o avanço da inteligência artificial, a fusão de dados visuais e textuais tornou-se um desafio complexo. Modelos tradicionais muitas vezes têm dificuldades em analisar com precisão documentos visuais estruturados, como tabelas, gráficos, infográficos e diagramas. Essa limitação afeta a capacidade de extração e compreensão automáticas de conteúdo, impactando aplicações como análise de dados, recuperação de informações e tomada de decisões. Para atender a essa necessidade, a IBM lançou recentemente o Granite-Vision-3.1-2B, um modelo de linguagem visual compacto projetado para compreensão de documentos.

Tecnologia VLA lidera a corrida de direção autônoma, Nvidia ajuda empresas emergentes a conquistar participação de mercado

Na indústria de direção autônoma, 2025 é considerado o "ano do VLA nos veículos", marcando o surgimento de um novo paradigma tecnológico. VLA, ou Modelo de Ação Linguagem-Visão (Vision-Language-Action Model), foi proposto pela primeira vez pela DeepMind em 2023, com o objetivo de melhorar a capacidade dos robôs de compreender e reagir ao ambiente. Recentemente, essa tecnologia tem recebido muita atenção na área de direção autônoma. Em comparação com os modelos tradicionais de linguagem visual (VLM), o VLA oferece...

NVIDIA lança novo modelo de linguagem visual NVILA, superando GPT-4o Mini e Llama 3.2

Recentemente, a NVIDIA lançou sua nova geração de modelo de linguagem visual aberto - NVILA. Projetado para otimizar precisão e eficiência, ele se destaca como um líder em IA visual com desempenho superior. De acordo com a NVIDIA, o NVILA reduziu em 4,5 vezes o custo de treinamento, em 3,4 vezes a memória necessária para ajuste fino e quase 2 vezes a latência de preenchimento e decodificação. Esses dados são comparados a outro grande modelo de visão LLaVa OneVision. Em benchmark de vídeo

Hugging Face lança o modelo de linguagem visual de 2B de parâmetros SmolVLM: execução ultrarrápida em dispositivos comuns

Nos últimos anos, a demanda por modelos de aprendizado de máquina em tarefas de visão e linguagem tem crescido, mas a maioria dos modelos requer recursos computacionais substanciais, impossibilitando sua execução eficiente em dispositivos pessoais. Dispositivos menores, como laptops, GPUs de consumo e dispositivos móveis, enfrentam desafios significativos no processamento de tarefas de linguagem visual. O Qwen2-VL, por exemplo, embora tenha um desempenho excelente, exige altos recursos de hardware, limitando sua usabilidade em aplicações em tempo real. Portanto, o desenvolvimento de modelos leves para operação em recursos limitados tornou-se...

Compacto e poderoso! O modelo de IA visual moondream2 de bolso: apenas 1,6 bilhão de parâmetros, funciona em smartphones

Recentemente, a Moondream, uma startup de Seattle, lançou o moondream2, um modelo de linguagem visual compacto. Apesar de seu tamanho compacto, o modelo se saiu excepcionalmente bem em vários benchmarks, chamando a atenção. Como um modelo de código aberto, o moondream2 tem o potencial de habilitar o reconhecimento de imagem local em smartphones. Lançado oficialmente em março, o moondream2 pode processar entradas de texto e imagem, com capacidades como responder a perguntas, extração de texto (OCR), contagem de objetos e classificação de itens.

NVIDIA lança o novo modelo de linguagem visual NVEagle, que conversa com você usando imagens

A NVIDIA, em colaboração com diversas universidades, lançou o NVEagle, um grande modelo de linguagem visual capaz de conversar usando imagens. O NVEagle consegue analisar o conteúdo de imagens e fornecer respostas precisas, como identificar a pessoa na imagem como Jensen Huang. O modelo melhora significativamente a capacidade de compreensão de informações visuais ao converter imagens em marcadores visuais e combiná-los com incorporações de texto. Para enfrentar o desafio do processamento de imagens de alta resolução, a equipe de pesquisa explorou diferentes codificadores visuais e estratégias de fusão, construindo modelos como Eagle-X5-7B e Eagle-X.

Google apresenta SpatialVLM para resolver problemas de raciocínio espacial em modelos de linguagem visual

Uma pesquisa recente do Google apresenta o SpatialVLM, projetado para resolver o problema da falta de capacidade de raciocínio espacial em modelos de linguagem visual. Inspirando-se na capacidade de raciocínio espacial humana, os pesquisadores projetaram o SpatialVLM para possuir habilidades de raciocínio espacial direto e raciocínio em cadeia. Os pesquisadores usaram modelos de detecção de palavras abertas, estimativa de profundidade e segmentação semântica para treinar o SpatialVLM, melhorando o desempenho do modelo em problemas espaciais e estimativas quantitativas. Um framework abrangente de geração de dados foi projetado para extrair informações de entidades e gerar dados espaciais em larga escala.

Modelo SpatialVLM do Google dota modelos de linguagem visual com raciocínio espacial

Um novo artigo do Google revela o SpatialVLM, um modelo de linguagem visual com capacidade de raciocínio espacial que resolve dificuldades enfrentadas por modelos de linguagem visual nessa área. O SpatialVLM demonstra notável capacidade de raciocínio espacial qualitativa e quantitativa através da geração de um conjunto de dados em larga escala de VQA espacial. Os pesquisadores apontam que o gargalo atual dos modelos de linguagem visual no raciocínio espacial reside nas limitações dos conjuntos de dados, e o SpatialVLM consegue melhorar significativamente a capacidade de raciocínio espacial geral.