Una nueva noticia del equipo de aprendizaje profundo de Google, que ha presentado oficialmente EmbeddingGemma, un modelo de incrustación de código abierto diseñado específicamente para dispositivos móviles. EmbeddingGemma, con su diseño eficiente de 308 millones de parámetros, fue calificado como el mejor modelo de incrustación multilingüe por debajo de los 500M en el MTEB (benchmark de incrustaciones de texto a gran escala), mostrando funciones poderosas, como la generación mejorada por recuperación (RAG) y la búsqueda semántica, que pueden ejecutarse directamente en dispositivos como teléfonos sin necesidad de conexión a Internet.
La ventaja de EmbeddingGemma radica en que su rendimiento puede competir con modelos populares casi del doble de su tamaño. No solo es pequeño y flexible, sino que también es adecuado para múltiples escenarios, soporta dimensiones de salida personalizables desde 768 hasta 128 y tiene una ventana de tokens de contexto de 2000, lo que le permite funcionar en dispositivos diarios como teléfonos, portátiles y escritorios. Además, se integra con varias herramientas populares, permitiendo a los usuarios colaborar fácilmente con herramientas como sentence-transformers, MLX y Ollama.
EmbeddingGemma destaca al construir tuberías RAG, capaz de generar incrustaciones de texto, es decir, convertir el texto en representaciones numéricas para representar su significado en un espacio de alta dimensión. En la tubería RAG, primero se generan incrustaciones según la entrada del usuario y se calcula su similitud con las incrustaciones de todos los documentos en el sistema, recuperando así los fragmentos más relevantes. Estas incrustaciones de alta calidad garantizan que las respuestas finales sean precisas y contextualmente relevantes.
Además, EmbeddingGemma ha sido cuidadosamente diseñado en términos de velocidad y consumo de recursos, siendo pequeño, rápido y eficiente. Su tiempo de inferencia de incrustación es inferior a 15 milisegundos, permitiendo interacciones en tiempo real. Su función de off-line asegura la privacidad de los datos de los usuarios, especialmente adecuada para el desarrollo de aplicaciones basadas en dispositivos móviles.
Los desarrolladores ahora pueden aprovechar EmbeddingGemma para implementar chatbots personalizados, realizar búsquedas de archivos o realizar ajustes rápidos para áreas específicas. Ya sea en aplicaciones offline o en aplicaciones del lado del servidor que requieran un alto rendimiento, EmbeddingGemma ofrece una opción ideal.
Blog oficial: https://developers.googleblog.com/en/introducing-embeddinggemma/
Puntos clave:
🌟 EmbeddingGemma es un modelo de incrustación de código abierto con 308M de parámetros, diseñado específicamente para dispositivos móviles y capaz de funcionar sin conexión.
📱 Soporta la integración con diversas herramientas, adaptándose flexiblemente a diversos escenarios, satisfaciendo las necesidades de los desarrolladores.
🔒 La fuerte funcionalidad de off-line asegura la seguridad de los datos de los usuarios, mejorando la protección de la privacidad y proporcionando un apoyo confiable para aplicaciones móviles.
