Recientemente, AIbase ha obtenido información más reciente de plataformas de redes sociales y ha descubierto que Shisa.AI, un proveedor de modelos en HuggingFace especializado en el afinamiento específico del japonés, ha lanzado su último modelo de lenguaje binario japonés-inglés, generando una gran atención en la industria. En este artículo, te ofreceremos una interpretación detallada de los últimos logros de Shisa.AI y sus avances pioneros en el campo del IA japonés.
Shisa V2405B: El modelo open source más potente de Japón
Según lo que ha sabido AIbase, Shisa.AI ha lanzado recientemente el modelo Shisa V2405B basado en Llama3.1. Este modelo open source es considerado "el modelo de lenguaje más grande entrenado nunca antes en Japón". No solo muestra un excelente rendimiento en tareas relacionadas con el japonés, sino que también conserva una fuerte capacidad para procesar inglés, demostrando un desempeño sobresaliente como un modelo binario japonés-ingles.
Los datos de prueba indican que Shisa V2405B supera a GPT-4 y GPT-4 Turbo en varias pruebas estándar del japonés, e incluso está a la par con los últimos GPT-4o y DeepSeek-V3 en tareas de japonés. Este hito marca el ascenso de los laboratorios de IA locales japoneses en la competencia global de IA, abriendo nuevas posibilidades para las aplicaciones de IA en japonés.
Especialización en la optimización del japonés, mejora de la tecnología de afinamiento
Shisa.AI es una startup con sede en Tokio que se especializa en desarrollar y desplegar modelos avanzados de IA de lenguaje y voz de código abierto para el mercado japonés. Según AIbase, en comparación con los modelos anteriores, la serie Shisa V2 ha abandonado el costoso preentrenamiento continuo y la expansión del tokenizador, centrándose en optimizar el flujo posterior al entrenamiento. Mediante métodos impulsados por datos sintéticos, ha mejorado significativamente el rendimiento del modelo.
Su conjunto de datos central ultra-orca-boros-en-ja-v1, después de filtrar, regenerar y re-muestrear, se considera uno de los conjuntos de datos binarios de japonés-inglés más poderosos actualmente disponibles, adecuado para mejorar la capacidad de casi cualquier modelo base en japonés. Este conjunto de datos está disponible gratuitamente bajo la licencia Apache2.0, proporcionando valiosos recursos para desarrolladores de todo el mundo.
Familia de modelos ampliamente aplicables, desde 7B hasta 405B
La serie Shisa V2 cubre modelos de diferentes escalas, desde 7B hasta 405B parámetros, satisfaciendo diversas necesidades, desde dispositivos ligeros hasta computación de alto rendimiento. AIbase ha sabido que estos modelos muestran un excelente rendimiento en tareas como gramática japonesa, interpretación de roles, traducción, entre otras. En particular, en pruebas como shisa-jp-ifeval (prueba de seguimiento de instrucciones en japonés), shisa-jp-rp-bench (prueba de interpretación de roles en japonés) y shisa-jp-tl-bench (prueba de traducción entre japonés e inglés), todos superan a los modelos base correspondientes.
Cabe destacar que Shisa V2405B incorporó pequeñas cantidades de datos en coreano y chino tradicional durante el entrenamiento, lo que fortaleció aún más su capacidad multilingüe, proporcionando más posibilidades para aplicaciones multilingües.
El espíritu open source impulsa la innovación global de IA
Los esfuerzos de Shisa.AI no solo han mejorado el rendimiento de la IA en japonés, sino que también, mediante el acceso abierto, han promovido el desarrollo de la comunidad global de IA. AIbase ha notado que los registros de entrenamiento de la serie Shisa V2 están disponibles públicamente en la plataforma Weights and Biases, utilizando un clúster de 4 nodos H100 en AWS Sagemaker, combinado con tecnologías avanzadas como Axolotl, DeepSpeed y Liger Kernel, asegurando un desarrollo eficiente del modelo.
Además, Shisa.AI planea abrir su herramienta de evaluación de referencia dedicada al japonés, ayudando a investigadores y evaluadores de modelos grandes de lenguaje japonés en todo el mundo, proporcionando más soporte para los desarrolladores globales.
Perspectiva futura: La competitividad global de IA de Japón
El éxito de Shisa.AI demuestra que incluso un pequeño laboratorio de IA puede ocupar un lugar en la competencia global de IA. El lanzamiento de sus modelos y conjuntos de datos open source proporciona un sólido apoyo para la popularización de las aplicaciones de IA en japonés. AIbase cree que con la continua actualización de modelos y recursos por parte de Shisa.AI, la posición de Japón en el ámbito global de la IA se consolidará aún más.
Para los desarrolladores con necesidades complejas en tareas de japonés, la serie Shisa V2 es sin duda una herramienta poderosa digna de intentar. AIbase recomienda seguir el sitio web oficial de Shisa.AI y la página de HuggingFace para obtener más detalles técnicos y oportunidades de experiencia con el modelo.
Shisa.AI ha mostrado a través de su serie de modelos Shisa V2 la capacidad innovadora de Japón en el campo de la IA. Ya sea para investigación académica o aplicaciones comerciales, estos modelos open source allanan el camino para el futuro desarrollo de la IA en japonés.