De la publicidad exagerada a la confianza: ¿qué hace que un modelo sea "validado" para la inteligencia artificial empresarial?

Ya pasó la etapa inicial de fascinación por la inteligencia artificial generativa. La mayoría de las empresas no se preguntan si deben usar modelos de lenguaje de gran tamaño (LLM), sino de qué manera y cuáles. Sin embargo, en medio de una avalancha de demostraciones llamativas y posiciones destacadas en las tablas de clasificación, ¿qué significa realmente que un modelo de inteligencia artificial sea adecuado para el uso empresarial?

En esta publicación, se analiza el significado de "validado" en relación con la stack de inteligencia artificial generativa empresarial y la manera en que el enfoque de Red Hat ayuda a los equipos a seleccionar los modelos adecuados para sus necesidades.

El problema: la validación de la inteligencia artificial no funciona

En la actualidad, la mayoría de las empresas "validan" sus modelos a través de un conjunto fragmentado de métodos:

• comprobación de las tablas de clasificación open source (p. ej., Chatbot Arena y Artificial Analysis);
• ejecución de pruebas internas con scripts específicos en ciertas indicaciones seleccionadas;
• estimación del uso y los requisitos de costos y hardware con cálculos rápidos.

Cada uno de ellos proporciona información, pero ninguno ofrece un panorama completo. Por sí solos, suelen hacer que los equipos piensen que un modelo de inteligencia artificial está listo para los entornos de producción cuando no es así.

Como consecuencia, las aplicaciones de inteligencia artificial fallan o es difícil gestionarlas según sea necesario, y las empresas se quedan atoradas en la fase de estudio de la viabilidad de los conceptos para siempre. Esto genera costos de inferencia vertiginosos, aumento de la latencia cuando se incrementa la carga o problemas inesperados en la alineación del modelo, inconvenientes que podrían haberse identificado con anticipación.

La verdadera validación de los modelos de inteligencia artificial no es un punto de referencia único. Es un proceso estructurado que se basa en limitaciones reales.

Definición de "validación" en el contexto de la inteligencia artificial empresarial

La validación de los modelos de inteligencia artificial es el proceso que utilizan los analistas de datos para probar su precisión bajo cargas operativas reales. Un enfoque más integral para las empresas debería incluir la evaluación de sus modelos con datos y tareas reales en diversos sistemas de hardware y enfocándose en los casos prácticos empresariales más importantes. Para que las empresas pasen de la prueba de viabilidad de los conceptos a la producción con confianza, la validación debe redefinirse en torno a dos pilares fundamentales:

1. Rendimiento flexible: un modelo validado debe mantener una latencia baja y estable con el tráfico de usuarios simultáneos y cumplir con los objetivos de nivel de servicio (SLO) de manera uniforme. La validación debe incluir pruebas rigurosas en una variedad de casos de carga de trabajo y configuraciones de hardware. También debe proporcionar una manera sencilla de comprender las ventajas y desventajas en relación con el rendimiento, la precisión y el costo, para que los equipos puedan tomar decisiones de implementación informadas y teniendo en cuenta el contexto.
2. Precisión replicable: la validación real requiere pruebas de precisión transparentes y repetibles. Los modelos de inteligencia artificial deben evaluarse con varios conjuntos de datos seleccionados y de prueba, además de metodologías documentadas con claridad que permitan que los resultados se reproduzcan de manera uniforme en todos los equipos y a lo largo del tiempo.

Solo se puede considerar que un modelo está realmente listo para la empresa cuando funciona correctamente según estas medidas.

El enfoque de Red Hat sobre la validación de modelos

Red Hat se enorgullece de presentar modelos validados de inteligencia artificial de terceros, que ofrecen confianza, previsibilidad y flexibilidad a la hora de implementarlos en la plataforma de Red Hat AI.

Debido a que cada vez hay más modelos base, configuraciones de servidores de inferencia y aceleradores de hardware para elegir, es difícil identificar la combinación adecuada para un caso práctico determinado. Red Hat AI ofrece a las empresas orientación sobre la capacidad informática y resultados de pruebas empíricas para que los clientes puedan tomar decisiones fundamentadas que se basen en datos de rendimiento reales.

Los dos puntos débiles clave que se abordan

• Claridad sobre las ventajas y desventajas: cuando se analizan las diferencias en relación con el rendimiento, la precisión y los costos de los modelos modernos de inteligencia artificial, se siente como si se tratara de resolver un rompecabezas complejo. Red Hat lo simplifica al ejecutar evaluaciones comparativas específicas de las cargas de trabajo y presentar los resultados en un formato transparente y reproducible.
• Contexto empresarial: es esencial asignar estas ventajas y desventajas a los casos prácticos reales de las empresas. Red Hat ayuda a los clientes a comprender la forma en que los modelos de inteligencia artificial y las decisiones sobre la infraestructura afectarán el comportamiento de las aplicaciones en la producción.

El equipo de Red Hat AI ejecuta un conjunto seleccionado de modelos de terceros mediante rigurosas pruebas de rendimiento y evaluaciones de precisión en varios casos de hardware y de configuración. Esto nos permite validar modelos que no solo son eficaces, sino que también están listos para implementarse en Red Hat AI Inference Server, Red Hat Enterprise Linux AI y Red Hat OpenShift AI.

Los modelos validados se marcan con la insignia "Modelo validado por Red Hat AI" y aparecen en la página de Red Hat AI en Hugging Face, en Red Hat AI Ecosystem Catalog y en el catálogo de modelos de inteligencia artificial de Red Hat OpenShift.

Red Hat valida y prueba periódicamente los modelos recién lanzados para asegurarse de que se ejecuten de manera efectiva en los modelos de lenguaje de gran tamaño virtuales (vLLM) en todos los productos de la plataforma Red Hat AI, lo cual permite que las empresas accedan rápidamente a los más recientes.

Los clientes también pueden comunicarse con los especialistas de Red Hat AI para revisar los resultados de la validación y recibir orientación personalizada sobre la planificación de la capacidad. Esta información permite que los equipos dejen de lado las tablas de clasificación e implementen con confianza los modelos de terceros que mejor se adapten a la infraestructura que elijan, con una visión completa del rendimiento, la precisión y los costos esperados.

Obtén más información sobre los modelos validados por Red Hat AI y comienza a utilizarlos hoy mismo para tus implementaciones de inteligencia artificial.