Aprovecha la inteligencia artificial para empresas con la innovación open source y utilízala en todo tipo de modelos, aceleradores y nubes

El mantra de Red Hat Summit 2023 fue "todas las cargas de trabajo, aplicaciones y entornos". Es cierto que, en los últimos dos años, hemos visto algunos cambios en la TI. Pero la visión de Red Hat no ha cambiado; ha evolucionado.

Todos los modelos. Todos los aceleradores. Todas las nubes.

Ese es el mensaje de la nube híbrida para la era de la inteligencia artificial. Y la mejor parte es que, al igual que la “antigua” nube híbrida, la innovación open source es el motor. En el evento Red Hat Summit de esta semana, mostraremos la manera en que los ecosistemas de la inteligencia artificial que se centran en el open source y los modelos abiertos generan nuevas opciones para las empresas. La apertura permite elegir, y esta libertad brinda una mayor flexibilidad: desde el modelo que mejor se adapta a las necesidades de la empresa hasta el acelerador y el entorno donde se ejecutará la carga de trabajo. Las estrategias de inteligencia artificial exitosas se ajustarán a los datos estén donde estén dentro de la nube híbrida. 

¿Y cuál es el motor de la nube híbrida? El open source.

La inferencia mejora la IA

En mi opinión, no debemos quedarnos solo con los modelos. Es verdad que son muy importantes para las estrategias de inteligencia artificial, pero sin las inferencias, la etapa del "hacer" en esta tecnología, los modelos no son más que conjuntos de datos que no "hacen" nada. La inferencia es la capacidad de los modelos de responder rápidamente a las entradas de los usuarios y tomar decisiones de manera eficiente con recursos informáticos acelerados. Las respuestas lentas y la poca eficiencia terminan costando dinero y generando desconfianza en el cliente.

Por eso, me entusiasma que Red Hat priorice la inferencia en nuestro trabajo con la inteligencia artificial open source, comenzando con el lanzamiento de Red Hat AI Inference Server. Esta solución, que se basa en el importante proyecto open source de modelos de lenguaje de gran tamaño virtuales (vLLM) y está optimizada con tecnologías de Neural Magic, incorpora un servidor de inferencia con soporte, ciclo de vida completo y listo para la fase de producción a las implementaciones de inteligencia artificial. Lo mejor de todo es que puede adaptarse a los datos dondequiera que se encuentren, ya que funciona con cualquier plataforma de Linux, distribución de Kubernetes, Red Hat u otro entorno.

La adopción de la IA según las necesidades: la mejor función

La aplicación revolucionaria de la TI empresarial no es una carga de trabajo unificada ni un nuevo servicio de nube, sino la capacidad de adaptarse de forma rápida y eficiente. Esto también se aplica a la inteligencia artificial. Sin embargo, para esta tecnología, presenta una particularidad: también deben adaptarse los recursos informáticos acelerados que sustentan las cargas de trabajo. Esta no es una tarea fácil, ya que se requieren conocimientos y recursos para implementar el hardware correctamente.

No solo debemos saber adaptar la inteligencia artificial, sino también distribuir grandes cargas de trabajo de esta tecnología entre varios clústeres de recursos informáticos acelerados. Esto se vuelve más complejo por el ajuste del tiempo de inferencia que requieren los modelos de razonamiento y la inteligencia artificial con agentes. Al compartir la carga, se pueden reducir los obstáculos en el rendimiento, mejorar la eficiencia y optimizar la experiencia del usuario. Con el proyecto llm-d open source, Red Hat ha tomado medidas para enfrentar este problema.

El proyecto, que está dirigido por Red Hat y cuenta con el respaldo de líderes del sector de la inteligencia artificial en aceleración de hardware, desarrollo de modelos y cloud computing, combina las efectivas funciones de organización de Kubernetes con los vLLM, de manera que dos referentes del open source colaboren juntos para responder a una necesidad muy importante. Junto con tecnologías como el enrutamiento de redes con inteligencia artificial y la transferencia de datos almacenados en caché de clave-valor, entre otras, el proyecto llm-d desconcentra y democratiza la inferencia de la inteligencia artificial, de manera que las empresas puedan optimizar sus recursos informáticos y disponer de cargas de trabajo más efectivas y rentables.

Abiertos al futuro de la IA con la tecnología open source

El proyecto llm-d y los vLLM, que se incluyen en Red Hat AI Inference Server, son tecnologías de open source preparadas para abordar los desafíos de la inteligencia artificial para empresas de hoy en día. Sin embargo, las comunidades upstream no se limitan a analizar lo que hay que hacer en este momento. Las tecnologías de inteligencia artificial se caracterizan por acortar los tiempos: la rapidez de las innovaciones ocasiona que algo que no se creía que presentara desafíos hasta dentro de varios años, de repente deba afrontarse de inmediato.

Por lo tanto, Red Hat destina recursos para colaborar con la comunidad upstream en Llama Stack, el proyecto liderado por Meta que ofrece elementos básicos e interfaces de programación de aplicaciones (API) estandarizados para los ciclos de vida de las aplicaciones de inteligencia artificial generativa. Asimismo, Llama Stack es ideal para diseñar aplicaciones de inteligencia artificial con agentes, que suponen una evolución de las sólidas cargas de trabajo de inteligencia artificial generativa que vemos en la actualidad. Además de esta colaboración con la comunidad, Llama Stack está disponible en Red Hat AI como versión de prueba para desarrolladores de empresas que quieran comprometerse con el futuro.

Con respecto a los agentes de inteligencia artificial, aún no contamos con un protocolo común para el envío de contexto e información por parte de otras aplicaciones. Aquí es donde entra en juego el protocolo de contexto de modelo (MCP). Anthropic desarrolló y puso a disposición este protocolo open source estandarizado a fines de 2024, el cual está destinado a las interacciones entre agentes y aplicaciones, similar a los protocolos entre clientes y servidores de la informática más tradicional. Pero lo más importante es que las aplicaciones actuales pueden comenzar a utilizar la inteligencia artificial sin necesidad de volver a desarrollarlas. Esto es muy importante, y no sería posible sin el potencial del open source. Al igual que Llama Stack, MCP está disponible como versión de prueba para desarrolladores en la plataforma de Red Hat AI.

Los modelos propietarios de inteligencia artificial pueden haber logrado una ventaja inicial, pero no hay duda de que los ecosistemas abiertos los han superado, en especial en lo que respecta al software que admite estos modelos de última generación. Gracias a los vLLM y el proyecto llm-d, junto con productos empresariales open source optimizados, el futuro de la inteligencia artificial es prometedor, independientemente del modelo, el acelerador o la nube, y está impulsado por el open source y Red Hat.