Menos costos y más automatización: el estudio de Meta que anticipa un cambio silencioso en el empleo

Durante los últimos años, la carrera de la inteligencia artificial (IA) pareció seguir una dirección clara. Más parámetros, datos, chips y centros de datos permitían construir modelos progresivamente más capaces.

Una investigación de Meta FAIR y la Universidad de Washington, publicada en septiembre en arXiv, plantea otro camino. El equipo estudió modelos relativamente pequeños, de alrededor de 1.000 millones de parámetros, que procesan directamente los bytes que componen la información. Los resultados muestran que, bajo determinadas condiciones, pueden continuar mejorando cuando modelos equivalentes basados en tokens comienzan a estancarse.

El hallazgo parece técnico, pero toca un problema mucho más cotidiano. Si modelos pequeños pueden hacer más utilizando menos recursos, también puede bajar la barrera económica para incorporar IA a nuevas tareas.

Los modelos de lenguaje actuales suelen procesar las palabras mediante tokens, fragmentos que forman parte de vocabularios que pueden contener del orden de 100.000 unidades. Los investigadores probaron trabajar directamente con bytes, reduciendo ese vocabulario a apenas 256 valores.

Al principio, los modelos tradicionales obtienen mejores resultados. Con más entrenamiento aparece la diferencia. Los modelos basados en tokens comienzan a alcanzar una meseta mientras los basados en bytes continúan mejorando.

El equipo desarrolló además una técnica llamada End-Of-Token para transferir conocimiento desde un modelo grande hacia uno más pequeño.

El resultado más llamativo aparece ahí. El nuevo modelo consiguió igualar el rendimiento del modelo tradicional destilado utilizando una sexta parte de los datos de entrenamiento y redujo aproximadamente a una quinta parte el almacenamiento necesario para los logits utilizados durante ese proceso.

Las curvas de escalamiento proyectan incluso que podría superar en promedio hasta en 4% al modelo tokenizado equivalente cuando ambos se aproximan a sus límites.

Hay que tomar esa cifra con cautela. Es una proyección matemática a partir de los resultados observados, y el trabajo fue publicado como preprint. Tampoco implica que un modelo de 1.000 millones de parámetros pueda reemplazar a los grandes sistemas de frontera. La comparación relevante ocurre entre modelos de una escala similar.

El verdadero cambio puede estar en el costo

Esta investigación conecta con un problema que El País ya analizó durante este año. Las empresas están utilizando cada vez más inteligencia artificial y, especialmente con la llegada de los agentes de IA, el costo de ejecutar miles o millones de operaciones empieza a importar tanto como la capacidad del modelo.

Una empresa puede necesitar IA para clasificar facturas, resumir documentos, extraer información de contratos, atender consultas, completar datos o revisar código. Muchas de esas tareas no necesitan utilizar permanentemente el modelo más potente disponible.

Ahí aparece una arquitectura diferente. Modelos pequeños especializados pueden ocuparse de tareas concretas mientras los sistemas más capaces quedan reservados para problemas complejos.

La consecuencia puede ser una inteligencia artificial mucho menos visible. En lugar de abrir ChatGPT, Gemini o Claude, el trabajador podría utilizar pequeños modelos integrados directamente dentro de las aplicaciones con las que ya trabaja.

Esto mismo se experimenta hoy con los modelos open weight, aunque el resultado aún puede distar mucho del esperable para soluciones en entornos productivos.

Esta diferencia también permite mirar de otra manera la discusión sobre IA y empleo.

Un administrativo, desarrollador, contador, periodista o abogado realiza muchas tareas dentro de un mismo puesto. Algunas necesitan experiencia y conocimiento del contexto. Otras consisten en clasificar información, buscar antecedentes, completar datos o preparar una primera versión de un trabajo.

Si disminuye el costo de automatizar estas últimas, la composición de los puestos puede empezar a cambiar mucho antes de que una profesión completa pueda automatizarse.

Un estudio de Stanford basado en datos de ADP encontró que en Estados Unidos el empleo de trabajadores de entre 22 y 25 años cayó 16% en algunas ocupaciones altamente expuestas a la automatización, entre ellas desarrollo de software y atención al cliente.

El dato corresponde al mercado estadounidense y no puede trasladarse directamente a Uruguay. Tampoco esta nueva investigación demuestra que los modelos pequeños vayan a generar desempleo. Lo que puede modificar es el costo de automatizar partes específicas de un trabajo.

Y esa diferencia importa porque una tecnología más barata generalmente encuentra más lugares donde utilizarse.

Los grandes modelos seguirán concentrando la atención y la competencia entre OpenAI, Google, Anthropic y Meta. El impacto cotidiano puede avanzar por un camino bastante menos espectacular.

Modelos pequeños clasificando documentos, revisando datos, preparando código o procesando consultas dentro de herramientas que las personas ya utilizan.

El trabajo de Meta FAIR y la Universidad de Washington todavía debe demostrar que estos resultados pueden mantenerse a mayor escala. Pero introduce una posibilidad relevante. El próximo salto de la inteligencia artificial puede depender también de conseguir que modelos pequeños hagan mucho más con mucho menos.

Para millones de trabajadores, ese cambio probablemente no llegue presentado como un nuevo chatbot. Puede aparecer silenciosamente dentro del programa que utilizan cada mañana, haciendo en segundos algunas de las tareas que hasta ayer formaban parte de su trabajo.