Parece que fue ayer, pero ChatGPT se presentó oficialmente en noviembre de 2022. Casi desde ese mismo momento, venimos oyendo hablar de las increíbles habilidades de la IA para programar, llegando a vaticinar que ya no hará falta contratar programadores.

Casi tres años después, si hago un repaso al software profesional que uso en el día a día, cuento con los dedos de una mano las funcionalidades IA que realmente valen la pena. Hablo de los Amplitude, Notion, Slack, Jira… herramientas todas ellas líderes o referentes en su sector.

Y no es porque no lo hayan intentado. Todas llevan años desarrollando y empujando herramientas IA para justificar subidas de precio. Y no he encontrado ni una sola de ellas que lo haga. Las implementaciones, cuando funcionan, son mediocres en el mejor de los casos.

Tampoco he observado que los productos evolucionen a un ritmo más alto. Es curioso porque, si la IA debía suponer un aumento de la productividad de los programadores, ¿no debería ser evidente a estas alturas? ¿Dónde se está yendo todo el tiempo ganado? ¿Por qué no veo que el software que uso día a día mejore?

Algo parecido pensó Mike Judge, el autor de Where’s the Shovelware? Why AI Coding Claims Don’t Add Up. Judge, un ingeniero de software con más de 25 años de experiencia y early-adopter de herramientas IA según sus propias palabras, decidió medir su propio rendimiento para cuantificar el impacto del uso de estas.

Lo que descubrió le sorprendió: cuando utilizaba herramientas IA, producía un 20% más despacio que sin ellas. Esto, que no deja de ser un caso aislado, va en la línea de uno de los primeros estudios que se hicieron sobre el impacto en la productividad de la IA en ingenieros de software, el estudio METR.

Las conclusiones fueron, cuánto menos, curiosas:

1. Los ingenieros pensaban que la IA les hacía ser un 20% más productivos

2. Cuando se midió su productividad real, resultó que utilizar herramientas IA les retrasaba un 19%.

Judge fue entonces un paso más allá. Pensó: si la IA mejorase la productividad de los ingenieros, deberíamos observar un incremento en el número de proyectos de software que se lanzan. Así, recurrió a fuentes públicas para analizar esta evolución, como:

• Número de apps lanzadas en iOS y Android

• Número de dominios registrados

• Número de lanzamientos en Steam

• Número de repositorios públicos en GitHub

Y el resultado fue que ninguna de ellas mostraba un cambio de tendencia que se pudiera asociar a la irrupción esperada de la Inteligencia Artificial.

Judge concluye el artículo visiblemente enfadado, porque literalmente están despidiendo a gente por no utilizar IA. Enlaza el caso del CEO de Coinbase, quien hace unas semanas presumía en un podcast de haber despedido a ingenieros por no utilizarlas. (Nota a CEOs: presumir de despedir a gente está feo.)

También añade al final del mismo una lista de preguntas y respuestas que anticipaba que algunos lectores iban a argumentar tras leer el artículo, como “bueno, es que tienes que saber escribir prompts” o “es que mucho trabajo de ingeniería no se refleja en código”. Os recomiendo encarecidamente su lectura, porque da contraargumentos bastante sólidos para cada uno de ellos.

Conclusiones

Por ahora, la gran promesa de la inteligencia artificial en el ámbito del desarrollo de software sigue siendo, en gran medida, una deuda pendiente. Los datos sugieren que, más que acelerar el trabajo, muchas veces lo complican o lo ralentizan. Al mismo tiempo, el discurso dominante continúa empujando a profesionales y empresas a adoptarla sin matices, incluso bajo la amenaza de quedarse atrás.

Tampoco se trata de negar el potencial de la IA. Llegará un punto en que, por simple fuerza bruta, acabará por generar avances reales. Sin embargo, a día de hoy, cuesta ver que estamos ahí. Y hasta que no exista evidencia clara de mejoras en productividad y calidad tangibles, deberíamos probablemente ajustar nuestras expectativas aplicando cierto grado de escepticismo.

La pregunta que queda abierta es: ¿estamos midiendo la productividad de la IA con las métricas adecuadas o sólo con expectativas hinchadas? El reto, mientras tanto, es seguir observando con ojo crítico, exigir resultados reales y, sobre todo, no perder de vista que la tecnología solo tiene sentido si mejora nuestro día a día.