J.
Opinión

Esta semana escribí sobre habilidades de IA que se bifurcan, pilotos que fallan en la segunda semana y un gerente intermedio que se automatiza mal. El patrón común no es la tecnología: es dónde se pone la fe

Tres notas publicadas en este espacio en los últimos días —sobre la bifurcación de habilidades de IA en el mercado laboral, por qué los pilotos de IA generativa fallan en la segunda semana de uso real, y la ironía de automatizar al gerente intermedio— comparten un patrón que no tiene que ver con la capacidad técnica de los modelos: todas describen organizaciones que depositaron su confianza en la herramienta en lugar de en el rediseño del proceso que la rodea.

Jesús Mario González Siller23 de octubre de 20266 min de lectura
#inteligencia artificial#adopción empresarial#gestión del cambio#futuro del trabajo#organizaciones#productividad#implementación#pensamiento crítico
La tesis del artículo

El patrón que conecta estas tres historias no es que la inteligencia artificial generativa sea menos capaz de lo prometido —la evidencia disponible no sostiene esa conclusión de forma general—, sino que las organizaciones que adoptan estas herramientas tienden a tratarlas como sustitutos directos de un proceso existente en lugar de como el punto de partida para rediseñar ese proceso, y esa es una decisión de gestión, no una limitación del modelo.

Revisar lo que este espacio publicó en los últimos días produjo un patrón que no planeé deliberadamente, pero que vale la pena nombrar con precisión: tres notas, sobre temas aparentemente distintos, describen la misma estructura de fondo. Una documentó que el mercado laboral empezó a distinguir, con datos reales de contratación, entre "saber usar IA" y "saber construir con IA" —la primera categoría cayendo en demanda, la segunda subiendo con fuerza—. Otra, desde la experiencia directa de implementar estas herramientas, explicó por qué casi ningún piloto de IA generativa falla en la demo, pero casi todos enfrentan su primera crisis real en la segunda o tercera semana de uso. Una tercera, publicada unos días antes, describió la ironía de intentar automatizar al gerente intermedio citando una advertencia académica de hace cuatro décadas sobre los sistemas automatizados que fallan precisamente en los momentos donde más se necesita intervención humana experta. Las tres parecen hablar de cosas distintas. Las tres, leídas juntas, hablan de lo mismo.

El error que no está en el modelo

Ninguna de las tres historias documenta que los modelos de lenguaje actuales sean incapaces de hacer lo que prometen en condiciones controladas: la nota sobre pilotos de IA generativa es explícita en que la demo casi siempre funciona, que el modelo responde bien a los ejemplos preparados, y que el entusiasmo inicial del equipo directivo suele estar justificado por lo que efectivamente ven. El problema que documentan las tres notas aparece después, cuando la herramienta se inserta dentro de un proceso organizacional que nadie rediseñó para absorber su forma particular de fallar, o dentro de un mercado laboral que todavía no distinguía con suficiente precisión entre dos tipos de habilidad que requieren inversión y tiempo de desarrollo completamente distintos.

Por qué la confianza mal ubicada es más peligrosa que la falta de confianza

Hay una asimetría importante entre desconfiar de una herramienta y confiar en ella en el lugar equivocado. Una organización que desconfía abiertamente de la IA generativa simplemente no la adopta, o la adopta con la cautela suficiente para notar sus fallas temprano. Una organización que deposita su confianza en la herramienta misma, en lugar de en el proceso que decide quién corrige sus errores, qué nivel de supervisión humana exige y cómo se redefinen los roles del equipo que trabaja junto a ella, es la que termina sorprendida en la segunda semana, cuando el error silencioso y seguro de sí mismo que caracteriza a estos sistemas —distinto del error visible y ruidoso del software tradicional— ya produjo una decisión real basada en información incorrecta. La fe mal ubicada, no la falta de fe, es el patrón común detrás de las fallas de implementación que documenta la evidencia disponible.

El mercado laboral como espejo retrasado de ese mismo error

La bifurcación entre "usar IA" y "construir con IA" que documentan los datos de contratación recientes se puede leer como el mismo fenómeno expresándose a una escala distinta, con varios años de retraso. Durante el periodo en que las organizaciones trataban "saber usar un asistente de IA" como una habilidad diferenciadora suficiente, estaban, en los hechos, depositando la misma confianza mal ubicada que hoy produce pilotos que fallan en la tercera semana: la creencia de que operar la herramienta, sin entender ni poder intervenir en cómo funciona por debajo, era suficiente preparación para el trabajo que esa herramienta terminaría por transformar. El mercado laboral, con el tiempo, corrigió esa lectura —la demanda se movió hacia quienes pueden construir, ajustar y responsabilizarse técnicamente de estos sistemas, no solo operarlos desde la superficie—, pero esa corrección llegó después de que miles de decisiones de contratación y de capacitación ya se habían tomado bajo la premisa anterior.

Lo que Lisanne Bainbridge advirtió hace cuarenta años, aplicado de nuevo

La nota sobre la automatización del gerente intermedio recurrió a un texto académico de 1983, "Ironies of Automation" de Lisanne Bainbridge, que describe una paradoja todavía vigente: cuanto más confiable se vuelve un sistema automatizado en condiciones normales, menos preparado queda el operador humano para intervenir correctamente en el momento excepcional en que el sistema falla, precisamente porque dejó de practicar las habilidades que esa intervención requiere. Es, en esencia, la misma estructura que las otras dos notas documentan desde ángulos distintos: un sistema que funciona bien la mayor parte del tiempo genera una falsa sensación de seguridad que erosiona, silenciosamente, la capacidad de la organización —o del mercado laboral en su conjunto— para responder bien quando el sistema efectivamente se equivoca.

Por qué esto no es un argumento contra adoptar IA generativa

Nombrar este patrón no equivale a argumentar que las organizaciones deberían ser más lentas o más reacias a adoptar estas herramientas: la evidencia de las tres notas apunta consistentemente hacia un problema de diseño de implementación, no hacia una limitación de la tecnología que debiera desalentar su uso. Las organizaciones que sí lograron hacer que un piloto sobreviviera al uso real, según la evidencia disponible, no fueron las que esperaron hasta tener certeza absoluta antes de empezar, sino las que definieron, desde el inicio, quién revisa qué proporción de las salidas del sistema, qué umbral de confianza exige intervención humana obligatoria, y qué mecanismo existe para reportar un error sin abandonar la herramienta. Esa es una decisión de diseño organizacional disponible para cualquiera que quiera tomarla, no un avance tecnológico que todavía falta por llegar.

El costo de no tener quién haga esas preguntas

Hay una conexión adicional entre las tres notas que vale la pena nombrar por separado: la misma bifurcación de habilidades que documenta el mercado laboral —entre quienes usan IA y quienes pueden construir y auditar lo que esa IA produce— es, probablemente, una de las razones estructurales por las que tantas organizaciones no hacen las preguntas de gobernanza a tiempo. Diseñar un umbral de confianza razonable para cuándo un sistema de IA generativa necesita revisión humana, o anticipar en qué tipo de caso ese sistema fallará de forma silenciosa, no es una habilidad de "uso" de la herramienta: es exactamente el tipo de habilidad de construcción y comprensión técnica que, según los propios datos de contratación, sigue siendo escasa. Una organización que invirtió únicamente en que su equipo supiera operar la herramienta, sin invertir en quien pueda entender sus límites técnicos, se queda estructuralmente mal equipada para hacer las preguntas que las tres notas de esta semana muestran que importan más.

Por qué ninguna de las tres historias culpa al entusiasmo inicial

Es tentador leer este patrón como una crítica al optimismo con el que las organizaciones reciben cada nueva herramienta de IA generativa, pero ninguna de las tres notas sostiene esa lectura: el entusiasmo del equipo directivo frente a una demo convincente, la inversión creciente en capacitación de habilidades de IA, o el interés genuino en automatizar tareas repetitivas del trabajo gerencial, son todas reacciones razonables frente a una tecnología que, en sus mejores casos de uso, efectivamente entrega valor real y medible. El problema nunca estuvo en entusiasmarse; estuvo en que ese entusiasmo, sin un proceso deliberado de gobernanza que lo acompañe desde el inicio, tiende a convertirse en la misma confianza mal ubicada que las tres historias documentan desde ángulos distintos.

La pregunta que debería hacerse antes, no después

El error común a las tres historias de esta semana es, en el fondo, un error de secuencia: la confianza se deposita primero en la herramienta, y las preguntas sobre gobernanza, responsabilidad y supervisión llegan después, generalmente provocadas por el primer error visible que ya causó algún daño. Invertir esa secuencia —hacer las preguntas de gobernanza antes de escalar el uso de cualquier sistema de IA generativa, no después de que el primer incidente las vuelva urgentes— es, según la evidencia reunida esta semana en este mismo espacio, la variable que más consistentemente distingue a las implementaciones que sobreviven de las que no. Es una lección que ya tiene cuarenta años de respaldo académico y que cada ciclo tecnológico nuevo parece tener que redescubrir por su cuenta.

Fuentes

También te puede interesar 01 / 05

← Volver al blog