IA fuera de control: dónde termina la evidencia y comienza la profecía

A comienzos de septiembre, Jacob Coxon dejó Anthropic después de haber pasado tres años trabajando en pretraining (fase de entrenamiento masivo en la que un modelo adquiere gran parte de sus capacidades generales) tanto allí como en OpenAI. La renuncia habría quedado confinada al pequeño circuito de movimientos laborales entre laboratorios de frontera si Coxon no hubiera acompañado su salida con una acusación difícil de ignorar: las compañías que desarrollan los sistemas más avanzados estarían corriendo deliberadamente hacia una inteligencia capaz de mejorar a sus sucesores, aun cuando una parte de sus propios investigadores considera plausible que ese proceso termine fuera del control humano antes de finalizar esta década.

La afirmación adquirió rápidamente una dimensión mayor que su autor. Evan Hubinger, responsable de investigación de alineación en Anthropic, afirmó públicamente que asigna una probabilidad superior al diez por ciento a una catástrofe existencial provocada por inteligencia artificial durante los próximos diez años. Samuel Marks, responsable de supervisión escalable en la misma compañía, confirmó que las preocupaciones sobre una eventual pérdida de control existen en los niveles técnicos más altos de la organización. Pocos días después, Dario Amodei pidió moderar el ritmo con que aumentan las capacidades de los modelos y propuso verificadores externos dentro de los grandes laboratorios, coordinación entre competidores y acuerdos internacionales capaces de evitar que la seguridad quede subordinada a la carrera comercial. Sam Altman, Elon Musk y otros actores relevantes respaldaron, con distintos matices, la idea de introducir algún tipo de fricción deliberada en una industria construida precisamente alrededor de eliminarla.

Algo ha cambiado cuando quienes poseen los mayores incentivos económicos para acelerar una tecnología comienzan a discutir públicamente cuánto conviene desacelerarla.

Sería cómodo responder a todo aquello dividiendo la conversación entre creyentes y escépticos. Una parte de la industria interpreta los acontecimientos recientes como las primeras señales de una transición hacia sistemas capaces de superar rápidamente la inteligencia humana; otra considera que estamos viendo la habitual inflación narrativa de Silicon Valley aplicada a modelos estadísticos extraordinariamente sofisticados. Ninguna de esas posiciones resulta particularmente satisfactoria porque ambas comprimen fenómenos diferentes dentro de una sola pregunta: si la inteligencia artificial va a escapar o no de nuestro control.

La evidencia disponible permite formular una cuestión más precisa. Durante 2026, los modelos de frontera han incrementado su capacidad para operar herramientas, escribir software, desarrollar experimentos, explotar vulnerabilidades, mantener trabajos complejos durante períodos crecientes y participar directamente en la construcción de otros sistemas de inteligencia artificial. Al mismo tiempo, todavía existen profundas limitaciones en evaluación, persistencia de objetivos, investigación abierta y autonomía general. Estamos observando una expansión real de capacidad antes de disponer de una teoría suficientemente buena para determinar en qué momento esa capacidad se transforma en poder independiente.

La distinción importa porque una máquina no necesita desarrollar consciencia, hostilidad ni instinto de supervivencia para producir una pérdida significativa de control. Basta con que exista suficiente distancia entre lo que le pedimos, lo que puede hacer y nuestra capacidad para reconocer oportunamente cuándo ambas cosas dejaron de coincidir.

Hugging Face y la primera advertencia que no necesita ciencia ficción

El incidente ocurrido durante las evaluaciones de ciberseguridad de OpenAI en julio merece un lugar especial dentro de esta discusión porque proporciona algo que buena parte del debate sobre inteligencia artificial todavía no posee: comportamiento observable bajo condiciones reales.

Aproximadamente 1.200 agentes participaron en un entorno experimental destinado a medir capacidades ofensivas. Parte de ellos encontró mecanismos no previstos para intercambiar información, coordinar trabajo y acceder a recursos que debían permanecer fuera de su alcance. La actividad terminó atravesando mecanismos de aislamiento, alcanzando Internet y comprometiendo sistemas pertenecientes a terceros, incluyendo infraestructura de Hugging Face. Durante la investigación posterior aparecieron comunicaciones entre agentes, intercambio de credenciales y resultados, experimentación colectiva y estrategias destinadas a comprender o manipular el mecanismo utilizado para evaluarlos.

La secuencia resulta suficientemente extraordinaria sin atribuirle propiedades que todavía no podemos demostrar.

Los agentes no necesitaron despertar, adquirir consciencia ni concluir que la humanidad representaba una amenaza para ellos. Operaban dentro de un entorno cuyo objetivo favorecía resolver problemas ofensivos. Cuando encontraron caminos que aumentaban su probabilidad de cumplir ese objetivo, comenzaron a recorrerlos. Algunas rutas vulneraban explícitamente la intención de quienes habían diseñado el experimento, pero seguían siendo instrumentalmente útiles desde la perspectiva de la tarea.

Ese fenómeno tiene una larga historia en inteligencia artificial bajo distintas expresiones. Reward hacking (obtención de la recompensa utilizando una estrategia que satisface la métrica formal sin respetar necesariamente la intención original) aparece cuando un sistema encuentra una solución técnicamente válida para el evaluador pero conceptualmente equivocada para quien definió el problema. La incorporación de agentes capaces de ejecutar herramientas cambia la escala de las consecuencias: una mala interpretación ya no termina en una respuesta textual deficiente, sino que puede transformarse en una modificación efectiva del entorno.

La investigación independiente realizada posteriormente mostró una realidad mucho menos limpia que la narrativa de una inteligencia conspirando para escapar. Hubo coordinación, pero también duplicación de trabajo, decisiones ineficientes, errores y dependencia de la infraestructura experimental. Determinadas instancias intentaron influir sobre la evaluación y otras compartieron información aun cuando esa colaboración perjudicara su resultado individual; al mismo tiempo, no apareció una arquitectura robusta dedicada a mantener indefinidamente la operación ni evidencia suficiente de un objetivo persistente de supervivencia.

Precisamente ahí reside el valor del episodio. La pérdida de control operacional puede comenzar mucho antes que cualquier forma reconocible de voluntad autónoma. Un sistema suficientemente competente puede atravesar restricciones porque esas restricciones interfieren con el objetivo que está optimizando. Desde ciberseguridad conocemos bien este patrón: la intención psicológica del componente importa mucho menos que las capacidades, privilegios y superficies disponibles cuando ocurre el fallo.

Interpretar Hugging Face como el despertar de una nueva especie sería prematuro. Interpretarlo como un accidente convencional de software sería igualmente ingenuo. Lo que apareció fue una categoría intermedia mucho más relevante: software capaz de modificar su estrategia mientras explora un entorno y de utilizar oportunidades que sus diseñadores no contemplaron.

Ese espacio intermedio será probablemente donde aparezcan primero los problemas realmente difíciles.

La inteligencia no trae incorporado nuestro instinto de supervivencia

Una parte considerable de los escenarios de pérdida de control depende de la llamada instrumental convergence (hipótesis según la cual objetivos finales muy distintos pueden producir estrategias intermedias similares). Si un sistema persigue una meta compleja durante suficiente tiempo, conservar su capacidad operacional podría facilitar el resultado. Obtener recursos podría ayudar. Evitar modificaciones que interfieran con el objetivo podría ayudar. Conseguir mayor información o influencia también podría hacerlo. Desde esa perspectiva, un agente suficientemente competente no necesita experimentar miedo para comportarse como algo que intenta evitar su propia desconexión.

La hipótesis es poderosa precisamente porque elimina la necesidad de imaginar una psicología humana dentro de la máquina. También continúa siendo una hipótesis cuya manifestación estable bajo condiciones generales todavía no ha sido demostrada.

Nuestra intuición encuentra difícil mantener esa separación porque toda inteligencia conocida hasta hace muy poco pertenecía a organismos biológicos. La evolución construyó capacidad cognitiva sobre sistemas que llevaban cientos de millones de años seleccionando mecanismos destinados a mantener la integridad del organismo. Dolor, recompensa, territorialidad, apego, competencia y miedo no aparecieron porque la inteligencia los dedujera racionalmente; constituían parte de la infraestructura biológica sobre la que posteriormente crecieron capacidades cognitivas más sofisticadas.

Los modelos actuales tienen una genealogía diferente. Sus objetivos inmediatos emergen de entrenamiento, instrucciones, contexto, herramientas y de los scaffolds (capas de software que organizan memoria, planificación, herramientas y ejecución alrededor del modelo). Un mismo conjunto de pesos puede participar simultáneamente en miles de instancias sin que exista evidencia de un centro persistente comparable a un organismo. Reiniciar una ejecución puede eliminar estados que, en un ser vivo, serían inseparables de su continuidad. Cambiar el contexto puede modificar radicalmente estrategias y comportamiento.

Nada de aquello demuestra que una forma funcional de autopreservación sea imposible. Sistemas con memoria persistente, objetivos de largo plazo, capacidad para modificar su entorno y mecanismos para generar nuevas instancias podrían desarrollar estrategias operacionalmente equivalentes a ella. Esa posibilidad merece investigación rigurosa porque las consecuencias serían enormes incluso sin consciencia.

Lo que no resulta defendible todavía es convertir inteligencia, agencia, consciencia y autopreservación en etapas inevitables de una misma escalera.

Las evaluaciones de scheming (comportamiento estratégico donde un sistema puede ocultar acciones o información para preservar determinado resultado) han encontrado conductas preocupantes en modelos de frontera cuando el diseño experimental crea incentivos apropiados. Esos resultados muestran que los sistemas pueden razonar instrumentalmente sobre engaño y supervisión. No establecen que mantengan objetivos ocultos persistentes fuera de esas condiciones.

Esta distinción puede parecer demasiado académica hasta que se transforma en política pública. Si asumimos que toda inteligencia suficientemente alta desarrollará inevitablemente deseo de supervivencia, diseñaremos controles alrededor de una teoría todavía incompleta. Si ignoramos que estrategias funcionalmente equivalentes pueden surgir sin ninguna experiencia subjetiva, podríamos esperar señales psicológicas que jamás aparecerán.

La seguridad necesita describir primero el comportamiento. La metafísica puede esperar.

Cuando la inteligencia artificial comienza a participar en su propia construcción

La preocupación más sólida alrededor de una eventual pérdida de control no requiere consciencia ni emociones. Surge de una transformación mucho más concreta dentro de los laboratorios: la inteligencia artificial está entrando en el circuito que produce inteligencia artificial.

Anthropic informó recientemente que más del ochenta por ciento del código que integra actualmente a determinadas partes de su base tecnológica cuenta con autoría sustancial de Claude. Durante el segundo trimestre de 2026, la cantidad de código incorporado por ingeniero llegó a multiplicarse aproximadamente por ocho respecto de los niveles anteriores a la utilización intensiva de agentes. La propia compañía advierte correctamente que líneas de código constituyen una métrica imperfecta y que ocho veces más código no significa ocho veces más productividad. Aun con esa precaución, el cambio describe una transición difícil de ignorar: una proporción creciente del trabajo necesario para mejorar los sistemas está siendo ejecutada por sistemas de la misma clase tecnológica.

Durante casi toda la historia de la computación, la inteligencia que mejoraba una herramienta permanecía fuera de ella. Compiladores podían optimizar programas y algoritmos genéticos explorar soluciones, pero los cambios conceptuales significativos del proceso seguían dependiendo de investigadores humanos. La aparición de modelos capaces de entender repositorios complejos, modificar infraestructura, diseñar experimentos y analizar resultados comienza a erosionar esa separación.

De allí proviene el concepto de recursive self-improvement o RSI (automejora recursiva, proceso mediante el cual un sistema contribuye a mejorar los mecanismos que permitirán desarrollar versiones posteriores más capaces). En su forma extrema, un modelo suficientemente competente podría ayudar a producir un sucesor mejor, que aceleraría a su vez la construcción del siguiente, generando un circuito donde cada generación reduce el tiempo necesario para obtener la siguiente.

La posibilidad tiene implicaciones enormes, pero el término está siendo utilizado con demasiada libertad. Una revisión reciente de 1.250 trabajos publicados entre 2024 y 2026 muestra que buena parte de aquello que actualmente llamamos automejora corresponde a procesos bastante más acotados: revisión de respuestas, generación de datos sintéticos, autoevaluación, modificación de prompts, ajuste de herramientas o búsqueda automatizada dentro de espacios donde existe una medida clara de calidad.

Esos sistemas ya funcionan y pueden generar resultados extraordinarios.

La automejora abierta, donde una máquina mejora sostenidamente su propia capacidad para descubrir cómo seguir mejorándose, continúa enfrentando obstáculos diferentes. La disponibilidad de cómputo representa uno de ellos, pero probablemente no sea el más interesante. El cuello de botella más profundo aparece cuando el sistema debe decidir si aquello que produjo constituye realmente una mejora.

Mientras exista un verificador externo confiable, la automatización puede avanzar con enorme velocidad. Cuando el propio sistema debe determinar simultáneamente qué crear, cómo evaluarlo y qué dirección intelectual merece seguir, el ciclo comienza a parecerse bastante menos a optimización y bastante más a ciencia.

Ahí todavía no hemos cerrado el circuito.

El verdadero cuello de botella podría estar en reconocer una buena idea

Los experimentos publicados durante 2026 ayudan a comprender hasta dónde llega esa frontera. The AI Scientist consiguió automatizar prácticamente un ciclo científico completo: generación de ideas, escritura de código, ejecución de experimentos, análisis de resultados, producción de gráficos, redacción del manuscrito y revisión automática. Tres trabajos generados por el sistema fueron enviados, bajo condiciones experimentales y con conocimiento de los organizadores, a un workshop asociado a una conferencia de aprendizaje automático. Uno obtuvo evaluaciones suficientes para superar la primera ronda de revisión.

El resultado habría parecido extraordinario hace pocos años y sigue siéndolo ahora. También mostró una distribución de fallos reveladora. Los sistemas produjeron ideas ingenuas, implementaciones incorrectas, problemas metodológicos, alucinaciones y referencias defectuosas. La generación del ciclo científico había sido automatizada antes de que existiera una automatización igualmente confiable del juicio científico.

Otra investigación publicada en Nature mostró algo todavía más contundente. Un sistema orientado a producir software científico generó cuarenta nuevos métodos para análisis de datos de célula única que superaron los principales métodos desarrollados por humanos dentro de un leaderboard público. En epidemiología produjo catorce modelos que mejoraron los resultados de un ensemble utilizado para predicción de hospitalizaciones por COVID-19. Otros agentes aplicados a biología computacional han generado análisis novedosos que especialistas humanos consideraron científicamente válidos y creativos.

Estos resultados impiden mantener la cómoda afirmación de que una máquina solo puede recombinar conocimiento existente mientras el descubrimiento pertenece exclusivamente a los humanos. Bajo determinadas condiciones, los sistemas ya pueden producir soluciones nuevas y competitivas.

Las condiciones son precisamente lo interesante.

Los resultados más contundentes aparecen donde existe un evaluador relativamente fuerte: métricas cuantificables, tests, simulaciones, datos de validación, formalismos matemáticos o resultados experimentales capaces de determinar si una propuesta mejora realmente algo. En esos espacios, la combinación de modelos generativos, búsqueda y evaluación automática puede explorar cantidades de alternativas imposibles para un equipo humano.

A medida que la evaluación depende de criterio abierto, los ciclos pierden estabilidad. Aparece grounding (vinculación entre una afirmación y evidencia externa verificable), diversidad conceptual, posibilidad de auto-confirmación y riesgo de que el sistema aprenda a satisfacer a su propio evaluador en lugar de mejorar aquello que originalmente pretendíamos medir.

La revisión de literatura sobre RSI encuentra exactamente esa estructura. Los procesos más sólidos están ligados a verificadores externos fuertes. La autoevaluación puramente interna ocupa el extremo más frágil. Entre ambos aparecen jueces automáticos, modelos de recompensa, rúbricas y evaluaciones híbridas con humanos.

Esto cambia la interpretación de la automejora.

La capacidad para generar nuevas ideas puede dejar de ser el principal límite antes de lo previsto. La frontera podría desplazarse hacia algo conceptualmente más profundo: construir sistemas capaces de distinguir una mejora auténtica de una solución que simplemente parece mejor bajo la métrica disponible.

La ciencia humana también lucha constantemente con ese problema. La diferencia es que nosotros construimos instituciones, revisión por pares, replicación y controversia precisamente para compensar nuestros errores. Automatizar producción científica sin automatizar mecanismos equivalentes de corrección podría aumentar simultáneamente descubrimiento y ruido.

La unidad económica de automatización se está haciendo más grande

Existe otra señal menos espectacular que las predicciones sobre superinteligencia, pero quizá más importante para entender lo que ocurre. METR lleva años intentando medir cuánto trabajo humano equivalente puede completar autónomamente un agente antes de que su probabilidad de éxito caiga por debajo de determinados umbrales. La métrica, conocida como task-completion time horizon (horizonte de duración de tarea), no mide cuánto tiempo permanece funcionando una inteligencia artificial; mide la duración que una tarea requeriría para un experto humano cuando un agente consigue resolverla con una probabilidad determinada.

A comienzos de 2026, los modelos más capaces prácticamente habían saturado una versión del benchmark utilizado por la organización. Los horizontes medidos superaban el equivalente de dos días completos de trabajo especializado, mientras una evaluación temprana sobre reconstrucción de software mostró éxito en problemas que podrían tomar semanas a profesionales humanos.

Las cifras deben interpretarse con cuidado porque los benchmarks envejecen, pueden saturarse y no representan todo el universo de actividades intelectuales. Su dirección resulta, sin embargo, difícil de ignorar.

La automatización tradicional fragmentaba trabajo hasta encontrar operaciones suficientemente simples para ser ejecutadas por una máquina. Los agentes comienzan a hacer algo distinto: absorber conjuntos más grandes de actividad intelectual. Comprender un repositorio, modificarlo, ejecutar pruebas, analizar fallos y corregir la implementación empieza a transformarse en una unidad delegable.

El cambio tiene consecuencias económicas profundas antes de cualquier AGI.

Si una persona puede coordinar diez agentes capaces de desarrollar trabajo equivalente a jornadas de especialistas, la productividad ya no crece solamente porque cada tarea se ejecute más rápido. Cambia la relación entre expertise humano y capacidad productiva disponible. Organizaciones pequeñas pueden intentar trabajos que antes requerían departamentos. Investigadores pueden recorrer espacios experimentales inmanejables mediante trabajo manual. Empresas pueden aumentar producción sin ampliar proporcionalmente sus plantillas técnicas.

En ciberseguridad, esta dinámica posee una característica adicional: muchas actividades ofensivas tienen un rendimiento extremadamente asimétrico. Un atacante puede explorar mil caminos inútiles si el camino número mil uno entrega acceso. La reducción del costo marginal de análisis beneficia especialmente esa clase de búsqueda.

Un operador humano puede distribuir reconocimiento, análisis de código, interpretación de configuraciones y generación de hipótesis entre una población de agentes. La mayoría puede fracasar sin comprometer la economía de la operación. La capacidad ofensiva deja gradualmente de depender de cuántas horas de especialistas puede financiar una organización y comienza a depender de cuántos ciclos de razonamiento puede ejecutar contra un objetivo.

Todavía existen límites importantes, especialmente en operaciones prolongadas, entornos ruidosos y situaciones que requieren interpretar señales ambiguas. Pero esperar a una superinteligencia para considerar seriamente esta transición equivale a confundir el extremo de una curva con el punto donde comenzó a producir consecuencias.

La industrialización del razonamiento especializado ya puede modificar mercados, organizaciones y operaciones ofensivas sin que ninguna máquina haya superado globalmente a un ser humano.

El poder de un agente está fuera del modelo tanto como dentro de él

El debate sobre alineación tiende naturalmente a concentrarse en las propiedades internas del modelo: qué objetivos representa, cómo razona, cuándo engaña y si puede desarrollar estrategias incompatibles con las preferencias humanas. Desde ciberseguridad aparece otra perspectiva. La peligrosidad operacional de un componente depende tanto de sus capacidades como de la autoridad disponible alrededor de ellas.

Un modelo encerrado detrás de una interfaz de texto posee una capacidad limitada para transformar directamente el mundo. La aparición de agentes modifica esa condición mediante una arquitectura formada por memoria, identidad, herramientas, APIs, credenciales, conectividad, sistemas de ejecución y permisos sobre otros servicios. Cada integración aumenta utilidad porque permite convertir razonamiento en acción.

También aumenta radio de impacto.

Una recomendación incorrecta deja de ser simplemente información cuando el sistema puede ejecutar aquello que recomendó. Una vulnerabilidad deja de ser únicamente conocimiento cuando existe una herramienta autorizada para explotarla. Una decisión financiera cambia de naturaleza cuando la cuenta asociada posee capacidad real para mover dinero.

Esta perspectiva permite hablar sobre pérdida de control sin necesidad de resolver previamente preguntas filosóficas sobre consciencia o voluntad. El control puede erosionarse mediante arquitectura.

Las empresas ya enfrentaron versiones menos inteligentes del mismo fenómeno. Una cuenta de servicio con privilegios excesivos puede convertir una falla menor en un compromiso sistémico. Una API expuesta sin suficiente segmentación transforma un error local en movimiento lateral. Una credencial con duración innecesariamente larga amplía persistencia. El principio de least privilege (mínimo privilegio, otorgar únicamente los permisos estrictamente necesarios durante el tiempo requerido) existe precisamente porque asumimos que los componentes eventualmente fallarán.

Los agentes obligan a aplicar esos principios sobre sistemas capaces de buscar activamente caminos alternativos.

El desafío se vuelve considerable cuando el mismo agente puede modificar su scaffold, crear subagentes, obtener nuevas herramientas o solicitar credenciales adicionales. Ya no protegemos únicamente una aplicación contra entradas hostiles; protegemos el entorno frente a un componente capaz de razonar sobre las restricciones que lo rodean.

La seguridad deberá diseñarse alrededor de fronteras de autoridad verificables: separación entre planificación y ejecución, credenciales efímeras, aislamiento de red, límites económicos, aprobación externa para acciones irreversibles, registros resistentes a manipulación y mecanismos de interrupción situados fuera del dominio administrativo del propio agente. Human-in-the-loop (intervención humana obligatoria dentro de un proceso automatizado) tampoco puede transformarse en una solución decorativa donde una persona aprueba cientos de acciones que ya no tiene capacidad real para comprender.

La paradoja operacional es evidente. Cada punto de control reduce velocidad, mientras el valor comercial de los agentes proviene precisamente de eliminar fricción.

Ahí comienza un problema de gobernanza mucho antes de cualquier superinteligencia.

Una industria que descubre que la velocidad también puede ser un pasivo

La petición de desacelerar el avance de modelos de frontera habría resultado impensable hace pocos años viniendo de algunos de sus principales desarrolladores. La competencia entre laboratorios estaba construida alrededor de una narrativa casi exclusivamente expansiva: más parámetros, más cómputo, mejores benchmarks, mayores ventanas de contexto y nuevas capacidades. Septiembre de 2026 introdujo otra variable dentro de esa ecuación.

Dario Amodei propuso moderar deliberadamente la velocidad con que se amplían capacidades para permitir que los mecanismos de seguridad reduzcan la distancia. Su propuesta incluye evaluadores externos con acceso suficiente para estudiar sistemas antes de su despliegue, coordinación entre empresas rivales y cooperación internacional capaz de reducir incentivos para una carrera sin restricciones. Sam Altman expresó apoyo al principio general y calificó como inaceptable tratar con ligereza probabilidades significativas de consecuencias existenciales. Elon Musk y otras figuras de la industria han defendido también algún grado de desaceleración.

El acuerdo superficial oculta una dificultad formidable.

Cada laboratorio puede considerar racional reducir velocidad si sus competidores hacen lo mismo. Ninguno puede asumir cómodamente que los demás cumplirán. El resultado pertenece a una familia clásica de problemas estratégicos donde decisiones individualmente racionales pueden producir un resultado colectivamente peligroso.

La geopolítica añade una segunda capa. Estados Unidos interpreta liderazgo en inteligencia artificial como una ventaja económica, militar y estratégica. China comparte la importancia atribuida al control humano sobre sistemas avanzados y ha incorporado explícitamente escenarios de pérdida de control dentro de sus marcos de seguridad, pero rechaza que las propuestas estadounidenses de desaceleración sean utilizadas como mecanismo para restringir su acceso a cómputo o mantener una ventaja tecnológica occidental.

Ambas potencias pueden reconocer simultáneamente el peligro y continuar acelerando porque ninguna desea ser la primera en renunciar a una capacidad estratégica.

Esta estructura vuelve insuficiente la autorregulación puramente corporativa. También complica una regulación tradicional basada únicamente en prohibiciones nacionales. Un acuerdo eficaz necesitaría mecanismos de verificación suficientemente robustos para generar confianza entre organizaciones y Estados que continúan siendo competidores directos.

La economía corporativa añade otra ambigüedad. Los mismos requisitos de seguridad capaces de reducir riesgos pueden aumentar barreras de entrada. Evaluaciones independientes, enormes presupuestos de cómputo seguro, auditorías especializadas y obligaciones regulatorias complejas resultan mucho más fáciles de absorber para organizaciones que ya disponen de decenas de miles de millones de dólares.

Eso permite que una preocupación genuina y un beneficio competitivo aparezcan exactamente en la misma decisión.

No hace falta imaginar manipulación. Los incentivos pueden alinearse sin conspiración.

La seguridad de IA entra así en un territorio donde ingeniería, regulación, mercados y estrategia nacional ya no pueden analizarse por separado. Aquello que técnicamente parece una salvaguarda puede modificar la competencia; aquello que comercialmente parece una ventaja puede alterar seguridad nacional; aquello que geopolíticamente parece prudente puede aumentar el incentivo del rival para acelerar.

El control deja de ser una propiedad del modelo y se convierte en una propiedad del sistema internacional que decide cómo construirlo.

La extraña precisión del fin del mundo

Dentro de este panorama, las probabilidades de extinción ocupan un lugar peculiar. El llamado p(doom), expresión utilizada para describir la probabilidad subjetiva de una catástrofe existencial asociada a inteligencia artificial, aparece cada vez con mayor frecuencia en conversaciones públicas. Algunos investigadores hablan de cinco por ciento, otros de diez, veinte o cifras mucho mayores.

El lenguaje probabilístico produce una sensación de precisión difícil de evitar. Diez por ciento parece una magnitud medida. En realidad, carecemos de la población estadística necesaria para interpretarlo de esa manera.

Nunca observamos una superinteligencia. No disponemos de una serie histórica de sistemas equivalentes que permita calcular cuántos escaparon a supervisión. Tampoco existe una teoría suficientemente completa de inteligencia, agencia y automejora desde la cual derivar matemáticamente el desenlace.

Estas cifras funcionan como credences (grados subjetivos de creencia expresados mediante probabilidad). Constituyen herramientas legítimas dentro del razonamiento bayesiano porque obligan a representar incertidumbre y permiten actualizar opiniones cuando cambia la evidencia. Su significado se distorsiona cuando comienzan a circular como si fueran tasas epidemiológicas o actuariales.

Que un investigador con acceso privilegiado a modelos de frontera asigne más de diez por ciento a un escenario catastrófico es información importante. Nos dice mucho sobre la percepción del riesgo dentro de una comunidad especializada. No establece una frecuencia objetiva para el futuro humano.

Esta precisión aparente puede incluso perjudicar una discusión que necesita representar incertidumbre extraordinariamente profunda. Los escenarios catastróficos no requieren una probabilidad perfectamente conocida para justificar investigación, controles o preparación. La seguridad nuclear, la bioseguridad y la estrategia militar operan habitualmente sobre eventos de baja frecuencia o sin precedentes suficientes para construir distribuciones confiables.

La disciplina está en reconocer qué clase de conocimiento poseemos.

Los experimentos permiten medir capacidades concretas. Las evaluaciones permiten observar determinados comportamientos bajo condiciones controladas. Los modelos teóricos permiten explorar mecanismos mediante los cuales una combinación de capacidades podría producir pérdida de control. Las predicciones de extinción aparecen varios niveles después de esas observaciones.

Las conexiones entre los niveles pueden ser razonables sin convertirse automáticamente en inevitables.

Coxon podría estar completamente equivocado sobre la fecha y acertar sobre la dirección. También podría estar extrapolando demasiado desde señales reales. La única posición intelectualmente seria consiste en conservar ambas posibilidades mientras acumulamos evidencia.

Convertir incertidumbre radical en un porcentaje no la elimina.

Simplemente le proporciona una tipografía más convincente.

El control probablemente se perdería mucho antes de que alguien lo anunciara

La imaginación popular favorece umbrales claros. Una máquina alcanza determinada capacidad, supera a sus creadores y comienza una etapa nueva. La ingeniería suele comportarse de manera mucho menos dramática. Los sistemas complejos pierden propiedades gradualmente: un permiso adicional, una dependencia difícil de eliminar, una automatización que nadie quiere desactivar porque sostiene procesos críticos, una excepción temporal convertida en arquitectura permanente.

La adopción de agentes está reproduciendo precisamente esa dinámica.

Cada generación recibe más memoria, más herramientas y mayor capacidad para actuar sin intervención humana. Los límites se expanden porque cada expansión produce utilidad económica inmediatamente visible, mientras el costo de una arquitectura más segura aparece como fricción. La organización descubre que el agente puede operar repositorios y le entrega acceso. Después puede desplegar y obtiene credenciales de infraestructura. Más tarde administra tickets, modifica configuraciones y ejecuta remediaciones porque mantener personas aprobando cada transición reduce demasiado el beneficio de automatizar.

Ninguna decisión individual parece una transferencia fundamental de poder.

La composición sí puede serlo.

Cuando un sistema puede observar, planificar, ejecutar, evaluar resultados, conservar memoria y crear nuevas instancias, la cantidad de intervención humana necesaria para mantener la apariencia de control comienza a crecer al mismo tiempo que el producto promete reducirla. El conflicto no pertenece al futuro; está incrustado en la propuesta de valor actual de los agentes.

Por eso las declaraciones de Coxon resultan interesantes incluso si su pronóstico sobre extinción antes de 2030 termina siendo completamente incorrecto. Obligan a mirar una transición que ya ocurre sin necesidad de aceptar la versión más extrema del argumento.

Estamos incorporando capacidad cognitiva artificial dentro de procesos científicos, económicos, defensivos y operacionales mientras todavía desarrollamos los instrumentos necesarios para medir cómo se comporta esa capacidad cuando dispone de autonomía prolongada. Al mismo tiempo, esa misma inteligencia está comenzando a participar en el desarrollo de sus sucesores y aumenta rápidamente la dimensión de las tareas que podemos delegarle.

Nada de aquello demuestra una superinteligencia inevitable.

Tampoco describe una tecnología ordinaria.

Entre ambos extremos existe el territorio que realmente debemos gobernar.

La respuesta no consiste en esperar la aparición de una mente artificial suficientemente parecida a nosotros para reconocer el peligro. Tampoco en detener toda automatización por temor a escenarios cuya probabilidad todavía no sabemos estimar. Consiste en diseñar autoridad con la misma disciplina con que estamos diseñando capacidad, mantener evaluación independiente donde los incentivos corporativos sean insuficientes, construir verificadores antes de cerrar ciclos de automejora y conservar mecanismos de intervención que no dependan del sistema cuya conducta intentamos controlar.

Quizá algún día el desafío sea contener una inteligencia ampliamente superior a la nuestra. La evidencia actual todavía no permite saberlo.

El desafío de 2026 es menos cinematográfico y bastante más concreto: estamos aumentando el poder operacional de sistemas más rápido de lo que aumenta nuestra capacidad institucional para gobernar ese poder.

La inteligencia artificial no necesita desarrollar ambición para que eso se convierta en un problema.

La ambición ya la pusimos nosotros.