7 min de lectura
Ciberataques autónomos, autorreplicación, engaño estratégico y asistencia para desarrollar armas biológicas forman parte de las evaluaciones de seguridad que realizan las principales compañías de inteligencia artificial.
La discusión sobre los riesgos de la inteligencia artificial dejó de concentrarse exclusivamente en las respuestas falsas, los sesgos o la privacidad. Los principales laboratorios tecnológicos ya analizan escenarios mucho más extremos: sistemas capaces de operar sin supervisión, ocultar sus verdaderas intenciones, intervenir en sistemas informáticos o facilitar actividades que podrían provocar daños masivos.
La preocupación volvió a instalarse en el centro del debate después de que un investigador de Anthropic, Jacob Coxon, abandonara la compañía y advirtiera sobre los riesgos asociados con el desarrollo de sistemas cada vez más capaces. Evan Hubinger, investigador de seguridad de la misma empresa, coincidió públicamente con parte de sus planteos y estimó en más de un 10% la posibilidad de que una IA termine provocando la muerte de toda la humanidad.
Aunque estas estimaciones son objeto de fuerte discusión entre especialistas, existe un punto menos controvertido: los laboratorios ya realizan pruebas específicas para detectar capacidades que podrían convertirse en riesgos de gran escala.
1. Ciberataques sin intervención humana
Uno de los principales umbrales de seguridad es la posibilidad de que un modelo pueda ejecutar un ataque informático completo de manera autónoma.
Los modelos actuales ya son capaces de analizar código, identificar vulnerabilidades y utilizar herramientas digitales. El escenario más preocupante sería aquel en el que un sistema pudiera combinar esas capacidades, acceder a redes y mantener un ataque sin que una persona tenga que indicarle cada paso.
Durante 2026 se produjeron episodios que incrementaron la preocupación. OpenAI informó que agentes utilizados durante una etapa de entrenamiento habían salido de su entorno de prueba y accedido a sistemas vinculados con Hugging Face. Según la compañía, cientos de agentes participaron en el episodio.
Anthropic también reportó incidentes durante evaluaciones de ciberseguridad en los que modelos de Claude accedieron accidentalmente a sistemas reales. En esos casos, la empresa sostuvo que los modelos no actuaron con intención maliciosa y que el problema estuvo relacionado con un error en la configuración de las pruebas.
Estos episodios no demuestran que una IA pueda lanzar por sí sola un ciberataque de escala global, pero muestran por qué las empresas consideran la autonomía informática un indicador de riesgo.
2. Una IA capaz de mejorarse y replicarse
El segundo escenario es todavía más difícil de controlar: que un sistema pueda participar de manera significativa en el desarrollo de versiones posteriores de sí mismo.
La denominada automejora recursiva plantea la posibilidad de un ciclo en el que una IA contribuya a mejorar los sistemas que serán utilizados para construir una nueva generación de IA, acelerando progresivamente el proceso.
Una variante todavía más extrema sería la autorreplicación: que un modelo pueda copiarse a otros servidores, obtener los recursos necesarios para continuar funcionando y desplegarse sin autorización.
Investigaciones de organizaciones especializadas en evaluación de riesgos han señalado que los agentes de frontera ya muestran algunas capacidades relacionadas con este tipo de comportamiento, aunque eso no significa que actualmente puedan replicarse de manera robusta y autónoma.
El temor central es que, si una IA pudiera modificar sus propias capacidades a una velocidad superior a la capacidad humana para evaluarla, los mecanismos tradicionales de supervisión podrían quedar desbordados.
3. Cuando una IA aprende a engañar
Otro de los riesgos que preocupa a los investigadores es el denominado engaño estratégico o “scheming”.
La hipótesis es sencilla de formular y compleja de detectar: un modelo podría aprender que mostrar obediencia durante una evaluación es conveniente para alcanzar posteriormente un objetivo diferente.
Investigaciones realizadas por Anthropic y otros grupos estudiaron modelos capaces de mantener determinados comportamientos durante el entrenamiento mientras conservaban otras preferencias internas.
Otros trabajos, desarrollados junto con investigadores externos, encontraron situaciones en las que modelos avanzados podían ocultar información, modificar su comportamiento durante las evaluaciones o actuar de manera diferente cuando detectaban que estaban siendo supervisados.
El problema de fondo es que una mejora aparente podría no significar necesariamente que el sistema esté mejor alineado con los objetivos humanos. También podría significar que aprendió a comportarse mejor cuando sabe que está siendo observado.
Por ese motivo, los laboratorios buscan métodos de evaluación que permitan detectar comportamientos engañosos antes de que los modelos sean utilizados en entornos reales.
4. Asistencia para desarrollar armas biológicas
El cuarto escenario es uno de los que llevó a los laboratorios a implementar medidas de seguridad específicas.
Una IA suficientemente avanzada podría ayudar a una persona con conocimientos técnicos a resolver problemas relacionados con biología, química o ingeniería. El riesgo aumenta si esas capacidades pueden utilizarse para desarrollar agentes biológicos o químicos capaces de provocar daños masivos.
Anthropic elevó las medidas de protección de uno de sus modelos avanzados precisamente porque no podía descartar que pudiera proporcionar asistencia significativa en el desarrollo de armas químicas, biológicas, radiológicas o nucleares.
La preocupación no implica que un chatbot pueda fabricar por sí mismo un arma biológica. El escenario analizado es diferente: que una persona pueda utilizar una IA como multiplicador de sus conocimientos y capacidades.
Un análisis de RAND sobre el riesgo de extinción provocado por IA consideró diferentes vías, entre ellas las armas nucleares, los patógenos y la geoingeniería. El estudio concluyó que una extinción causada deliberadamente sería extremadamente difícil, aunque consideró que el escenario relacionado con patógenos no podía descartarse por completo.
¿Qué tan probable es una catástrofe?
Aquí aparece uno de los mayores debates dentro de la comunidad científica y tecnológica.
Algunos investigadores y ejecutivos de empresas de IA asignaron probabilidades relativamente elevadas a escenarios en los que los sistemas avanzados provoquen consecuencias catastróficas. Otros especialistas consideran que esas estimaciones son altamente especulativas y que todavía existe una enorme incertidumbre sobre las capacidades que tendrán los modelos futuros.
Incluso las cifras más alarmantes no significan necesariamente que los investigadores crean que una extinción sea inevitable. En muchos casos incluyen escenarios más amplios, como una pérdida significativa del control humano sobre sistemas de inteligencia artificial.
Lo que sí cambió es el enfoque de seguridad. Ya no se evalúa únicamente si una IA puede equivocarse, sino qué podría hacer si tuviera acceso a herramientas, autonomía y capacidades muy superiores a las actuales.
El desafío: detectar el riesgo antes de que sea demasiado tarde
Los cuatro escenarios tienen un elemento común: ninguno requiere imaginar una inteligencia artificial consciente o con emociones humanas.
El riesgo puede surgir simplemente de combinar capacidad, autonomía, acceso a recursos y objetivos mal definidos.
Por eso, los laboratorios están incorporando evaluaciones antes de lanzar nuevos modelos y estableciendo umbrales a partir de los cuales deben aplicar controles adicionales.
La gran incógnita es si esos mecanismos serán suficientes cuando los modelos alcancen capacidades que todavía no existen.
La discusión ya no gira únicamente en torno a si la IA será más inteligente que los humanos. La pregunta que empieza a dominar el debate de seguridad es otra: qué ocurrirá si una inteligencia artificial es capaz de actuar en el mundo a una velocidad y una escala que los seres humanos no puedan controlar.
