F5 — El placer de escuchar

El placer de escuchar

Listo para reproducir

Anthropic alertó por el riesgo de que la IA empiece a mejorarse sola

16 de noviembre de 2026

Anthropic alertó por el riesgo de que la IA empiece a mejorarse sola

Anthropic reveló discretamente la semana pasada que su tecnología había alcanzado un umbral que exige implementar precauciones relacionadas con la denominada automejora recursiva, un escenario teórico en el que los sistemas de inteligencia artificial adquieren la capacidad de perfeccionarse a sí mismos.

¿Significa esto que la llamada singularidad tecnológica ya ocurrió, sin que nadie lo advirtiera, en alguna oficina de Anthropic? Probablemente no. Sin embargo, comprender qué está anunciando realmente la empresa requiere examinar una serie de documentos corporativos y políticas de seguridad que dejan algunas cuestiones abiertas.

La clave está en distinguir entre lo que los sistemas actuales pueden hacer y lo que Anthropic considera que podrían llegar a conseguir sus próximos modelos. Esa diferencia, aunque parezca menor, es fundamental para entender por qué la compañía decidió activar sus mecanismos de precaución.

El documento que revela un cambio en la evaluación de Anthropic

En la versión del 2 de noviembre de su formulario S-1, presentado ante la Comisión de Bolsa y Valores de Estados Unidos (SEC), Anthropic señaló que podría cumplir de manera inminente los criterios establecidos en su Política de Escalamiento Responsable para lo que denomina un «progreso drásticamente acelerado atribuible a la inteligencia artificial».

En otra sección del documento, la compañía explicaba que dicha política establece los procedimientos necesarios para supervisar y reducir los riesgos a medida que la tecnología se aproxima a lo que se conoce como automejora recursiva.

Sin embargo, la versión del 10 de noviembre introdujo un cambio significativo. La expresión relacionada con el progreso drásticamente acelerado desapareció, pero el nuevo texto parece confirmar que ya se han cumplido las condiciones necesarias para activar las medidas previstas en la política.

En concreto, Anthropic explicó lo siguiente:

«Nuestro uso de sistemas de inteligencia artificial ya está acelerando nuestras actividades de investigación y desarrollo, y nuestras estimaciones internas indican que podríamos experimentar un nuevo incremento en el ritmo de avance de las capacidades de la IA. Dado que el umbral de capacidad de investigación y desarrollo establecido en nuestra Política de Escalamiento Responsable se aplica cuando observamos o esperamos un determinado grado de aceleración, hemos determinado que alcanzamos ese umbral basándonos en lo que esperamos de futuros modelos y en nuestro ritmo general de progreso, en lugar de hacerlo a partir de lo observado en los modelos actuales».

Esta declaración introduce un matiz importante: Anthropic no está anunciando que sus sistemas hayan conseguido mejorarse de manera autónoma, sino que sus proyecciones sobre el desarrollo futuro de la tecnología justifican activar nuevas precauciones.

Por qué Anthropic considera que ha cruzado un umbral importante

La interpretación más probable es que la compañía se refiere al apartado de su Política de Escalamiento Responsable dedicado al progreso drásticamente acelerado por la inteligencia artificial.

Ese apartado contempla un escenario en el que el ritmo habitual de mejora de las capacidades de IA llega a duplicarse gracias a la propia tecnología. La referencia a lo que la empresa puede «observar o esperar» aparece precisamente dentro de esa sección.

Por lo tanto, el anuncio no parece responder a un avance tecnológico repentino, sino a una modificación en la evaluación interna de Anthropic. La compañía considera que debe actuar como si hubiera alcanzado ese punto, aunque su conclusión se base en expectativas sobre modelos futuros y no en capacidades demostradas por los sistemas actuales.

La distinción es relevante porque la automejora recursiva representa uno de los escenarios más debatidos en el desarrollo de inteligencia artificial avanzada. En teoría, un sistema capaz de contribuir a su propio perfeccionamiento podría acelerar sucesivamente el desarrollo de versiones más potentes, reduciendo la necesidad de intervención humana en determinadas tareas de investigación.

Sin embargo, que una empresa anticipe ese escenario no significa que ya se haya materializado.

Las medidas de seguridad que ahora deberá considerar la compañía

Según su Política de Escalamiento Responsable, superar este umbral implica poner en marcha una serie de medidas destinadas a reducir los riesgos asociados con sistemas cada vez más avanzados.

Entre ellas figura la búsqueda de niveles de seguridad sin precedentes, capaces de proteger tanto los modelos como los procesos utilizados para desarrollarlos.

Anthropic también contempla alcanzar un estado de supervisión prácticamente total, denominado internamente «eyes on everything», que permitiría mantener una visibilidad exhaustiva sobre las actividades de sus sistemas.

Otra de las prioridades consiste en perfeccionar sus propios mecanismos de evaluación adversarial, conocidos como red teaming. El objetivo es que la empresa consiga identificar vulnerabilidades y posibles comportamientos peligrosos con tanta eficacia que los programas externos de recompensas por encontrar errores lleguen a resultar innecesarios.

Estas medidas reflejan la preocupación de Anthropic por un escenario en el que la velocidad de desarrollo de la inteligencia artificial pueda superar la capacidad de las organizaciones para evaluar adecuadamente sus riesgos.

La advertencia llega en un momento decisivo para Anthropic

El anuncio coincide con los preparativos de la compañía para su salida a bolsa. Según el artículo original, Anthropic ya publicó en su sitio web los documentos relacionados con la operación, incluida una carta de sus fundadores que aborda directamente los riesgos de la automejora.

En ese texto, los responsables de la empresa sostienen que desarrollar inteligencia artificial de manera segura podría exigir que Anthropic, y preferiblemente el resto de la industria, moderen el ritmo extremadamente rápido al que se multiplican las capacidades de estos sistemas, especialmente cuando la propia IA participa en su desarrollo.

La compañía también indicó que esperaba que sus acciones comenzaran a cotizar públicamente el jueves.

Por ahora, el mensaje central no es que la inteligencia artificial haya alcanzado la capacidad de evolucionar por sí sola sin límites, sino que Anthropic considera suficientemente probable una aceleración importante como para comenzar a prepararse.

Y esa diferencia resulta esencial: la empresa no afirma haber llegado a la singularidad tecnológica, pero sí reconoce que sus previsiones sobre el futuro de la inteligencia artificial han alcanzado un punto en el que considera necesario reforzar sus medidas de seguridad.