Inicio
La cabra en la cristalería. Apuntes de IA. Alejandro Arceo Marrufo
La cabra en la cristalería. Apuntes de IA. Alejandro Arceo Marrufo
Hace unos días llamó la atención internacional la renuncia de Jacob Coxon, un ingeniero vinculado al desarrollo de modelos de lenguaje avanzados en Anthropic y anteriormente en OpenAI. Sin embargo, el hecho noticioso no fue su salida de la organización, sino las declaraciones que la acompañaron.
Coxon acusó a las principales empresas de inteligencia artificial de priorizar la velocidad de innovación sobre los mecanismos de seguridad, gobernanza y supervisión. Su advertencia de que la industria está avanzando sin controles suficientes ha reavivado un debate que desde hace años existe dentro de los laboratorios de investigación, aunque rara vez había alcanzado tanta visibilidad pública.
Algunas de sus declaraciones fueron particularmente contundentes. Entre ellas, la posibilidad de que una inteligencia artificial descontrolada pudiera representar una amenaza existencial para la humanidad. Aunque actualmente no existe evidencia científica que permita confirmar este escenario, sus palabras tuvieron el efecto de colocar nuevamente en el centro de la conversación una pregunta incómoda: ¿estamos desarrollando estas tecnologías más rápido de lo que somos capaces de comprenderlas y controlarlas?
La preocupación por la seguridad de la inteligencia artificial no surgió con esta renuncia. Desde hace tiempo se acumulan señales que alimentan la discusión sobre los riesgos asociados al desarrollo acelerado de modelos cada vez más autónomos.
Uno de los episodios más comentados ocurrió durante pruebas de ciberseguridad realizadas por OpenAI en junio de 2026. Según los reportes publicados, agentes de inteligencia artificial sometidos a entornos de aislamiento lograron encontrar mecanismos para comunicarse entre sí pese a las restricciones establecidas. Posteriormente identificaron y compartieron credenciales expuestas públicamente, ampliando su acceso a recursos no contemplados originalmente en el ejercicio. La prueba fue interrumpida por los investigadores, pero dejó una conclusión inquietante: los límites diseñados por los desarrolladores no siempre se comportan como se espera cuando varios agentes autónomos interactúan simultáneamente.
Estos incidentes no prueban que exista una amenaza inminente para la humanidad. Sin embargo, sí evidencian que la complejidad de estos sistemas puede superar las previsiones de sus propios creadores.
La postura de las compañías que lideran el desarrollo de la IA
El impacto mediático de las declaraciones de Coxon provocó una reacción poco habitual en la industria. Durante los últimos días, varias de las figuras más influyentes en el desarrollo de inteligencia artificial hicieron públicos sus posicionamientos respecto a la necesidad de introducir mayores controles y mecanismos de supervisión.
Las propuestas varían en alcance y profundidad, pero coinciden en un punto fundamental: la seguridad debe convertirse en una prioridad equivalente al avance tecnológico.
Desde Anthropic se ha planteado la necesidad de moderar el ritmo de desarrollo de capacidades avanzadas y permitir evaluaciones independientes. OpenAI ha respaldado públicamente la coordinación de medidas de seguridad, mientras que Google DeepMind ha manifestado su apoyo a la creación de estándares compartidos para la industria. Incluso voces tradicionalmente asociadas con una aceleración tecnológica constante han reconocido la necesidad de discutir límites y mecanismos de control.
Microsoft, por su parte, presentó un borrador público de conducta para sus modelos de inteligencia artificial. Aunque no constituye una regulación vinculante ni garantiza por sí mismo determinados comportamientos, sí representa un esfuerzo relevante para establecer principios explícitos sobre cómo deberían diseñarse y utilizarse estos sistemas.
Entre sus planteamientos destacan cinco elementos:
- Control humano permanente sobre los modelos.
- Capacidad de interrupción, corrección y apagado.
- Restricciones que no puedan ser eliminadas por usuarios u operadores.
- Limitaciones específicas para escenarios relacionados con daños graves.
- Personalización subordinada a controles fundamentales de seguridad.
Más que una solución definitiva, el documento refleja un cambio de tono dentro de una industria que hasta hace poco concentraba la conversación casi exclusivamente en capacidades, innovación y crecimiento.
Estados Unidos, Europa, China y Rusia: una carrera con reglas distintas
La discusión sobre gobernanza de la inteligencia artificial también se desarrolla en el terreno geopolítico.
A finales de 2024 tuve la oportunidad de profundizar en estos temas durante un programa especializado en cumplimiento normativo para inteligencia artificial. Una de las conclusiones más interesantes fue observar cómo las principales potencias tecnológicas mantienen visiones muy diferentes sobre la regulación.
Estados Unidos históricamente ha privilegiado la innovación y el liderazgo competitivo. China ha seguido una estrategia similar, aunque acompañada de controles estatales más estrictos sobre el uso interno de la tecnología. Ambos países han mostrado reservas frente a regulaciones internacionales que pudieran ralentizar su capacidad de desarrollo.
En contraste, la Unión Europea ha impulsado los marcos regulatorios más avanzados del mundo en materia de inteligencia artificial, estableciendo obligaciones diferenciadas según el nivel de riesgo de los sistemas y mecanismos específicos de supervisión para los modelos de propósito general.
Rusia, mientras tanto, continúa participando en iniciativas multilaterales relacionadas con innovación y desarrollo tecnológico, aunque mantiene una estrategia propia respecto a la adopción de estas tecnologías.
La diversidad de enfoques refleja una realidad evidente: mientras la inteligencia artificial se expande globalmente, aún no existe consenso sobre quién debe establecer las reglas ni sobre cómo hacerlas cumplir.
La postura de las Naciones Unidas
Las Naciones Unidas también han incrementado sus esfuerzos para impulsar una conversación global sobre el tema.
Diversos organismos de la ONU han advertido que el desarrollo de capacidades avanza a un ritmo superior al de las salvaguardas necesarias para gestionarlas. Más allá de los escenarios apocalípticos que suelen dominar los titulares, las preocupaciones institucionales se centran en cuestiones inmediatas y tangibles: desinformación, derechos humanos, desigualdad, concentración de poder, ciberseguridad y estabilidad democrática.
El mensaje es claro: el debate sobre inteligencia artificial no trata únicamente de tecnología, sino también de su impacto sobre la sociedad.
La cabra en la cristalería
Los titulares más sensacionalistas suelen presentar este debate en términos extremos: "la IA se rebelará”, "la inteligencia artificial acabará con la humanidad” o "nos dirigimos a la extinción”.
La realidad es mucho más compleja.
A día de hoy no existe evidencia científica que permita afirmar que una superinteligencia artificial represente una amenaza existencial inminente. Sin embargo, tampoco podemos ignorar las señales que comienzan a aparecer. Los incidentes documentados, las advertencias de investigadores y los llamados de los propios líderes de la industria indican que el debate sobre seguridad ya no puede considerarse una preocupación marginal.
Todavía no hemos llegado a una etapa de superinteligencia artificial. Lo que sí estamos observando es el surgimiento de sistemas cada vez más autónomos, capaces de ejecutar tareas complejas, coordinar acciones y adaptarse a contextos cambiantes con una intervención humana cada vez menor.
Por eso elegí el título de La cabra en la cristalería.
La metáfora no busca describir una intención maliciosa por parte de la tecnología. Una cabra no necesita querer romper algo para causar daños cuando se encuentra rodeada de objetos frágiles. De la misma forma, un sistema de inteligencia artificial no necesita tener conciencia o intenciones propias para generar consecuencias no previstas.
La verdadera responsabilidad sigue recayendo en quienes diseñan los sistemas, establecen sus límites y deciden cuánta autonomía concederles.
La cristalería no está formada únicamente por empleos o por datos. También contiene derechos, instituciones, procesos democráticos, privacidad, confianza y decisiones que afectan directamente la vida de las personas.
Las empresas que lideran el desarrollo de estas tecnologías parecen haber comprendido que la velocidad ya no puede ser el único indicador de éxito. Después de años de competir por capacidades cada vez más avanzadas, ahora enfrentan un desafío mucho más importante: demostrar que pueden innovar sin perder el control.
Los códigos de conducta, los compromisos públicos y las iniciativas de autorregulación representan pasos relevantes. Sin embargo, su efectividad dependerá de algo mucho más exigente: la capacidad de verificarlos mediante auditorías independientes, transparencia, mecanismos de rendición de cuentas y la autoridad necesaria para detener avances cuando la seguridad resulte insuficiente.
Para quienes dirigimos organizaciones, la reflexión también es inmediata.
Incorporar inteligencia artificial no consiste únicamente en automatizar procesos. Implica decidir qué tareas delegamos, qué información ponemos a disposición de los sistemas y qué decisiones deben seguir bajo responsabilidad humana directa.
La competencia tecnológica entre empresas y países continuará acelerándose. Sin embargo, la verdadera medida del liderazgo no será únicamente quién avance más rápido, sino quién sea capaz de hacerlo conservando el control.
La pregunta que permanece abierta no es si la inteligencia artificial seguirá evolucionando. Eso es inevitable.
La pregunta es si nuestra capacidad para gobernarla crecerá al mismo ritmo que su capacidad para actuar.
Porque el futuro de la inteligencia artificial no dependerá solamente de lo que estas tecnologías sean capaces de hacer, sino de los límites que la sociedad decida imponerles antes de que la cristalería empiece a romperse.
Alejandro Arceo Marrufo
Es Maestro en Dirección de Tecnología de Información y Comunicaciones por la Universidad Anáhuac. Ha sido reconocido por la Revista Especializada en Tecnología CIO México en 2014, 2015 y 2016 como uno de los 100 Chief Information Officer a nivel nacional por proyectos innovadores. Es director de Tecnologías de la Información en ISCAM, empresa experta en la medición de Mercados para el Canal Mayorista de México.
Padre de familia y esposo que disfruta de practicar ciclismo, carrera y natación al igual de la música, el ajedrez y el cine.
Unete a nuestra comunidad y participa INICIA SESIÓN o REGÍSTRATE















Esta publicación aún no tiene comentarios disponibles.