En junio de 2014 hacía la fila para entrar al Google I/O en San Francisco, el congreso anual para programadores de la empresa. Entre los asistentes caminaban manifestantes sindicales disfrazados de Darth Vader y soldados imperiales pidiendo mejores condiciones y más control sobre las empresas de tecnología.
Desde un estacionamiento colgaba un cartel amarillo: “Google: Don’t be evil. Be a force for good”, un juego con el lema de Google de no hacer el mal y con la Fuerza de Star Wars. Un vocero de Google respondió con humor: deseó que “la Fuerza acompañara” a los manifestantes.
Dentro del evento apareció otra preocupación. Google había comprado recientemente a Boston Dynamics y crecían las preguntas sobre los usos militares de sus robots. Durante la keynote, un activista acusó a la empresa de construir máquinas capaces de matar personas. “Trabajan para una compañía totalitaria”, gritó antes de ser retirado por seguridad.
Esto no les gusta a los autoritarios
El ejercicio del periodismo profesional y crítico es un pilar fundamental de la democracia. Por eso molesta a quienes creen ser los dueños de la verdad.
A muchos de los que estábamos ahí nos pareció exagerado. La IA todavía no generaba textos ni imágenes ni actuaba por nosotros. Una máquina autónoma decidiendo sobre una vida parecía más cerca de Darth Vader que de un producto real.
Ese mismo año, Google también había comprado DeepMind, una adquisición que parecía mucho menos amenazante: era un laboratorio de aprendizaje automático y neurociencia que enseñaba a sus sistemas a jugar videojuegos.
Tres años después, Google vendió Boston Dynamics. DeepMind, en cambio, hoy está en el centro de la estrategia de IA de la compañía.
Doce años después volví a Google I/O. El cierre de la keynote estuvo a cargo de Demis Hassabis, CEO de Google DeepMind, ganador del Premio Nobel de Química por un desarrollo de la empresa y uno de los máximos impulsores de la inteligencia artificial general (AGI): sistemas con todas las capacidades cognitivas del cerebro humano.
Tras casi dos horas de anuncios dijo que, al mirar hacia atrás, probablemente comprenderíamos que estuvimos parados en las “estribaciones de la singularidad”. La IA, afirmó, podría multiplicar el ingenio humano e inaugurar una nueva edad dorada para la ciencia.
Esta semana retomó esa imagen en un artículo bastante más urgente. Sostiene que la AGI está a pocos años y que su impacto podría ser diez veces mayor que el de la Revolución Industrial, pero producirse diez veces más rápido. Será como cuando descubrimos el fuego y la electricidad. También menciona riesgos cibernéticos, biológicos y nucleares, y admite que los avances superan nuestra capacidad para comprenderlos: ni el sector ni la sociedad se están dando el tiempo necesario.
Propone crear en Estados Unidos un organismo técnico financiado principalmente por la industria. Al comienzo, los laboratorios entregarían voluntariamente sus modelos de frontera hasta treinta días antes de publicarlos; luego, aprobar la evaluación sería requisito para ofrecerlos en el país. Si hiciera falta, el organismo podría coordinar una desaceleración.
Los apoyos fueron inusuales. Nadella, de Microsoft, pidió más ideas así para innovar sin que un solo modelo pueda “romper el mundo”. Musk, de SpaceXAI, la consideró un buen punto de partida y Altman, de OpenAI, la elogió, aunque propone un esquema inspirado en la agencia atómica. Amodei, de Anthropic, prefiere uno como el de la aviación, con poder para bloquear modelos peligrosos. Los líderes de los grandes laboratorios coinciden en que el sistema actual no alcanza, pero difieren sobre quién debe controlar y quién podría impedir un lanzamiento.
Dentro de Google, la discusión se volvió concreta. Alex Turner, investigador de seguridad de DeepMind, contó esta semana que renunció por el acuerdo de Google con el Pentágono para usar su IA en operaciones clasificadas. El contrato dice que el sistema no debería emplearse para vigilancia masiva doméstica ni armas autónomas sin supervisión humana, pero no establece una prohibición vinculante ni concede a Google poder de veto.Antes de irse, Turner redactó una propuesta de veinticinco páginas, revisada por especialistas en derecho militar y vigilancia, y se la envió a Hassabis. Llegó al equipo de políticas, pero, según Turner, quedó sin evaluar hasta que el acuerdo fue firmado.
Otro empleado, Andreas Kirsch, dio la discusión desde adentro con un ensayo cuyo título resume el problema: “La confianza no es gobernanza”. Las buenas intenciones, sostiene, no reemplazan la supervisión independiente ni la posibilidad real de detener una decisión. Más de 600 empleados firmaron una carta contra el contrato.
Las advertencias se acumulan. En 2015, científicos y empresarios pidieron prohibir las armas autónomas. En 2018, Hassabis firmó el compromiso de no participar en su desarrollo. En 2023, Musk y miles de especialistas reclamaron una pausa que nunca ocurrió. En 2026, Amodei le dijo que no a Trump cuando le exigían dejar abierta la posibilidad de usar sus productos para armas autónomas o vigilancia interna mientras fuera legal.
En 2014, una advertencia vino de un manifestante que había logrado interrumpir el evento. Este año la palabra “singularidad” llegó al escenario en boca del propio Hassabis. El sábado pasado, doscientas personas marcharon pacíficamente frente a OpenAI, Anthropic y Google para pedir una pausa. En paralelo apareció una reacción violenta: según el Wall Street Journal, las amenazas digitales contra ejecutivos y centros de datos se multiplicaron por siete entre fines de febrero y mayo. En abril atacaron la casa de Altman con una bomba molotov y un intruso entró a Anthropic con una advertencia de muerte contra uno de sus ejecutivos. Algunos protagonistas ya se desplazan con custodia armada. La discusión dejó de ser pintoresca.
El premio Nobel que propone que un organismo externo revise los modelos antes de su lanzamiento dirige el laboratorio cuyos sistemas podrán usarse en redes militares sobre las que casi no tendrá visibilidad.
Falta saber si el acuerdo sobre la seguridad sobrevivirá cuando cumplirlo obligue a alguno de ellos a llegar segundo.
*Lic. en Sistemas (UBA), programador y docente.
