Esther Paniagua

¿Cómo se pueden adaptar las empresas a los riesgos de la era digital? ¿Qué estrategias son necesarias para utilizar la tecnología para el beneficio de todas las personas? Ramón Pueyo, socio responsable de Sostenibilidad y Buen Gobierno de KPMG en España, entrevista a Esther Paniagua, periodista y autora especializada en ciencia, tecnología y ciberseguridad. 

En el libro Empire of AI, Karen Hao habla de dos visiones muy diferentes de la IA, la de los doomers, que la entienden como un riesgo, y la de los bloomers, para quienes es fuente de prosperidad infinita y universal. ¿En cuál estás tú? 

En ninguno, siempre en el centro. Creo que hay problemas con ambas. Los doomers nos distraen de los impactos reales y actuales de la IA, que es donde deberíamos poner el foco. Por otro, los bloomers promueven una especie de pseudorreligión tecnológica impulsada por las empresas, que nos conduce al «tecnosolucionismo». Tenemos un problema con estas contraposiciones porque las dos son distractivas de lo que realmente importa, como pensar cuáles son los problemas que tenemos y si la tecnología puede ayudarnos a resolverlos y, en ese caso, cómo hacerlo y cuáles son sus riesgos.

Cuando aparece una nueva tecnología, siempre subyace el temor de los humanos a su impacto sobre el bienestar de la ciudadanía y la cohesión social…

Totalmente. Es uno de los temas que trato en Error 404 y que me sigue preocupando. Lo vimos con las redes sociales y plataformas digitales. Cuando empezó el hype de la IA generativa, el Senado de EE. UU. organizó audiencias públicas en las que comparecieron Sam Altman y otros expertos para evitar repetir los errores del pasado: polarización, desinformación, abusos online…  Ahora, el escenario ha cambiado porque el Gobierno de EE.UU. está mirando a otros lados. Las grandes tecnológicas están adoptando el modelo del capitalismo de la vigilancia de Google y Meta, del extractivismo y la economía de la atención, exacerbando problemas preexistentes.

¿Te refieres a esos modelos de negocio que están basados en que la gente esté conectada el mayor tiempo posible?

Sí, en que haga clic, esté expuesta a anuncios y a contenido potencialmente manipulador… Los clientes de las redes sociales no son los usuarios, sino son las empresas que se publicitan o buscan viralidad. Se ha estudiado mucho cómo grupos extremistas han aprovechado muy bien el funcionamiento de los algoritmos. Los algoritmos están diseñados para captar la atención y mantenernos enganchados. Una de sus estrategias es el sesgo de popularidad, que prioriza el contenido más viral. Este tipo de contenido suele ser más radical y extremo, lo que refuerza nuestras creencias de dos maneras: cuando coincide con ellas, validándolas, y cuando las contradice de forma tan intensa que nos reafirma en nuestra postura. Al favorecer estas posiciones polarizadas, los algoritmos no ofrecen una visión equilibrada ni compartida de la realidad que facilite el diálogo. Dificultan el entendimiento mutuo y contribuyen a la fragmentación social.

«Los clientes de las redes sociales no son los usuarios, sino las empresas que se publicitan o buscan viralidad»

En Error 404, alertabas sobre nuestra falta de preparación ante posibles fallos de Internet. ¿Son los sistemas con los que contamos ahora suficientemente resilientes? ¿Cómo de seguro ese es Internet y hasta qué punto dependemos de él para casi todo, incluso para cosas que no somos conscientes?

Justo eso me llevó a escribir el libro: darme cuenta de que tenemos una vulnerabilidad y una dependencia brutal en la que no reparamos. Pensamos que Internet es invisible y, además, hay narrativas -como la de la «nube»- que nos empujan a pensar en Internet como algo etéreo, pero no lo es. 

Empecé a investigar el tema a raíz de unas declaraciones de un filósofo de la ciencia, Daniel Dennett, que estaba preocupado por esto. Entrevisté a mucha gente del campo de la ciberseguridad e, incluso, a exagentes secretos del gobierno de Estados Unidos. Me di cuenta de que realmente había una preocupación real desde hacía muchos años en la comunidad tecnológica. Ya en 1998, hubo un grupo de hackers que alertó al gobierno de EE. UU. de que solo media hora podían tirar toda la Internet abajo, lo que ya les preocupaba muchísimo porque ya se estaba empezando a construir todo el e-commerce. Hablamos de 1998, cuando en España, por ejemplo, no se había generalizado el uso de Internet.

Ahora, la provisión de servicios depende de muy pocas grandes empresas: Google, Amazon… Por ejemplo, Amazon Web Services concentra más del 30 % del mercado global de alojamiento de contenidos y servicios en la nube. Por eso, si hay caídas en estos sistemas, son masivas. Las causas pueden ser muy diversas, y no siempre intencionadas. A veces son errores informáticos o errores humanos. De ahí, la urgencia de prepararse para eventos de este tipo. 

También hay otras vías plausibles para un apagón masivo, como una gran tormenta solar, que podría inutilizar las redes eléctricas e interrumpir o alterar las señales GPS. Es una opción menos improbable de lo que se cree, según advierten las observaciones históricas.

Es que ya nos va tocando por los ciclos solares, ¿no? El último fue antes de la electricidad, así que no sabemos qué impacto tuvo porque no existía todo esto… 

El Evento Carrington, en 1859, es de los más conocidos: se cargó el telégrafo, que era la única tecnología que existía. Ahora estudios recientes apuntan a que el ciclo solar en el que nos encontramos tiene el potencial de ser uno de los más fuertes registrados, lo cual aumenta significativamente la probabilidad de que se produzca una tormenta solar a gran escala en esta década. Hace unos meses, por ejemplo, se vieron auroras boreales desde la Sierra de Madrid. No alcanzó niveles que dañaran infraestructuras, y en España estamos relativamente bien situados por latitud, pero en países como Chile hay cada vez más preocupación. Ya no es un riesgo tan improbable: quizá no destruya todo el sistema, pero puede causar daños severos. También existe el riesgo de una bomba geomagnética –un tipo de bomba nuclear–, que puede impactar en toda la tecnología a su alcance, desde una ciudad hasta un país, y afectar también a sistemas satelitales como el GPS. Se trata de ser conscientes para empezar a poner salvaguardas y protocolos de mitigación.

Como individuos, empresas o gobierno, ¿qué medidas podemos tomar ante un apagón global sin caer en el alarmismo?

No tenemos un plan B para Internet. Tampoco tenemos equipos de respuesta ni protocolos claros sobre cómo actuar ante una caída masiva de Internet y esto es necesario, tanto a nivel gubernamental como corporativo. En ninguna empresa o institución, he visto protocolos para actuar ante un apagón de Internet, que puede suceder, sin ir muy lejos, por un ciberataque. Cuando ha habido ataques, por ejemplo, a hospitales… ¿Qué ha pasado? Caos. Papel y boli. Nadie sabe qué hacer, ni en qué orden. Faltan sistemas de gobernanza que permitan seguir funcionando de forma analógica. 

A nivel individual también deberíamos adoptar medidas básicas, además cosas como tener algo de efectivo o reservas de comida, tenemos que hacer copias de seguridad no solo en la nube, también en discos duros físicos para recuperar la información si hay una destrucción de datos online. Una caída de Internet no implica necesariamente la pérdida de contenido, pero si ha habido un ataque, sí puede pasar.

También necesitamos medidas de prevención y que las grandes empresas y las instituciones cumplan con las normativas de seguridad existentes, como el Esquema Nacional de Seguridad (ENS) o la Ley Europea de Ciberresiliencia. La guerra en Ucrania ha traído más ciberconcienciación, pero cuando empecé a escribir Error 404, la ciberseguridad no era una preocupación social, ni algo que estuviera en la mente de las pymes, que son las más vulnerables. 

¿Todo esto tiene que ver también con cómo fue concebido Internet, desde un enfoque idealista, sin pensar en la seguridad?

Hay un mito de que Internet nació como proyecto militar porque en parte estuvo financiado por DARPA, pero no tenía un objetivo militar. Este proyecto tenía el objetivo de conectar investigadores para compartir recursos. Luego, otro mito fundacional es precisamente este de ser la red de pares: algo que va a democratizar, que va a permitir la participación, cosa que no ha cristalizado como se prometía. Ya no hablamos de una red de pares, sino de un espacio comercializado. Sí, hay herramientas que facilitan la participación o la organización de la sociedad civil y los movimientos sociales —para bien y para mal—, pero no se han cumplido las promesas de revolución democrática. 

En algunos ámbitos, sí se ha democratizado la capacidad de generar información… 

Sí, pero esto también es un problema. Al principio, el periodismo ciudadano se valoró mucho: permite acceder a fuentes y conectarte con personas donde no hay periodistas. Pero los ciudadanos no están formados para verificar datos. Ahora todos tenemos, en teoría, acceso a las fuentes oficiales, institucionales y corporativas, y ellas a nosotros. Y como publican directamente sin pasar el filtro periodístico, pueden colarte cualquier cosa. Por supuesto, tiene ventajas y me encanta poder comunicarme con marcas o dirigirme directamente a políticos, pero el riesgo sin ese gatekeeper que antes hacía de filtro es que te pueden «vender su moto» sin que nadie contraste esa información.

A veces, creo que dentro de cien años mirarán hacia atrás y pensarán: «Pobres, eran la primera generación expuesta al tsunami informativo y a la tecnología constante». ¿Qué crees que pensarán?

Esa reflexión me encanta porque es algo que digo mucho para ver lo positivo. Como estamos metidos en este momento complicado, con incertidumbre, vemos todo mal, parece que no hay esperanza. Sin embargo, la historia nos enseña que, al final, poco a poco, vamos construyendo las salvaguardas y vamos desarrollando sistemas y tecnologías que facilitan la confianza. Es difícil verlo en perspectiva porque estos cambios son lentos. Pero ya estamos empezando a detectar señales, por ejemplo, en el ámbito de la privacidad o en los consensos relacionados con la protección de menores online. Sin ser ingenua, mantengo la esperanza.

Y eso nos lleva a la nueva de las revoluciones: la IA. En la parte luminosa, está la promesa de mejorar la productividad y la calidad de vida. En la parte oscura, están los riesgos éticos asociados: el impacto ambiental y social, ligado a un tipo de trabajo que no siempre se realiza en las mejores condiciones.

Sí, los ghost workers, como les llama Mary L. Gray, antropóloga de Microsoft Research.  Es como el fast fashion, pero aplicado al mundo digital. Las industrias de la moda se van a Bangladesh, a Vietnam o a China para reducir costes y externalizar trabajo, y las empresas tecnológicas imitan ese modelo, sobre todo en países del sur global, pero también en Europa y aquí mismo, en España. Hay personas haciendo trabajos altamente alienantes que, además, pueden conducir a problemas de salud mental. Por ejemplo, la gente que modera contenidos para redes sociales o está entrenando sistemas de IA se expone a materiales violentos para los que no está preparada. No siempre se puede automatizar ese trabajo, aunque cada vez más sistemas ayudan a filtrar lo más crudo.

Por otro lado, la IA generativa está multiplicando el impacto ambiental de la tecnología. Exige enormes cantidades de electricidad y agua potable para refrigerar los centros de datos, que, muchas veces, se instalan en zonas con riesgo de sequía. Se está invirtiendo mucho en tratar de hacer estos centros más eficientes, pero se invierte más en seguir construyendo centros de datos poco sostenibles.

«La historia nos enseña que, al final, poco a poco vamos construyendo las salvaguardas y vamos desarrollando sistemas y tecnologías que facilitan la confianza»

¿Qué responsabilidad tenemos las personas usuarias en todo esto?

Mucha. Usamos la IA generativa para tareas para las que no está diseñada. Por ejemplo: ¿para qué usar IA como calculadora, cuando tienes una aplicación específica en el móvil? No tiene sentido. Y, sin embargo, lo hacemos. Eso tiene un coste ambiental injustificable.  Es como coger un avión para ir a por el pan. Además, la IA generativa ni siquiera es fiable en muchas tareas complejas, como el cálculo avanzado. Necesitamos educación tecnológica para usar la IA solo cuando tenga sentido y esté optimizada para lo que necesitamos.

Las compañías que quieren aproximarse a la IA desde un enfoque ético, ¿qué preguntas deberían hacerse? 

En primer lugar, si a una empresa no le importa el enfoque ético, ya va mal. Si tienes un sistema sesgado, no va a funcionar bien y no será bueno para ti ni para tus clientes. No va a ser útil, ni va a generar confianza. Todas las compañías deberían preocuparse por esto, porque está directamente relacionado con su competitividad en el mercado. 

Hay muchas cosas que se pueden hacer. Los criterios ESG, aplicados también a la tecnología, son una buena forma de introducir gobernanza, ética y seguridad. A mí me preocupan especialmente los sesgos algorítmicos y la discriminación. Por ejemplo, un sistema de IA usado por Workday para selección de personal descartaba automáticamente a personas mayores de 40 años. Esto tiene dos causas: los datos usados para entrenar la IA –si reflejan que históricamente se ha contratado a hombres menores de 40, la IA replicará ese patrón– y el diseño del modelo. Si solo reproduce los datos, puede cometer errores graves. Pero si se incorporan variables como la diversidad en el diseño, es posible mitigar esos sesgos.

Las compañías deben tener esto en cuenta desde antes de implementar una IA y exigir auditorías que evalúen el impacto sociotécnico de los algoritmos para analizar los riesgos sociales, éticos y legales de un sistema. Exigir esta documentación –con información sobre los datos de entrenamiento, los límites del modelo, los riesgos detectados– es clave para saber si una tecnología ha sido diseñada con criterios de responsabilidad.

En los últimos tiempos, hemos escuchado muchísimo este complejo de inferioridad que tenemos en Europa, donde nos parece que lo hacemos todo fatal en innovación. Se dice que EE. UU. innova, China fabrica y Europa regula. ¿Qué papel debería jugar Europa?

Primero, deberíamos sacar pecho por ser una superpotencia reguladora. Anu Bradford, autora de Digital Empires, acuñó el término «efecto Bruselas», que se refiere a que Europa regula y, luego, el resto copia su regulación. Ella desmitifica el impacto de la desregulación sobre la innovación. El hecho de que no tengamos gigantes tecnológicos en Europa o no seamos referentes no tiene que ver con la regulación, sino con otros problemas. También el famoso informe Draghi habla de ello y, de alguna manera, se están intentando atajar estos problemas con este programa que se llama la «brújula de la competitividad» que ha sacado la Comisión Europea. 

Todos los sectores clave –como la aviación o la medicina– están regulados. ¿Por qué no la IA, que tiene un impacto transversal en muchos ámbitos? Eso sí: debe ser una regulación flexible, que se adapte a los cambios tecnológicos y no perjudique a las pequeñas y medianas empresas, que no tienen los recursos de las grandes para cumplir con exigencias complejas. Si no se tiene cuidado, la regulación puede acabar beneficiando precisamente a quienes más poder tienen. Defiendo una innovación que haga las cosas bien: basada en el software libre y en un modelo tecnológico europeo orientado al bien común.

«Necesitamos educación tecnológica para usar la IA solo cuando tenga sentido y esté optimizada para lo que necesitamos»

Leía hace poco que, en EE. UU., a diferencia de Europa, cuando alguien tiene una idea, al día siguiente ya habla con inversores y la semana siguiente ya tiene un equipo profesional y una estructura para empezar a trabajar. ¿Crees que ese contraste evidencia algunas de las trabas que seguimos arrastrando?

Sí… Y hay algo también muy importante que llevamos esperando desde hace muchos años en Europa: un mercado único digital. Esto también explica por qué muchas personas deciden establecer la sede de sus startups fuera de Europa. Últimamente se está poniendo mucho hincapié en la creación de lo que algunos llaman el «28º Estado» de la Unión Europea, el jurídico. Se está redactando una propuesta para este marco común. Y es que, cuando decimos que EE. UU. innova, China fabrica y Europa regula, no estamos haciendo una comparación justa. Porque Europa no es Estado único y eso tiene consecuencias prácticas. Tenemos que armonizar las normas para que, por ejemplo, si alguien desarrolla una aplicación, no tenga que cumplir 27 normativas diferentes.

En una escena de Match Point, de Woody Allen, hay un momento de tenis en el que la bola da en la red y se queda ahí, tambaleándose, sin saber si va a caer de un lado o del otro. ¿No da la sensación –quizá equivocada– de que, en materia de tecnología, con este progreso tan rápido y dramático, estamos justo en ese punto?

Lo bueno es que no depende del azar. Depende de decisiones de gestión. Un informe de la OIT decía que, a pesar de que se creía que la automatización y la robótica servirían para liberar a las personas de las tareas más repetitivas o alienantes, pasó justo lo contrario. Como los trabajadores podían hacer más cosas en menos tiempo, sus superiores empezaron a pedirles más. El resultado fue una mayor carga de trabajo y menos agencia. El problema no es la tecnología, sino las decisiones de gestión. 

Es falso ese discurso de que la tecnología avanza inevitablemente y nadie puede pararla. No es que no se pueda parar, es que nadie quiere hacerlo. Está en nuestra mano hacer las cosas bien: podemos adelantarnos a lo que exijan las regulaciones y apostar por un modelo robusto, bien diseñado, que no discrimine. Ese tipo de decisiones están en el día a día, en la gestión, y no dependen solo de las leyes o los gobiernos. Son cuestiones de gobernanza corporativa. Al final, todo se reduce a eso: a la gobernanza. Tenemos que priorizar la ética y dejar de ser reactivos para empezar a ser proactivos. 

Entonces, ¿la evolución tecnológica depende de nosotros?

Sí, de los humanos. Todo depende de nuestras decisiones.