Factores de riesgo relativos a riesgos-s

[Traducido del original en inglés por Mat Rozas.]

Un concepto en la prevención de riesgos tradicional es el de los factores de riesgo. Estos factores no son riesgos en sí mismos, pero sí que aumentan la probabilidad o la magnitud de un riesgo. Por ejemplo, unas estructuras políticas inadecuadas podrían no causar un desastre específico pero, de ocurrir tal desastre, podrían impedir una respuesta efectiva, lo que aumentaría el daño causado.

En lugar de considerar cómo podrían ocurrir los riesgos-s de manera individual, lo cual es una tarea que tiende a ser muy especulativa, este texto analiza los factores de riesgo, es decir, aquellos factores que podrían suponer que los riesgos-s sean más probables o más graves.

Capacidades tecnológicas avanzadas

El factor de riesgo más sencillo que podemos considerar es la capacidad que tiene la civilización humana de crear cantidades astronómicas de sufrimiento. Esto solo es posible con una tecnología avanzada. En particular, si la colonización espacial se vuelve técnica y económicamente viable, entonces la civilización humana probablemente se expanda por todo el universo. Esto multiplicaría la cantidad de seres sintientes (suponiendo que el universo no esté ya poblado actualmente ) y, por lo tanto, también multiplicaría potencialmente la cantidad de sufrimiento. Por el contrario, la cantidad de sufrimiento se vería limitada si la humanidad nunca se expandiera por el espacio exterior. (Como aclaración, no estoy afirmando que el avance tecnológico o la colonización espacial sean malas en sí mismas, ya que también tienen, potencialmente, ventajas importantes. Simplemente sucede que estos factores aumentan las probabilidades de un mal resultado. Un mayor poder conlleva una mayor responsabilidad).

Nick Bostrom compara el desarrollo de nuevas tecnologías con sacar bolas de una urna que contenga algunas bolas negras, esto es, tecnologías que podrían facilitar la destrucción masiva o incluso la extinción humana. Del mismo modo, algunas tecnologías podrían facilitar la generación de un gran sufrimiento, o podrían dar motivos antes no existentes para generar tal sufrimiento a agentes en situación de hacerlo. Un ejemplo concreto de tales tecnologías sería la capacidad de ejecutar simulaciones que fuesen lo suficientemente detalladas como para contener mentes digitales (que potencialmente podrían sufrir).

Esfuerzos insuficientes a la hora de prevenir riesgos-s

En principio, es posible que la mayoría de los riesgos-s se puedan evitar si hay voluntad suficiente para hacerlo. Por lo tanto, los riesgos-s se darían con mayor probabilidad en aquellos mundos en los que no hubiera esfuerzos adecuados para prevenir tales riesgos. Esto podría suceder por tres motivos:

• Conocimiento inadecuado del riesgo: la humanidad tiende a lidiar con los riesgos “a medida que surgen”, en lugar de prevenir y abordar los riesgos potenciales con anticipación. Este enfoque a menudo es suficiente en la práctica, y también puede funcionar para muchos riesgos-s posibles, pero es probable que algunos riesgos-s requieran de un alto grado de previsión y medidas de precaución. Es decir: ya no pueden ser prevenidos una vez causado el sufrimiento. Por ejemplo, si nuestra civilización finalmente construye poderosos sistemas autónomos de inteligencia artificial, es crucial que pensemos detenidamente sobre los posibles modos en los que estos podrían fallar, y que instalemos medidas de seguridad capaces de enfrentarse a las situaciones más desfavorables. Un ejemplo de estas medidas de seguridad sería la introdución de metas suplementarias. Claramente, los riesgos-s son mucho más probables si las agentes relevantes no los conocen.
• Fuerte presión competitiva: dinámicas como las de una de carrera armamentística podrían crear incentivos perjudiciales, como ahorrar en medidas de seguridad en favor de un desarrollo tecnológico más rapido. Y, en el peor de los casos, podrían conducir a conflictos crecientes entre las fuerzas competidoras. Los riesgos-s, así como otros riesgos, serían significativamente más probables en este caso, si lo comparamos con un mundo donde hubiera una coordinación exitosa que hiciera posible abordar los riesgos potenciales sin temor a perder la carrera.
• Indiferencia: también es posible que los y las agentes relevantes sean conscientes de los riesgos-s y puedan evitarlos, pero simplemente no les importe lo suficiente. En particular, tener un círculo de consideración moral reducido puede conllevar a no tener en cuenta los riesgos-s relacionados con los animales no humanos o los riesgos relativos a la sintiencia artificial.

Aplicaciones inadecuadas de las medidas de seguridad y de la ley

En la civilización humana hay diferentes agentes, cuyos objetivos son muy dispares. Algunos de ellos, por una razón u otra, tienen como objetivo causar daño a otros seres. Si suponemos que este seguirá siendo el caso en el futuro, nos encontramos con que un tercer factor de riesgo reside en una aplicación inadecuada de medidas de seguridad contra tales agentes. El peor de los casos sería un desmantelamiento absoluto del estado de derecho y las instituciones asociadas a el. 

Sin embargo, incluso si eso no sucede, la capacidad de generar políticas preventivas (que eviten que haya agentes con malas intenciones que causen daños) podría ser limitada, por ejemplo, porque los medios de vigilancia e intercepción no sean lo suficientemente seguros. En particular, si en el futuro existiera un gran número de inteligencias artificiales autónomas con la capacidad de actuar, no está claro cómo (y si) se podría llevar adelante una vigilancia adecuada de estas.
(En su artículo sobre la hipótesis del mundo vulnerable, Nick Bostrom se refiere a esto como la condición semi-anárquica por defecto; argumenta que la sociedad humana se encuentra actualmente en este estado y que es importante salir de esta condición estableciendo un gobierno global efectivo y unas políticas preventivas. Este trabajo de Bostrom trata, principalmente, sobre la prevención de riesgos existenciales pero gran parte del análisis es transferible a la prevención de riesgos-s).
Dicho de otra manera, las aplicaciones militares de los futuros avances tecnológicos cambiarán el equilibrio ofensivo-defensivo global de una manera que hará más probable la aparición de riesgos-s. Una preocupación común es que unas grandes capacidades ofensivas permitirían a ciertas agentes atacar en primer lugar de forma segura, socavando la estabilidad global. Sin embargo, cuando se trata de riesgos-s, inclinar la balanza a favor de una defensa fuerte también podría ser peligroso e incluso podría ser un problema más relevante que la existencia de fuertes capacidades ofensivas. Esto se debe a que si hay agentes que disfrutan de ventajas defensivas considerables ya no hay forma en la que se les pueda disuadir de realizar malas acciones. En un escenario en el cual no se superpusieran las esferas de influencia de otros “territorios” y alguien tuviese ventajas defensivas relevantes, la seguridad a la hora de evitar la invasión del “territorio” propio sería considerablemente alta, pero la seguridad a la hora de evitar que alguien pudiera actuar generando desvalor dentro de su propio “territorio” sería inferior a la necesaria.

Polarización y divergencia de valores

Los riesgos-s son más probables si en el futuro quienes tengan la capacidad de actuar defienden sistemas de valores muy dispares, con poco o nada en común, o que incluso se opongan entre sí. Esto será todavía más probable si se  combina con un alto grado de polarización y rechazo a perspectivas distintas. Aún así, diferentes sistemas de valores podrían buscar la tolerancia, por ejemplo, debido a la incertidumbre moral. 

Esto constituye un factor de riesgo por varios motivos:

• Aquellas facciones más poderosas podrían ignorar totalmente las preocupaciones de otras facciones, incluidas sus preocupaciones morales. 
• Sería complicado alcanzar un compromiso en esta situación, lo cual imposibilitaría la toma de conciencia de los potenciales beneficios que podrían obtenerse mediante el intercambio, incluyendo la aplicación de medidas de bajo coste para evitar el sufrimiento. 
• Los conflictos entre diferentes facciones aumentarían el riesgo de un escenario catastrófico. 
• La divergencia de valores aumentaría el riesgo de que ciertas facciones tuvieran valores muy negativos, como querer dañar intencionadamente a otros u otras por razones de odio, sadismo, o venganza debido a daños previamente sufridos (reales o simplemente supuestos).

Interacciones entre estos factores

Mi mayor preocupación son los posibles mundos en los que varios de estos factores ocurriesen a la vez. En mi opinión, un mundo en el cual se materializaran los cuatro factores sería más de cuatro veces peor que uno donde solo se materializara uno de estos factores (esto es, la escala general de los riesgos es más relevante que la de los factores, individualmente considerados). Esto se debe a que el impacto de un solo riesgo podría, hasta cierto punto, ser compensado si otros aspectos de las sociedades futuras funcionaran adecuadamente.

• Supongamos que tenemos a nuestra disposición una tecnología altamente avanzada y que hay muy poca gente que tenga algún tipo de preocupación por reducir el sufrimiento. Sin embargo, ciertas dinámicas políticas hacen que tenga lugar un compromiso justo entre la defensa de distintos valores (de manera que los factores de riesgo relativos a la polarización y las aplicaciones de seguridad erróneas son inexistentes). Creo que, como en este ejemplo el gobierno u otras instituciones semejantes intentarían tener en cuenta los intereses y las preocupaciones de todo el mundo, incluso unos niveles tan bajos de preocupación podrían tener un impacto importante. Esto se debe a que es improbable que los riesgos-s sean inevitables, por lo que una mejor tecnología podría hacer que evitar el sufrimiento accidental fuera más sencillo (por ejemplo, esto es comparable a una mejora de los métodos de aturdimiento de animales no humanos antes de matarlos).
• La ausencia de una tecnología avanzada limitaría el potencial sufrimiento que esta podría causar, incluso existiendo polarización, seguridad inadecuada y esfuerzos insuficientes para prevenir riesgos-s. 
• La implementación de ciertas reglas básicas, como no causar daño directamente y de forma deliberada a otros individuos (o no amenazar con provocar dicho daño), ayudaría a prevenir los peores escenarios previstos incluso en mundos con valores altamente polarizados y en los que se hicieran esfuerzos insuficientes para prevenir los riesgos-s.
• Si mucha gente influyente trabajara para prevenir los riesgos-s, probablemente hallarían alguna forma de evitar los peores escenarios posibles, incluso si las circunstancias fueran altamente desfavorables.

---

En futuras investigaciones, podrían estudiarse las siguientes preguntas en relación a cada uno de los factores de riesgo:

• ¿Qué praxis son más adecuadas para conseguir que estos factores de riesgo sean menos probables?
• ¿Cuánta probabilidad hay de que este factor de riesgo se materialice en una sociedad futura?
• ¿Cómo cambiará este factor de riesgo con el surguimiento de la inteligencia artificial (en un sentido fuerte) y otros tipos de tecnologías futuras con un alto potencial transformador?