Riesgos-s: una introducción

Traducción de Xiana Vázquez

Resumen

A lo largo de la historia de la humanidad, las nuevas tecnologías nos han ofrecido oportunidades sin precedentes, pero también han generado serios riesgos. El progreso tecnológico, combinado con una preocupación insuficiente por el bienestar de otros seres, puede causar grandes cantidades de sufrimiento.

La tecnología del futuro probablemente dotará a los seres humanos de un poder sin precedentes, permitiéndoles dar forma al conjunto del universo. Pero si este nuevo poder se usa de forma irresponsable, puede llevar a cantidades de sufrimiento a una escala astronómica. Estos riesgos de sufrimiento a nivel astronómico se conoce también como riesgos de sufrimiento, o riesgos-s para abreviar.

Aunque estos escenarios puedan parecer disparatados de primeras, tenemos motivos para pensar que su probabilidad no es insignificante. Las personas que quieren ayudar a al resto de la manera más eficaz posible deberían, por lo tanto, considerar la reducción de los riesgos-s como una prioridad.

Hay tres formas de reducir con eficacia los riesgos-s:

– Intentar dar forma al desarrollo de nuevas tecnologías de base, implementando medidas de precaución contra los riesgos-s.

– Tener como objetivo una mejorar general de los valores sociales y las instituciones, lo cual incrementa la probabilidad de que las generaciones futuras trabajen para prevenir (o, como mínimo, no provocar) riesgos-s.

– Adoptar un enfoque de orden superior, consistente por ejemplo en la concienciación y la investigación sobre cómo reducir los riesgos-s.

Contenidos

1. Introducción

2.Tecnología en la historia de la humanidad

3. Nuevas tecnologías y riesgos astronómicos

4. Cómo podrían producirse los riesgos-s.

5. ¿Por qué deberíamos tomarnos en serio los riesgos-s?

5.1. Los riesgos-s no son extremadamente improbables.

5.2. Los riesgos-s superan al sufrimiento actual en cuanto a sufrimiento esperable.

5.3. Los riesgos-s están siendo ignorados

6. ¿Cómo podemos evitar los Riesgos-s?

6.1. Intervenciones localizadas

6.2. Intervenciones de amplio alcance

6.3. Investigación y desarrollo del movimiento

7. Lecturas adicionales

Introducción

La mayoría de las personas que quieren mejorar el mundo tienden a centrarse en ayudar a los individuos que están vivos en la actualidad. La gente suele empatizar más fácilmente con el sufrimiento de aquellos que viven ahora mismo, que con el de aquellos que existirán dentro de mil o de un millón de años.

Sin embargo, no podemos justificar esta omisión de los individuos todavía inexistentes. Desde un punto de vista imparcial, el hecho de que vivamos en un tiempo determinado no otorga a este tiempo ninguna importancia ética en especial. Reducir el sufrimiento en el futuro no es menos significativo que reducir el sufrimiento actual. De hecho, muchas personas argumentan que deberíamos centrarnos en modificar el futuro lejano, porque probablemente contendrá poblaciones mucho más amplias.¹

Imaginemos que las futuras generaciones humanas pudieran observar nuestro tiempo actual. ¿Qué desarrollos considerarían más importantes? ¿En qué desearían que nos hubiéramos centrado? Para comenzar a responder a estas preguntas, echaremos primero un vistazo al pasado.

El papel de la tecnología en la historia de la humanidad

A lo largo de la historia, la emergencia de nuevas tecnologías ha tenido muchas veces un impacto transformativo. Por ejemplo, la agricultura constituyó un desarrollo clave en el auge de la civilización porque permitió densidades de población más altas, así como rutas comerciales entre diferentes regiones. Más recientemente, la revolución industrial transformó drásticamente los modos de vida tradicionales y modificó el curso de los siglos XIX y XX.

Cosechamos los frutos del progreso tecnológico cada día. Vivimos más, hemos conseguido eliminar determinadas enfermedades, y tenemos, al menos de media, más riqueza que nunca. La otra cara de esta historia, sin embargo, es que estas mismas tecnologías permitieron el aumento de la maquinaria de guerra industrial, que trajo consigo las armas químicas o la guerra total.²

Los riesgos que implican las nuevas tecnologías aumentan si extendemos nuestro círculo moral a todos los seres sintientes, incluyendo los animales no humanos. La industrialización ha multiplicado el número de animales que son criados y asesinados – muchas veces en condiciones deplorables en granjas industriales – para el consumo de carne por parte del ser humano.³

Resulta crucial el hecho de que las granjas industriales son el resultado de incentivos económicos y de las posibilidades tecnológicas, no de la maldad humana o nuestras malas intenciones. A la mayoría de las personas el sufrimiento animal no le parece bien per se. Lo que sucede es simplemente que se da la circunstancia de que consumir platos sabrosos implica la presencia de sufrimiento animal. En otras palabras, la capacidad tecnológica y la indiferencia resultan suficientes para causar cantidades inimaginables de sufrimiento. Esto debería hacernos ser conscientes de la posibilidad de que las tecnologías futuras conduzcan a unas catástrofes morales similares.

Nuevas tecnologías y riesgos astronómicos

A menos que nos extingamos o que colapsen nuestras civilizaciones, el progreso tecnológico es probablemente inexorable. Esto significa que las nuevas tecnologías otorgarán a la humanidad un poder sin precedentes. De manera similar a lo ocurrido en el caso de las tecnologías del pasado, darán lugar a grandes oportunidades y a serios riesgos. Si tales avances nos permiten colonizar otros planetas, los riesgos se volverán literalmente astronómicos –el universo que podemos observar contiene más sistemas solares que granos de arena hay en la Tierra. Esto hace que la necesidad de usar este nuevo poder de una forma responsable sea todavía más importante.

Como hemos visto, la capacidad tecnológica combinada con la indiferencia moral puede llevar a catástrofes morales. El desarrollo futuro en relación a las granjas industriales puede causar sufrimiento en una escala astronómica, excediendo con creces lo que hayamos hecho hasta ahora. Tales posibilidades se conocen como riesgos-s (una abreviación de “riesgos de sufrimiento” o “riesgos de sufrimiento astronómico”).

Cómo podrían producirse los riesgos-s

Ver también: Una tipología de los riesgos-s

Siempre resulta complicado imaginar cómo serán los futuros avances. Los caballeros de la Edad Media no podrían haber concebido la bomba atómica. De igual manera, los siguientes ejemplos no son más que especulaciones informadas.

Muchos riesgos-s incluyen la posibilidad de que sistemas artificiales avanzados puedan desarrollar sintiencia si son lo suficientemente complejos y están programados de ciertas maneras.⁴ Si estos seres artificiales existieran, también importarían moralmente,⁵ pero es bastante probable que a la gente no les importara su bienestar (al menos no lo suficiente).

Las mentes artificiales probablemente nos resulten ajenas, complicando la tarea de empatizar con ellas. Lo que es más, la humanidad puede fracasar en el reconocimiento de la sintiencia digital, al igual que muchos filósofos y científicos fallaron al no reconocer la sintiencia de los animales no humanos durante miles de años. Todavía no tenemos una forma segura de “detectar” la sintiencia, especialmente en sistemas que son muy diferentes del cerebro humano.⁶

De forma comparable a cómo hemos creado enormes cantidades de animales no humanos para nuestro beneficio económico, es fácilmente imaginable que se creen grandes cantidades de mentes artificiales en el futuro. Puede que tengan determinadas ventajas con respecto a las mentes biológicas, lo cual las haga útiles económicamente. Esta combinación de grandes cantidades de mentes sintientes y una previsible falta de consideración moral presenta riesgos-s severos. De hecho, estas condiciones pueden resultar extremadamente similares a aquellas que se dan en las granjas industriales.

Varios y varias pensadoras han explorado estos escenarios concretos. Nick Bostrom acuñó el término mindcrime (“crimen mental”) para representar la idea de que los procesos cognitivos de una inteligencia artificial extremadamente inteligente pueda contener (y potencialmente sufrir) simulaciones sintientes. Otra posibilidad es la de las subrutinas de sufrimiento: las computaciones pueden incluir algoritmos lo suficientemente parecidos a las partes de nuestro cerebro que producen el sentimiento del dolor.

Estos son ejemplos de riesgos-s indirectos, donde una solución eficaz a un problema incluye una gran cantidad de sufrimiento. Otro tipo de riesgos-s diferente – los riesgos-s agenciales – tiene lugar cuando un agente pretende causar sufrimiento de forma activa, o bien por sadismo o bien como parte de un conflicto. Por ejemplo, la guerra y el terrorismo con tecnología avanzada puede conllevar fácilmente riesgos-s, o alguien podría extorsionar a otra persona amenazándola con torturar a copias simuladas de esta persona.

Es importante recordar que la tecnología es neutral por si misma, y que también puede emplearse para reducir sufrimiento. Un ejemplo es la carne in vitro, que tienen el potencial de hacer que las granjas convencionales queden obsoletas. Una tecnología más avanzada puede facilitar las intervenciones para reducir el sufrimiento de los animales en la naturaleza, o incluso abolir el sufrimiento completamente.⁷ Que las nuevas tecnologías resulten, de manera general, buenas o malas, depende de nosotros y nosotras. Sin embargo, con tantas cosas en juego, tiene sentido considerar las posibilidades de obtener resultados perniciosos, para asegurarnos de que podremos evitarlos.

¿Por qué deberíamos tomarnos en serio los riesgos-s?

Los riesgos-s no son extremadamente improbables

Puede que nos de la impresión de que los riesgos-s no son más que simples especulaciones infundadas. Supongamos que la probabilidad de los riesgos-s fuera insignificante, pero que, pese a ello, continuásemos defendiendo que nos deberíamos centrar en prevenirlos, simplemente debido a que la gravedad de aquello que estaría en riesgo sería (supuestamente) astronómica.⁸ Muchas personas considerarían que defender eso sería contraproducente. Pero esta objeción es errónea, ya que tenemos buenas razones para creer que la probabilidad de los riesgos-s no es tan desdeñable después de todo.

En primer lugar, los riesgos-s son disyuntivos. Se pueden materializar de muchas formas no relacionadas entre sí. En general, es difícil predecir el futuro y la cantidad de escenarios que podemos imaginar es limitada. Por lo tanto, es posible que algunos escenarios imprevistos –conocidos como cisnes negros– constituyan una fracción importante de los riesgos-s. De modo que, incluso si algunos de los escenarios distópicos que podemos concebir son altamente improbables, la probabilidad de algunos riesgos-s sigue siendo significativa.

En segundo lugar, aunque los riesgos-s puedan parecer de primeras mera especulación, los supuestos en los que se basan son posibles:

– a menos que se den sucesos que desestabilicen el globo, no tenemos razones para asumir que el progreso tecnológico vaya a estancarse.⁹ La colonización espacial puede volverse plausible en algún momento, produciendo riesgos verdaderamente astronómicos.

– la tecnología avanzada facilitará la aparición de cantidades de sufrimiento sin precedentes, de manera intencionada o no.¹⁰

– como mínimo, es posible que a quienes están en el poder no les importará (de manera suficiente) el sufrimiento de quienes tienen menos poder que ellos. La benevolencia humana puede hacer mucho, pero no elimina por completo los riesgos-s.

En tercer lugar, existen precedentes históricos. La ganadería industrial, por ejemplo, es similar en estructura a los riesgos-s indirectos, a pesar de ser a menor escala. En general, la humanidad tiene un historial bastante contradictorio en relación al uso responsable de las nuevas tecnologías, de modo que no podemos tener la certeza de que los futuros riesgos tecnológicos serán manejados con el cuidado y la consideración apropiadas.

Para aclararnos, todos estos argumentos son consistentes con la idea de que la tecnología también puede resultar beneficiosa, o que puede mejorar la calidad de vida humana a unos niveles sin precedentes. Estudiar los riesgos-s no implica una visión especialmente pesimista de la futura trayectoria de la humanidad. Para preocuparse por los riesgos-s es suficiente con pensar que la posibilidad de obtener resultados negativos no es nada desdeñable, lo cual es coherente con la creencia de que un futuro utópico libre de sufrimiento también es posible. Yo me centro en los riesgos-s por motivos normativos, es decir, porque creo que reducir el sufrimiento severo es lo más urgente en términos morales.¹¹

Los riesgos-s superan al sufrimiento actual en cuanto a sufrimiento esperable

Una buena forma de medir la seriedad de los riesgos es su valor esperado, es decir, el resultado de su alcance y la probabilidad de que ocurran. El alcance de los riesgos-s sería superior¹² al de las fuentes actuales de sufrimiento como son las granjas industriales o el sufrimiento de los animales en la naturaleza. En combinación con una probabilidad nada desdeñable de que ocurran, esto significa que los riesgos-s probablemente superan al sufrimiento actual en cuanto a sufrimiento esperable.

Los riesgos-s están siendo ignorados

Hasta ahora, pocas personas han trabajado activamente en la reducción de los riesgos-s. Esto no resulta sorprendente, dado que los riesgos-s están basados en consideraciones abstractas sobre el futuro lejano que no tocan nuestra fibra sensible tan fácilmente.¹³ Incluso aquellas personas a las que les preocupan los resultados a largo plazo se centran muchas veces en obtener resultados utópicos. Aunque esto es, ciertamente, un esfuerzo provechoso, también significa que se están dedicando pocos recursos a la reducción de los riesgos-s. Por otro lado, esto implica que también podemos obtener beneficios a corto plazo –es decir, que el valor marginal de trabajar sobre los riesgos-s puede ser especialmente alto‒.

¿Cómo podemos evitar los riesgos-s?

Intervenciones localizadas

La manera más directa de prevenir los riesgos-s es moldear las nuevas tecnologías más fundamentales, intentando implementar medidas de precaución. Un ejemplo de una tecnología potencialmente transformadora es la inteligencia artificial avanzada, de la que los expertos dicen que podría desarrollarse a finales de este siglo. Dado que la inteligencia es clave para configurar el mundo, la emergencia de sistemas de inteligencia artificial con niveles de inteligencia sobrehumana podría implicar un nuevo poder, para bien o para mal.

Lukas Gloor propone que trabajemos en mecanismos de seguridad para sistemas de inteligencia artificial que tengan como objetivo prevenir riesgos-s, en lugar de intentar llegar a un escenario ideal. No está claro cómo prevenir los riesgos de la inteligencia artificial, por lo que sería útil realizar más investigación sobre el tema. (Ver “Áreas Prioritarias de los Peores Casos en la Seguridad de la Inteligencia Artificial” para posibles líneas de investigación).

Para investigar sobre riesgos-s agenciales, podríamos investigar sobre cómo podrían prevenirse las dinámicas de suma negativa tales como la extorsión o la escalada de conflictos. Tales investigaciones pueden centrarse en fundamentos teóricos de la teoría del juego y la teoría de la decisión, o en encontrar los mejores modos de cambiar las circunstancias empíricas para evitar las dinámicas de suma negativa.

Intervenciones generales

Otro tipo de intervención se centra en las mejoras generales de los valores, normas o instituciones sociales. Esto aumentaría la probabilidad de que las generaciones futuras usen este poder de manera responsable, aunque no podamos predecir con exactitud de qué manera evolucionará el mundo. Fomentar el antiespecismo, por ejemplo, probablemente conllevará menos sufrimiento animal en el futuro.

Estos son algunos ejemplos del fomento de intervenciones generales:

– difusión de la preocupación altruista por el sufrimiento, o la extensión del círculo moral de la humanidad hacia los animales y las mentes digitales. Ver “Argumentos a favor y en contra de la apología moral” para más detalles sobre esta intervención.

– promoción de la cooperación internacional para prevenir dinámicas peligrosas como la carrera armamentística relacionada con la Inteligencia Artificial entre naciones contendientes.

– avance de la reflexión moral y adopción de un enfoque prudente hacia las nuevas tecnologías como una forma de progreso intelectual diferenciador.

Investigación y desarrollo del movimiento

¿Cuál de estas intervenciones es la más efectiva? Dada nuestra incertidumbre al respecto, la forma más efectiva de reducir los riesgos-s es investigar sobre cómo reducirlos. De manera más específica, podríamos intentar descubrir qué riesgos-s son los más probables, los más manejables, o los de mayor magnitud, una información que podría proporcionarnos unos conocimientos muy valiosos a la hora de reducir los riesgos-s de una forma más efectiva (este es el enfoque que sigue el Foundational Research Institute).

Otra intervención simple pero potencialmente efectiva es sensibilizar sobre los riesgos-s. Si más gente se preocupara por reducir los riesgos-s sería mucho más fácil implementar medidas de precaución en la práctica.

Finalmente, me gustaría recalcar que debemos proceder con cautela e intentar cooperar con otros sistemas de valores a la hora de reducir riesgos-s. Por ejemplo, intentar detener el progreso tecnológico únicamente nos llevaría a luchas de suma cero con quienes quieren recoger los frutos de la tecnología avanzada.¹⁴ En lugar de esto, trabajar por un futuro que todo el mundo aprobaría resultaría mucho más productivo.

Lecturas adicionales

– “Riesgos de sufrimiento astronómico en el futuro”, de Brian Tomasik, explora en más detalle cómo podrían producirse los riesgos-s.

– “Inteligencia artificial y sus implicaciones en el sufrimiento futuro”, de Brian Tomasik, analiza diferentes escenarios en relación a la Inteligencia Artificial y la cantidad de sufrimiento que podrían contener.

– “Reducir los riesgos del sufrimiento astronómico: una prioridad descuidada”, de David Althaus y Lukas Gloor, habla de la relación entre los riesgos-s y los riesgos-X, y argumenta que el futuro contiene más sufrimiento de lo que comúnmente se pueda pensar.

– “Riesgos-s: por qué son los peores riesgos existenciales, y cómo prevenirlos” es una charla de Max Daniel que introdujo este concepto en el EAG Boston 2017.

Agradecimientos

Estoy en deuda con Max Daniel, Ruairi Donnelly, David Atlhaus, Stefan Torges y Adrian Rorheim por sus valiosos comentarios y sugerencias.

1. No creo, sin embargo, que el futuro lejano sea más importante en muchos órdenes de magnitud. Ver aquí para más detalles.
2. Esto no quiere decir que la industria armamentística sea necesariamente peor que otras formas de armamento anteriores. En el libro Los ángeles que llevamos dentro Steven Pinker argumenta que el número de bajas militares (per capita) ha descendido con el paso del tiempo.
3. Se podría argumentar que el progreso tecnológico ha reducido, en general, el sufrimiento animal, porque la expansión de la civilización humana ha reducido los hábitats naturales y por lo tanto ha reducido el sufrimiento de los animales en la naturaleza. Pero este efecto es meramente contingente, de modo que no nos dice mucho sobre las ramificaciones de la tecnología futura.
4. Esto no es, de ningún modo, una certeza, pero al menos en teoría la mayoría de expertos está de acuerdo en que la sintiencia digital es posible. Además, hay que pensar que esto propone preguntas filosóficas que van más allá de lo sugerido en este texto. Ver aquí para más detalles.
5. Desdeñar a los seres digitales sería “discriminación basada en el sustrato”. De manera similar al antiespecismo, la idea de “antisustratismo” es que debemos rechazarlo como una forma de discriminación arbitraria basada en una característica éticamente irrelevante (el sustrato).
6. El informe de Open Phil sobre la conciencia y la condición de paciente moral nos proporciona un análisis profundo sobre la apremiante cuestión de qué seres merecen consideración moral. También discute preguntas filosóficas relacionadas, como qué significa la “conciencia” o la “sintiencia”, o cómo podemos “detectarla”.
7. Ver también el escrito de Brian Tomasik sobre “Por qué no me centro en el imperativo hedonista”.
8. La idea de que riesgos extremadamente altos puedan superar una posibilidad mínima se conoce como la “apuesta de Pascal”, y la mayoría de la gente considera dudoso este razonamiento. Pero estas personas suelen rechazar también un argumento como “pascaliano” aunque no esté realmente basado en posibilidades mínimas – esto se conoce como la falacia de la falacia de la apuesta de Pascal.
9. La extinción o el colapso civilizacional son posibles, pero tampoco parecen extremadamente probables. El Proyecto de Prioridades Globales da un porcentaje del 19% en su informe sobre riesgos existenciales.
10. Por supuesto, la tecnología avanzada hará todo mucho más sencillo, de modo que esto no prueba nada a menos que lo combinemos con una motivación (la cual abordo en otros lugares). Ver “Falacia de la tarta de queso gigante”.
11. Esto aborda el espinoso asunto de la ética de poblaciones, que va más allá del objetivo de este texto. Que consideremos más urgentes los riesgos existenciales o los riesgos-s depende de juicios morales engañosos con respecto a la ética poblacional.
12. Aunque no es necesariamente muy superior en magnitud. Ver aquí para más detalles sobre esto.
13. David Althaus y Lukas Gloor argumentan que mucha gente rehúye la posibilidad de imaginar resultados negativos por motivos psicológicos.
14. Al menos no deberíamos intentar detenerlo de forma unilateral. Podemos imaginar que tenga lugar un progreso tecnológico como resultado de un acuerdo político.