Preguntas generales
¿Qué son los riesgos-s?
En el ensayo “La reducción de los riesgos de sufrimiento astronómico: una prioridad desatendida“, los riesgos-s (también llamados riesgos de sufrimiento o riesgos de sufrimiento astronómico) se definen como “eventos que provocarían sufrimiento a una escala astronómica, superando ampliamente todo el sufrimiento que ha existido en la tierra hasta ahora”.
Si la idea aún no te resulta familiar, puedes obtener más información con la charla de Max Daniel en la conferencia EAG de Boston o leyendo la introducción a los riesgos-s.
¿Podrías dar un ejemplo de cómo serían los riesgos-s?
En el futuro, podría ser posible ejecutar simulaciones tan complejas que los individuos (artificiales) que existieran dentro de esas simulaciones fueran sintientes. Nick Bostrom acuñó el término crimen mental para dar nombre a la idea de que los procesos de pensamiento de una IA (inteligencia artificial) superinteligente podrían causar un daño moralmente cuestionable si contuvieran personas simuladas que sufran. Dado que existen razones instrumentales para ejecutar muchas de estas simulaciones, esto podría generar grandes cantidades de sufrimiento. Por ejemplo, una IA podría usar simulaciones para mejorar su conocimiento sobre la psicología humana o para predecir qué harían los humanos en una situación de conflicto. Otros ejemplos referidos de forma común incluirían la existencia de subrutinas sintientes que pudieran sufrir, o la expansión del sufrimiento de los animales salvajes a otros planetas.
Ver también: Una tipología de riesgos-s
¿No es todo esto muy descabellado?
A primera vista, podríamos tener la impresión de que los riesgos-s son solo especulaciones infundadas. Sin embargo, para desestimar los riesgos-s por pensar que son implausibles (desde la perspectiva actual), tendríamos que tener una gran certeza de que su probabilidad es insignificante, lo cual es difícil de justificar si reflexionamos sobre ello. La introducción a los riesgos-s ofrece varios argumentos que indican que su probabilidad no es despreciable después de todo:
En primer lugar, los riesgos-s son disyuntivos. Se pueden materializar de muchas formas no relacionadas entre sí. En general, es difícil predecir el futuro y la cantidad de escenarios que podemos imaginar es limitada. Por lo tanto, es posible que algunos escenarios imprevistos –conocidos como cisnes negros– constituyan una fracción importante de los riesgos-s. De modo que, incluso si algunos de los escenarios distópicos que podemos concebir son altamente improbables, la probabilidad de algunos riesgos-s sigue siendo significativa.
En segundo lugar, aunque los riesgos-s puedan parecer de primeras mera especulación, los supuestos en los que se basan son posibles…
En tercer lugar, existen precedentes históricos. La ganadería industrial, por ejemplo, es similar en estructura a los riesgos-s indirectos, a pesar de ser a menor escala. En general, la humanidad tiene un historial bastante contradictorio en relación al uso responsable de las nuevas tecnologías, de modo que no podemos tener la certeza de que los futuros riesgos tecnológicos serán manejados con el cuidado y la consideración apropiadas.
¿Qué sistemas de valores deberían preocuparse por reducir los riesgos-s?
Prácticamente todo el mundo estaría de acuerdo en que el sufrimiento (involuntario) debería evitarse, siendo todo lo demás igual. En otras palabras, garantizar que el futuro no contenga cantidades astronómicas de sufrimiento es un denominador común de casi todos los sistemas de valores (plausibles).
El trabajo para reducir los riesgos-s es, por lo tanto, un buen candidato para que llegar a un acuerdo entre diferentes sistemas de valores. En lugar de perseguir nuestros propios puntos de vista éticos sin ir más allá, pudiendo generar conflictos en el proceso, debemos trabajar hacia un futuro que pudiera considerarse favorable para muchos sistemas de valores.
El futuro
¿No estarán las generaciones futuras mucho mejor posicionadas para hacer algo al respecto?
Las generaciones futuras probablemente tendrán más información sobre los riesgos-s en general, incluyendo cuáles de esos problemas son los más graves, lo que les da la ventaja a la hora de buscar intervenciones efectivas. Por lo tanto, se podría argumentar que el trabajo posterior (el que se haga en el futuro) tiene un impacto marginal significativamente mayor. Sin embargo, también hay argumentos para trabajar en los riesgos-s ahora.
Primero, pensar en los riesgos-s solo cuando estos comienzan a materializarse no es suficiente porque entonces ya podría ser demasiado tarde para hacer algo al respecto. Sin suficiente previsión y precaución, la sociedad podría estar ya “encerrada” en una trayectoria que finalmente conduciría a un mal resultado.
En segundo lugar, una razón por la cual las generaciones futuras podrán encontrarse en una mejor posición para enfrentarse a estos riesgos será que podrán recurrir al trabajos anterior realizado para reducir estos. El trabajo anterior, especialmente la investigación o el progreso conceptual, puede ser efectivo por permitir a las generaciones futuras reducir los riesgos-s de manera más efectiva.
Tercero, incluso si las generaciones futuras pueden prevenir los riesgos-s, no está claro si estos les importarán lo suficiente como para hacerlo. Para garantizar esto podemos trabajar impulsando un movimiento de personas que quieran reducir los riesgos-s. En este sentido, el crecimiento logrado con el trabajo previo es, en cierto sentido, más valioso que el crecimiento logrado con el trabajo posterior.
Cuarto, si hay una probabilidad suficiente de que se construya una IA más inteligente que los seres humanos en este siglo, es posible que ya estemos en una posición única para influir en el futuro. Si ahora es posible trabajar productivamente en cuestiones relacionadas con seguridad en IA, también debería ser posible reducir los riesgos-s.
El ensayo de Toby Ord “El momento del trabajo dirigido a reducir el riesgo existencial“ aborda la misma pregunta en relación a los esfuerzos por reducir los riesgos-x. Da dos razones adicionales a favor de realizar un trabajo anterior: a saber, la posibilidad de cambiar el rumbo tomado (lo cual es más valioso si se hace desde el principio) y el potencial de mejoría.
Viendo que los humanos son (al menos algo) benevolentes y tendrán soluciones tecnológicas avanzadas a su disposición, ¿no es probable que el futuro sea bueno de todos modos?
Si somos (muy) optimistas sobre el futuro, podríamos pensar que los riesgos-s son poco probables por esta razón (que es diferente a la objeción de que los riesgos-s parecen descabellados). Un argumento común es que evitar el sufrimiento será más fácil con tecnología más avanzada: como a los seres humanos les importa al menos un poco reducir el sufrimiento, habrá menos sufrimiento en el futuro.
Si bien este argumento tiene algún mérito, no es totalmente adecuado. Por defecto, cuando los seres humanos encontramos un problema que necesita solución, tendemos a implementar la solución más eficiente económicamente, a menudo independientemente de si implica grandes cantidades de sufrimiento. La agricultura industrial proporciona un buen ejemplo de tal desajuste; ante la necesidad de producir carne para millones de personas de la manera más eficiente posible, se implementó una solución que involucró una inmensa cantidad de sufrimiento no humano.
Además, el futuro probablemente contendrá poblaciones mucho más grandes, especialmente si los seres humanos colonizan el espacio en algún momento. Siendo todo lo demás igual, tal aumento de la población puede implicar también (en gran medida) más sufrimiento. Si bien es posible que aumente la fracción de felicidad respecto al sufrimiento, no está claro si la cantidad absoluta de sufrimiento será mayor o menor.
Si nuestro objetivo principal es reducir el sufrimiento, entonces nuestras acciones importan menos en caso de que el futuro sea “automáticamente” bueno (porque de todos modos el futuro contendría poco o ningún sufrimiento). Dada una incertidumbre que sea lo suficiente alta, tenemos una buena razón para centrarnos en la posibilidad de que haya malos resultados por motivos de precaución. En un mundo donde los riesgos-s son probables, podemos tener más impacto.
¿Tiene sentido trabajar en los riesgos-s si somos muy pesimistas sobre el futuro?
Aunque el grado en que seamos optimistas o pesimistas sobre el futuro es claramente relevante para la preocupación que tengamos por los riesgos-s, tendríamos que ser inusualmente optimistas sobre el futuro para descartar por completo los riesgos-s.
En la introducción a los riesgos-s se indica:
Estudiar los riesgos-s no implica una visión especialmente pesimista de la futura trayectoria de la humanidad. Para preocuparse por los riesgos-s es suficiente con pensar que la posibilidad de obtener resultados negativos no es nada desdeñable, lo cual es coherente con la creencia de que un futuro utópico libre de sufrimiento también es posible.
En otras palabras, preocuparse por los riesgos-s no requiere creencias inusuales sobre el futuro.
Riesgos-s y riesgos-x
¿Cómo se relacionan los riesgos-s con los riesgos existenciales (riesgos-x)? ¿Son los riesgos-s una subclase de riesgos-x?
Primero, recordemos la definición de Nick Bostrom de los riesgos-x:
Un riesgo existencial es aquel en el que un resultado adverso aniquilaría la vida inteligente originaria de la tierra o reduciría su potencial de forma permanente y drástica.
Los riesgos-s se definen de la siguiente manera:
Los riesgos-s son riesgos de eventos que provocarían sufrimiento a una escala astronómica, superando ampliamente todo el sufrimiento que ha existido en la tierra hasta ahora.
Según estas definiciones, tanto los riesgos-x como los riesgos-s se relacionan con la configuración del futuro a largo plazo, pero reducir los riesgos-x consiste en conseguir desarrollar el potencial de la humanidad, mientras que reducir los riesgos-s consiste en prevenir malos resultados.
Hay dos puntos de vista posibles sobre la cuestión de si los riesgos-s son una subclase de riesgos-x.
Según una posición, es concebible que existan cantidades astronómicas de sufrimiento que no conduzcan a la extinción ni reduzcan el potencial de la humanidad. Incluso podríamos imaginar que algunas formas de sufrimiento (como subrutinas sintientes que pudieran sufrir) son instrumentalmente útiles para la civilización humana. Por lo tanto, no todos los riesgos-s son riesgos-x. En otras palabras, algunos futuros posibles son tanto un riesgo-x como un riesgo-s (por ejemplo, IA no controlada), algunos serían un riesgo-x pero no un riesgo-s (por ejemplo, un universo vacío), algunos serían un riesgo-s pero no un riesgo-x (por ejemplo, subrutinas sintientes que experimentaran sufrimiento), y algunos no entrarían en ninguna de las dos clases de riesgos.
¿Riesgo-s? |
|||
Sí |
No |
||
¿Riesgo-x? |
Sí |
IA no controlada |
Universo vacío |
No |
Subrutinas que sufran |
Futuro utópico |
|
La segunda posición defiende que el significado de “potencial” depende de nuestros valores. Por ejemplo, podríamos pensar que un futuro cósmico solo es valioso si no contiene sufrimiento (grave). Si “potencial” se refiere a la posibilidad de un futuro utópico sin sufrimiento, entonces cada riesgo-s es (por definición) también un riesgo-x.
¿Cómo decidimos si es más importante reducir los riesgos de extinción o reducir los riesgos-s?
Esto depende del modo en el que cada cual delibere sobre estos difíciles probelmas éticos. La respuesta dependerá de cuánto nos importe reducir el sufrimiento frente a aumentar la felicidad, y de cómo pensamos que esta última puede compensar la primera. (Esto también plantea preguntas de carácter fundamental sobre cómo se pueden medir y comparar la felicidad y el sufrimiento).
Quienes defienden posiciones éticas centradas en el sufrimiento sostienen que la reducción del sufrimiento es de primera importancia moral, y que la felicidad adicional no puede contrarrestar fácilmente el sufrimiento (grave). Según esta perspectiva, prevenir los riesgos-s es moralmente más urgente, aunque garantizar un futuro floreciente aún puede considerarse valioso.
Otros sistemas de valores, como el utilitarismo clásico o la teoría de la diversión, enfatizan la creación de felicidad u otras formas de valor positivo, y afirman que las inmensas posibilidades de un futuro utópico pueden superar los riesgos-s. Aunque la prevención de los riesgos-s sigue siendo valiosa desde este punto de vista, se considera aún más importante garantizar que la humanidad tenga un futuro cósmico reduciendo los riesgos de extinción.
Además de los problemas normativos, la respuesta también depende de la pregunta empírica de cuánta felicidad y sufrimiento contendrá el futuro. David Althaus sugiere que consideremos tanto la proporción (o “ratio”) de sufrimiento compensable por felicidad de tipo normativo (RSN), que mide la disposición a aceptar una cierta cantidad de felicidad a cambio de una cierta cantidad de sufrimiento, y la proporción (o “ratio”) entre sufrimiento y felicidad esperada (RSE), que mide las cantidad (relativa) de sufrimiento en comparación con la cantidad de felicidad que consideramos que va a haber en el futuro.
En este marco, aquellas que enfatizan la felicidad (RSN bajo) o son optimistas sobre el futuro (RSE bajo) tenderán a enfocarse en la reducción de los riesgos de extinción. Si el producto de RSN y RSE es alto, ya sea por un énfasis normativo en el sufrimiento (RSN alto) o por puntos de vista pesimistas sobre el futuro (RSE alto), es más plausible centrarse en la reducción de los riesgos-s.
Además, podríamos apoyar el trabajo en reducción de riesgos-s por razones de cooperación moral e incertidumbre moral, especialmente si resulta poco costoso o si estamos en una buena posición para hacerlo. Del mismo modo, quienes sean altruistas y se centren en el sufrimiento podrían ayudar a otras a reducir los riesgos de extinción por las mismas razones “.
Otras consideraciones
¿Está el concepto de riesgos-s ligado a la posibilidad de la existencia de una inteligencia general artificial y de sintiencia artificial?
Muchos riesgos-s, como los de subrutinas que pudieran sufrir, o el del crimen mental tienen que ver con la existencia mentes artificiales o de unainteligencia artificial superior a la humana. Pero los riesgos-s no dependen necesariamente de la posibilidad de escenarios en los que se haya desarrollado una IA. Por ejemplo, la expansión del sufrimiento de los animales salvajes a otros planetas no requiere sintiencia artificial o IA.
Sin embargo, los ejemplos de riesgos-s a menudo involucran sintiencia artificial, debido a la gran cantidad de seres artificiales que podrían crearse si la sintiencia artificial se vuelve factible en cierto momento del futuro. Esto, combinado con el historial de la humanidad, en el que la preocupación moral por los seres “sin voz” a nuestras órdenes es claramente insuficiente, podría representar un riesgo-s particularmente grave. (Más detalles aquí.)
Antes de entrar en otras cuestiones, ¿qué motivo hay para pensar que la sintiencia artificial es posible?
Esta pregunta se ha discutido ampliamente en filosofía de la mente. Muchas teorías populares de la conciencia, como la teoría del espacio de trabajo global, las teorías de orden superior o la teoría de la información integrada, coinciden en que la sintiencia artificial es, en principio, posible. El filósofo Daniel Dennett lo dice así:
He estado argumentando durante años que, sí, en principio es posible que la conciencia humana se dé en una máquina. Después de todo, eso es lo que somos. Somos robots hechos de robots hechos de robots. Somos seres increíblemente complejos, de billones de partes móviles. Pero todas son partes robóticas no milagrosas.
Ejemplifiquemos el tipo de razonamiento expuesto, consideremos este experimento de pensamiento intuitivo: imaginemos un cerebro biológico sintiente en el que reemplazáramos una neurona tras otra con un chip de computadora funcionalmente equivalente. ¿Haría esto que el cerebro fuese menos sintiente? ¿Seguiría siendo sintiente el cerebro una vez que todas sus neuronas biológicas hayan sido reemplazadas? Si no es así, ¿en qué punto dejaría de ser sintiente?
El debate aún no está resuelto, pero parece al menos plausible que la sintiencia artificial sea, en principio, posible. Además, no necesitamos tener certeza sobre algo para que esté justificado tener una preocupación moral sobre ello. Es suficiente que no podamos descartarlo como algo que podría suceder.
De acuerdo, los argumentos me convencen. ¿Qué puedo hacer personalmente para ayudar a reducir los riesgos-s?
Un primer paso sencillo es unirse a la discusión, por ejemplo, en este grupo de Facebook. Si más personas piensan y escriben sobre el tema (ya sea de forma independiente o en organizaciones de EA, es decir, de altruismo eficaz), avanzaremos en la cuestión crucial de cómo reducir de manera más óptima los riesgos-s (mientras cooperamos con otros sistemas de valores). Al mismo tiempo, ayudamos a construir una comunidad que, a su vez, puede involucrar a más personas.
Si tienes interés en realizar una investigación seria sobre los riesgos-s de inmediato, puedes echar un vistazo a esta lista de preguntas abiertas para encontrar un tema de investigación adecuado. El trabajo en políticas y estrategias de IA es otra opción interesante, ya que el progreso en este área nos permite dar forma a la IA de una manera más precisa, lo que facilita la identificación e implementación de medidas de seguridad contra los riesgos-s.
Otra posibilidad es trabajar o donar a organizaciones que trabajen en la reducción de los riesgos-s. Actualmente, el Foundational Research Institute es el único grupo con un enfoque explícitamente centrado en los riesgos-s, pero otros grupos también contribuyen a resolver problemas que son relevantes para la reducción de los riesgos-s. Por ejemplo, el Machine Intelligence Research Institute tiene como objetivo garantizar que la inteligencia artificial que termine siendo superior a la humana esté en línea con los valores humanos, lo que probablemente también reduciría los riesgos-s. Las organizaciones benéficas que promueven mejoras sociales amplias como una mejor cooperación internacional o valores beneficiosos también pueden contribuir a la reducción de los riesgos-s, aunque de una manera menos específica.
One comment