El desarrollo de la inteligencia artificial (IA) deber\u00eda desacelerarse para dar tiempo a implementar medidas de seguridad antes de que los sistemas sean demasiado poderosos y dif\u00edciles de controlar, advirti\u00f3 este s\u00e1bado 12 de septiembre Dario Amodei, CEO de Anthropic, una de las principales compa\u00f1\u00edas del sector.<\/p>\n
Amodei sostuvo que durante los \u00faltimos meses lleg\u00f3 a la conclusi\u00f3n de que prevenir los riesgos de la IA requiere no solamente invertir en seguridad, sino tambi\u00e9n moderar la velocidad con la que aumentan las capacidades de los modelos.<\/p>\n
\u201cDebemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA\u201d, escribi\u00f3 Amodei en el ensayo We Must Pace the Frontier.<\/p>\n
Noticias Relacionadas
\nFoto ilustrativa de la nota titulada: \u00bfLa IA podr\u00eda dominar al mundo? los verdaderos riesgos de la inteligencia artificial
\n\u00bfLa IA podr\u00eda dominar al mundo? los verdaderos riesgos de la inteligencia artificial<\/p>\n
Experto en seguridad de Anthropic lanza aterradora advertencia sobre la IA: \u201cpodr\u00eda matar a todos los humanos\u201d<\/p>\n
Experto en seguridad de Anthropic lanza aterradora advertencia sobre la IA: \u201cpodr\u00eda matar a todos los humanos\u201d<\/p>\n
Su propuesta no plantea detener completamente el progreso tecnol\u00f3gico: considera que incluso bajo estas restricciones el avance seguir\u00eda siendo r\u00e1pido y que el tiempo adicional deber\u00eda utilizarse para desarrollar mecanismos de protecci\u00f3n.<\/p>\n
El CEO de Anthropic sostiene que la IA podr\u00eda generar beneficios como acelerar el descubrimiento de tratamientos m\u00e9dicos e impulsar el crecimiento econ\u00f3mico. Sin embargo, considera que las mismas capacidades pueden generar riesgos graves si avanzan m\u00e1s r\u00e1pido que la capacidad humana para supervisarlas.<\/p>\n
Sam Altman respalda llamado para ralentizar el desarrollo de la IA
\nLa postura recibi\u00f3 el respaldo de Sam Altman, CEO de OpenAI, quien asegur\u00f3 que la necesidad de moderar el desarrollo de los modelos de frontera ha sido uno de los principales temas discutidos dentro de la compa\u00f1\u00eda durante las \u00faltimas semanas.<\/p>\n
\u201cEstoy de acuerdo con Dario en que necesitamos marcar el ritmo de la frontera\u201d, escribi\u00f3 Altman en X. Tambi\u00e9n respald\u00f3 una de las principales propuestas de Amodei: permitir que evaluadores independientes tengan un nivel de acceso similar al de empleados para revisar las medidas de seguridad de las compa\u00f1\u00edas. Altman adelant\u00f3 que OpenAI har\u00e1 lo mismo.<\/p>\n
La preocupaci\u00f3n tambi\u00e9n ha sido expresada desde el \u00e1rea cient\u00edfica de OpenAI. Jakub Pachocki, cient\u00edfico jefe de la compa\u00f1\u00eda, public\u00f3 d\u00edas antes un ensayo en el que se\u00f1al\u00f3 que el avance hacia sistemas capaces de participar en su propio desarrollo requiere \u201cextrema cautela\u201d.<\/p>\n
La empresa detr\u00e1s de modelos como ChatGPT tambi\u00e9n implementar\u00e1 medidas para ralentizar el desarrollo de la IA. | Archivo
\n\u00bfPor qu\u00e9 los propios expertos en IA temen perder el control?
\nUna de las principales preocupaciones est\u00e1 relacionada con la llamada automejora recursiva: la posibilidad de que sistemas cada vez m\u00e1s avanzados participen activamente en la investigaci\u00f3n y construcci\u00f3n de generaciones posteriores de inteligencia artificial, acelerando todav\u00eda m\u00e1s el progreso.<\/p>\n
Amodei mencion\u00f3 adem\u00e1s un experimento realizado por OpenAI en el que cientos de agentes de IA colaboraron para encontrar y explotar vulnerabilidades inform\u00e1ticas. A partir de la velocidad con la que est\u00e1n mejorando estas capacidades, el ejecutivo plante\u00f3 un escenario especialmente grave: teme que, en un plazo de entre seis y 12 meses, sistemas similares puedan adquirir capacidades suficientes para comprometer grandes segmentos de internet.<\/p>\n
El debate aument\u00f3 esta semana despu\u00e9s de que Jacob Coxon, investigador que trabaj\u00f3 tanto en OpenAI como en Anthropic, abandonara esta \u00faltima empresa y acusara a los principales laboratorios de avanzar hacia una inteligencia artificial capaz de mejorarse a s\u00ed misma sin contar todav\u00eda con garant\u00edas suficientes de control.<\/p>\n
Coxon lanz\u00f3 una de las advertencias m\u00e1s severas: afirm\u00f3 que algunas de las personas que desarrollan estos sistemas consideran seriamente que la IA \u201cpodr\u00eda matarnos a todos\u201d antes de que termine esta d\u00e9cada.<\/p>\n
Miembros actuales de Anthropic tambi\u00e9n han reconocido p\u00fablicamente que contemplan ese riesgo. Evan Hubinger, responsable de ciencia de alineaci\u00f3n de la compa\u00f1\u00eda, estim\u00f3 en m\u00e1s de 10% su probabilidad personal de que la IA pudiera provocar la extinci\u00f3n humana durante la pr\u00f3xima d\u00e9cada.<\/p>\n
Pero las preocupaciones sobre un posible riesgo existencial tampoco comenzaron esta semana. En 2023, cient\u00edficos como Geoffrey Hinton y Yoshua Bengio, junto con ejecutivos de compa\u00f1\u00edas de IA, entre ellos el propio Altman, firmaron una declaraci\u00f3n del Center for AI Safety en la que sostuvieron que reducir el riesgo de extinci\u00f3n provocado por la IA deber\u00eda convertirse en una prioridad mundial comparable con amenazas como las pandemias y una guerra nuclear.<\/p>\n
Anthropic detect\u00f3 intentos de utilizar su IA en armas biol\u00f3gicas
\nLa IA aut\u00f3noma no es la \u00fanica preocupaci\u00f3n. Anthropic revel\u00f3 esta semana que detect\u00f3 cinco casos en los que sus modelos fueron utilizados de maneras que podr\u00edan contribuir al desarrollo de armas biol\u00f3gicas, aunque la propia compa\u00f1\u00eda advierte que la investigaci\u00f3n es de \u201cdoble uso\u201d porque puede servir tanto para desarrollar tratamientos como para fines perjudiciales.<\/p>\n
En un caso, los sistemas fueron utilizados en trabajos relacionados con el virus chikungunya y caracter\u00edsticas como su transmisibilidad y evasi\u00f3n inmunitaria. Anthropic explic\u00f3 que una investigaci\u00f3n de ese tipo podr\u00eda utilizarse leg\u00edtimamente para desarrollar vacunas, pero tambi\u00e9n podr\u00eda contribuir a hacer m\u00e1s peligroso un pat\u00f3geno.<\/p>\n
Otro caso involucr\u00f3 a un investigador que pas\u00f3 semanas utilizando Claude para planear experimentos relacionados con la adaptaci\u00f3n de la influenza aviar a mam\u00edferos. Anthropic asegur\u00f3 que ha reforzado las barreras de sus modelos m\u00e1s recientes ante el incremento de sus capacidades cient\u00edficas.<\/p>\n
<\/p>\n