ChatGPT: los problemas de un modelo de lenguaje en el que la verdad no es lo más importante

Todo es inteligencia artificial (IA) por estos días. Desde las conversaciones en ámbitos de desarrollos tecnológicos hasta las discusiones académicas, pasando por el impresionante flujo de capitales que estas aplicaciones reciben hoy, el frenesí desatado por ChatGPT y su empresa madre, OpenAI, parece no tener techo.

Sin ánimo de ser aguafiestas: el techo lo tiene y se lo empezó a colocar la mismísima OpenAI con una suerte de “manifiesto” en su blog hace un par de semanas. Y si no es un techo, es una señal de alarma para tener en cuenta.

“En términos generales, creemos que un mayor uso de la IA en el mundo conducirá a algo bueno y queremos promoverlo (poniendo modelos en nuestra API, compartiéndolos en código abierto, etcétera). Creemos que un acceso democratizado también conducirá a más y mejores investigaciones, a un poder descentralizado, a más beneficios y a un conjunto más amplio de personas que aporten nuevas ideas”, dice en una parte del extenso comunicado que el CEO Sam Altmabn titula “Planificación para la AGI (Artificial General Intelligence) y más allá”.

“A medida que nuestros sistemas se acercan a la AGI, somos cada vez más cautos con la creación y el despliegue de nuestros modelos –advierte a continuación–. Nuestras decisiones requerirán mucha más cautela de la que la sociedad suele aplicar a las nuevas tecnologías, y más cautela de la que a muchos usuarios les gustaría. Algunas personas en el campo de la IA piensan que los riesgos de la AGI (y de los sistemas sucesores) son ficticios; estaríamos encantados si resultaran estar en lo cierto, pero vamos a operar como si estos riesgos fueran existenciales”.

La inteligencia artificial: ¿otra burbuja?

Remarquemos el contexto: una de las empresas que más inversiones han recibido en los últimos años (Microsoft, por caso, anunció en enero que invertiría en ella U$S 10 mil millones) utiliza un tono de advertencia notable respecto del uso de su propio producto estrella. La poca difusión por fuera de algunas publicaciones especializadas, paradójicamente, confirma que podría haber problemas a futuro, más allá de la posibilidad de que esto sea una “burbuja” tecnológica dirigida a explotar.

“Con o sin burbuja, esto que conocemos hoy como IA es una parte de la ciencia de datos, que como disciplina tiene una base sólida y probada, cada vez más accesible, y al alcance de programadores y de usuarios. Eso no es nuevo y es un camino de ida, no volvemos de allí”, dice Marilina Trevisan, Líder de Data Science en la ONG Mujeres en Tecnología (MeT), aquí en Córdoba.

“La otra parte –continúa–, lo que estamos viendo a partir de Open AI y ChatGPT, herramientas de transcripción de texto a imagen, de audio a texto, de procesamiento de lenguaje natural y demás, presenta oportunidades de uso muy interesantes, pero se puede llegar a caer si se usa de manera incorrecta, coincido con el manifiesto de ChatGPT, puede tener consecuencias imprevisibles y graves”.

Una de las razones a las que Trevisán alude es que, en principio, la base de entrenamiento que usó OpenAI es internet, y todos sabemos que en internet hay verdades y mentiras. “De hecho, hay fake news en las que hasta los medios más reconocidos caen, por lo que es natural que una inteligencia artificial tropiece con el mismo problema”, razona.

Parecido es el llamado de atención que rescata Guillermo Treister, especialista en IA de IBM en Argentina. “Puede generarse un efecto burbuja porque todo el mundo dice: ‘Lo quiero, no sé para qué, pero lo quiero’. El desafío es dónde aplicarlo de modo que agregue valor y que, además, se haga con responsabilidad. Siempre hay cuestiones de seguridad y sesgos a los que prestar atención”, sostiene.

“Nuestro rol como ‘evangelizadores’ en temas tecnológicos es decir: ‘OK, pisemos la pelota, levantemos la cabeza y veamos cómo lo aplicamos en cosas que sean útiles, que puedan cambiar procesos, que ayuden a que haya cosas que se hagan más eficientemente y le simplifiquen la vida a la gente”, agrega.

Cuál es el objetivo de ChatGPT

Lo primero es saber cuál es el objetivo por el que OpenAI construyó ChatGPT, un desarrollo entrenado con el set de datos más grande que existe: la web. Y ese primer objetivo es “quiero sonar como humano”. “No importa tanto el resultado: eso explica que muchas veces devuelva errores. Muy bien escritos, casi como un humano, pero equivocado”, advierte Treister.

Según el especialista, mucho del trabajo sobre modelos lingüísticos que se hace hoy está orientado a buscar sentimientos, ver lo que está detrás de lo que dice el humano, qué siente en el fondo. “Hay en muchos casos un intento de ChatGPT de desarrollar ‘empatía’, descubrir la intención que tenía por detrás quien pregunta, lo que lo motiva, y tratar de escribir algo que suene agradable. Luego esa percepción puede estar equivocada”.

“Por eso hay que tener cuidado cuando el output se deja tan liberado –enfatiza– y ser responsables en aplicaciones más serias. Si en lugar de ChatGPT el desarrollo estuviese aplicado al chatbot de atención al cliente de una empresa, hubiera sido más complicado y más costoso en todo sentido para la empresa que contrata el servicio. Por eso, nuestro lema en IBM es ‘inteligencia artificial con responsabilidad”.

La verdad o la falsedad no son tan importantes

Sobre el objetivo del desarrollo que llevó adelante OpenAI y lo que sabemos de él, Trevisan va más al hueso.

“No es una herramienta para distinguir algo verdadero de algo falso. Por eso reproduce como verdad algo que no lo es. Es un modelo de lenguaje, no un modelo de verdad. Reproduce un texto muy bien articulado formalmente, pero no es un modelo entrenado para combatir las fake news o los sesgos de género, por ejemplo. En ese plan, ChatGPT tiene un hueco fundamental: no dice quién dijo lo que afirma, no entrega sus fuentes de información”, apunta.

Básicamente, si se entrena un modelo con datos que no son reales, lo que va a decir puede no ser real. La IA no sabe reconocer la verdad de la mentira, solamente es extremadamente eficiente para relevar cuáles son las respuestas que obtuvo a partir de su entrenamiento, articularlas de manera extremadamente eficiente y de un modo “que suena humano”. Es muy amable, políticamente correcto, pero adolece de los mismos sesgos que tenemos como sociedad.

“El peligro es interpretar sus respuestas como ‘la realidad’ sin tener una mirada crítica sobre lo que responde. Ahora, si le pedís que te redacte un mail o escriba una línea de código, lo hace bien”, subraya Trevisan.

“Lo preocupante –advierte– es que, si las personas por lo general caen en fake news y comparten noticias falsas, esa misma visión parcial se reproduce en una IA. Es como con toda tecnología: el problemas son más las personas y el uso que se les da a los avances tecnológicos, y no tanto los avances en sí mismos”.

¿Menos trabajo humano a la vista?

En todas las épocas hay tecnologías que en el fondo hacen un reordenamiento del mercado laboral, suponiendo una mayor eficiencia. Como bien señala el especialista de IBM consultado, si antes en un depósito se requerían varias personas para levantar una caja grande y pesada, ahora existe una grúa horquilla que demanda solamente un operario. “Nosotros, en IBM, tenemos la visión de augmented intelligence, o sea, cómo potenciamos el trabajo humano en sí”, rescata.

“Por ejemplo, podría serte útil para pensar en un buen inicio de esta nota, serte útil para redactar un comienzo. Pero siempre tiene que haber un periodista que le dé sentido a todo. Nos parecería hasta peligroso que se deje absolutamente libres a este tipo de herramientas porque el resultado puede ser impredecible, y una empresa u organización es el responsable último de lo que se hace a partir de ese desarrollo”, explica y remarca el hecho de que no ven desde IBM que el impacto en el mercado laboral vaya a ser mayor o distinto al producido por otros avances tecnológicos.

Los algoritmos, el suicidio y los falsos positivos

Aun cuando se entrenen intensivamente, no existen modelos de machine learning perfectos. Se trata de probabilidades, si un modelo se vende como con un 100% de aciertos, está errado de arranque, según los que saben.

Hace muy pocos días, un usuario compartió en Twitter un bloqueo de su cuenta que había recibido por parte del algoritmo de análisis de lenguaje a partir de uno de sus posteos. El tuit en cuestión decía “anisacate, córdoba”. La cuenta fue bloqueada por “incumplir las reglas que prohíben promover o alentar el suicidio o las autolesiones”, e incluía consejos para lidiar con temas como la depresión, la soledad y la salud mental.

me bloquearon la cuenta por un tweet que decia "anisacate, Córdoba" porque el algoritmo entendió que era "promoción del suicidio o autolesiones"

está bien que Anisacate es feo…pero tampoco exageremos con la interpretación pic.twitter.com/GtTM2HFxhg

— Martín Gaitán ⭐⭐⭐ (@tin_nqn_) March 9, 2023

Más allá de las bromas sobre el funcionamiento algo errático de Twitter desde que Elon Musk se hizo cargo de la empresa que compró, cabe preguntarse qué pasó aquí. Y lo que sucede es que el modelo de Twitter seguramente se basa en dejar muy pocas posibilidades de falso negativo, aun cuando sea muy remota la chance de que se concrete.

Vale decir: ese algoritmo está pensado con la premisa de que es mejor suponer equivocadamente que alguien tenga pensado autolesionarse o quitarse la vida (y que después no lo haga) que dejar pasar un caso de uso del lenguaje del que pueda inferirse lo mismo y que la persona efectivamente termine suicidándose.

¿Más simple? “Una inteligencia artificial con este criterio, aplicada a los diagnósticos médicos, elegiría advertir sobre la posibilidad de formación de un tumor “exagerando” el diagnóstico para prevenir, aunque después esa posibilidad se demuestre como improbable luego de los exámenes pertinentes, antes que dejar pasar indicios que llevarían a una detección tardía”, explica Marilina Trevisan, de MeT.

Ahí mismo está implícita una decisión de los “entrenadores” de esa IA, que efectivamente son humanos: la posibilidad de definir cuál es el umbral de posibilidades de acierto es clave para su efectividad, por más que en el camino haya que cruzarse más de una vez con lo que estadísticamente sería “falso positivo” para llegar a un número más preciso de “verdadero positivo”.

^_Fuente