Una investigación reciente publicada en Proceedings of the National Academy of Sciences ha descubierto que los modelos de lenguaje de gran tamaño, como ChatGPT-4, demuestran una capacidad inesperada para resolver tareas que suelen utilizarse para evaluar la capacidad humana conocida como “teoría de la mente”. Un psicólogo computacional de la Universidad de Stanford informó que ChatGPT-4 completó con éxito el 75% de estas tareas, lo que iguala el desempeño de un niño promedio de seis años. Este hallazgo sugiere avances significativos en la capacidad de la IA (Inteligencia Artificial) para el razonamiento socialmente relevante.
Los modelos de lenguaje a gran escala (LLM, por sus siglas en inglés) son sistemas avanzados de inteligencia artificial diseñados para procesar y generar textos similares a los humanos. Lo logran analizando patrones en grandes conjuntos de datos que contienen lenguaje de libros, sitios web y otras fuentes. Estos modelos predicen la siguiente palabra o frase en una secuencia según el contexto proporcionado, lo que les permite elaborar respuestas coherentes y contextualmente apropiadas. Detrás de su funcionalidad se encuentra una arquitectura de red neuronal conocida como “transformador”, que utiliza mecanismos como la atención para identificar relaciones entre palabras y frases.
Por otra parte, la teoría de la mente se refiere a la capacidad de comprender e inferir los estados mentales de los demás, como sus creencias, deseos, intenciones y emociones, incluso cuando estos estados difieren de los propios. Esta habilidad es esencial para desenvolverse en las interacciones sociales, ya que permite la empatía, la comunicación eficaz y el razonamiento moral. Los seres humanos suelen desarrollar esta capacidad en la primera infancia y es fundamental para nuestro éxito cognitivo y social.
“Mis investigaciones anteriores giraban en torno a algoritmos diseñados para predecir el comportamiento humano. Los sistemas de recomendación, los algoritmos de búsqueda y otros modelos predictivos basados en Big Data son excelentes para extrapolar a partir de rastros de comportamiento limitados para predecir las preferencias de un individuo, como los sitios web que visita, la música que escucha o los productos que compra”, explicó el autor del estudio Michal Kosinski, profesor asociado de comportamiento organizacional en la Universidad de Stanford.
“Lo que a menudo se pasa por alto (yo, desde luego, lo pasé por alto al principio) es que estos algoritmos hacen más que simplemente modelar el comportamiento. Dado que el comportamiento tiene sus raíces en procesos psicológicos, predecirlo requiere modelar esos procesos subyacentes”.
“Pensemos en la predicción de la siguiente palabra, o para lo que se entrena a los LLM”, dijo Kosinski. “Cuando los humanos generamos lenguaje, nos basamos en algo más que solo conocimiento lingüístico o gramática. Nuestro lenguaje refleja una variedad de procesos psicológicos, incluidos el razonamiento, la personalidad y la emoción. En consecuencia, para que un LLM prediga la siguiente palabra en una oración generada por un humano, debe modelar estos procesos. Como resultado, los LLM no son meros modelos del lenguaje; son, en esencia, modelos de la mente humana”.
Para evaluar si los LLM exhiben capacidades de teoría de la mente, Kosinski utilizó tareas de falsa creencia. Estas tareas son un método estándar en la investigación psicológica para evaluar la teoría de la mente en humanos. Empleó dos tipos principales de tareas: la «Tarea de Contenidos Inesperados» y la «Tarea de Transferencia Inesperada» para evaluar la capacidad de varios modelos de lenguaje grandes para simular un razonamiento similar al humano sobre las creencias de los demás.
Estos hallazgos sugieren que los modelos de lenguaje de gran tamaño, en particular ChatGPT-4, muestran capacidades emergentes para simular razonamientos similares a los de la teoría de la mente. Si bien el desempeño de los modelos aún está lejos de ser perfecto, el estudio destaca un avance significativo en su capacidad para abordar tareas de razonamiento socialmente relevantes.
“La capacidad de adoptar la perspectiva de los demás, conocida como teoría de la mente en los seres humanos, es una de las muchas capacidades emergentes que se observan en los sistemas de IA modernos”, afirmó Kosinski. “Estos modelos, entrenados para emular el comportamiento humano, están mejorando rápidamente en tareas que requieren razonamiento, comprensión y expresión emocional, planificación, elaboración de estrategias e incluso influencia sobre los demás”.
A pesar de su impresionante desempeño, ChatGPT-4 no logró resolver el 25% de las tareas, lo que pone de relieve las limitaciones en su comprensión. Algunas de estas fallas pueden atribuirse a la dependencia del modelo de estrategias que no implican una verdadera adopción de perspectiva. Por ejemplo, el modelo podría depender de patrones en los datos de entrenamiento en lugar de simular verdaderamente el estado mental de un protagonista. El diseño del estudio tenía como objetivo evitar que los modelos aprovecharan la memoria, pero es imposible descartar todas las influencias de la exposición previa a escenarios similares durante el entrenamiento.
“El avance de la IA en áreas que antes se consideraban exclusivamente humanas es comprensiblemente desconcertante”, dijo Kosinski. “Por ejemplo, ¿cómo deberíamos interpretar la capacidad de los LLM para realizar tareas de ToM? En los humanos, tomaríamos ese comportamiento como evidencia de la teoría de la mente. ¿Deberíamos atribuir la misma capacidad a los LLM?”
“Los escépticos sostienen que estos modelos se basan en el “mero” reconocimiento de patrones. Sin embargo, se podría argumentar que la inteligencia humana en sí misma es “solo” reconocimiento de patrones. Nuestras habilidades y capacidades no surgen de la nada: tienen su origen en la capacidad del cerebro para reconocer y extrapolar patrones en sus “datos de entrenamiento”.
Las investigaciones futuras podrían explorar si las aparentes capacidades de la teoría de la mente de la IA se extienden a escenarios más complejos que involucran múltiples personajes o creencias conflictivas. Los investigadores también podrían investigar cómo se desarrollan estas capacidades en los sistemas de IA a medida que se los entrena en conjuntos de datos cada vez más diversos y sofisticados. Es importante destacar que comprender los mecanismos detrás de estas capacidades emergentes podría informar tanto el desarrollo de una IA más segura como nuestra comprensión de la cognición humana.
“La rápida aparición de capacidades similares a las humanas en la IA plantea profundas preguntas sobre el potencial de la conciencia de la IA”, dijo Kosinski. “¿Algún día la IA adquirirá conciencia y cómo podría ser eso?”
“Y esa ni siquiera es la pregunta más interesante. Es poco probable que la conciencia sea el logro máximo de las redes neuronales en nuestro universo. Es posible que pronto nos encontremos rodeados de sistemas de inteligencia artificial que poseen habilidades que trascienden las capacidades humanas. Esta perspectiva es a la vez estimulante y profundamente inquietante. Cómo controlar entidades equipadas con habilidades que tal vez ni siquiera comencemos a comprender”.
“Creo que la psicología como disciplina está en una posición única para detectar y explorar el surgimiento de estos procesos psicológicos no humanos. Al hacerlo, podemos prepararnos y adaptarnos a este cambio sin precedentes en nuestra comprensión de la inteligencia”, concluyó Kosinski.
Fuente: Proceedings of the National Academy of Sciences
Articulo original:
Título: Evaluating large language models in theory of mind tasks.
Autor: Michal Kosinski