Hace tres años, el lanzamiento público de ChatGPT de OpenAI, el modelo de lenguaje extenso más popular del mundo marcó la llegada definitiva de la era de la inteligencia artificial. Desde entonces, ChatGPT y otras herramientas de IA generativa que pueden crear texto, imágenes, código y otros contenidos en respuesta a indicaciones humanas han transformado cada vez más muchos aspectos de la vida cotidiana, incluida la educación. Diariamente, millones de estudiantes usan ChatGPT para escribir ensayos, terminar tareas, recibir retroalimentación y como tutor virtual.
¿Cómo está cambiando la rápida expansión de la IA generativa nuestra forma de aprender? ¿Son estos cambios para mejor? La tecnología evoluciona tan rápido que los investigadores se apresuran a seguir el ritmo.
Un nuevo estudio realizado por los Dres. Hamsa Bastani, Osbert Bastani, Alp Sunga y sus colegas de la Universidad de Pensilvania, publicado recientemente en las Actas de la Academia Nacional de Ciencias, constituye uno de los primeros estudios a gran escala sobre el impacto de la IA generativa en el aprendizaje humano. En un experimento de campo, casi 1000 estudiantes de secundaria aprendieron matemáticas con o sin la ayuda de ChatGPT. Los resultados, que arrojan luz sobre los posibles beneficios y desventajas de la IA como herramienta de aprendizaje, son esclarecedores.
El estudio abarcó casi cincuenta clases de 9.º, 10.º y 11.º grado en Turquía. En cada clase, los profesores repasaron primero un tema de matemáticas del currículo regular. Posteriormente, los alumnos realizaron ejercicios prácticos sobre dicho tema, con o sin la ayuda de ChatGPT. Después, el profesor repasó brevemente las respuestas correctas y los alumnos realizaron un examen a libro y portátil cerrados sobre lo aprendido.
Fundamentalmente, cada estudiante practicó con o sin IA generativa. Lo hicieron de una de estas tres maneras:
En la condición «GPT Base», los estudiantes tenían acceso ilimitado a una versión pública de la plataforma ChatGPT. Podían usarla como quisieran. Esta condición se asemejaba a la forma en que muchos estudiantes interactúan actualmente con ChatGPT: libremente y con poca o ninguna estructura ni guía.
En la condición de «Tutor GPT», los estudiantes usaron una versión especial de ChatGPT que los investigadores desarrollaron en colaboración con el profesorado. Esta versión contaba con varias «barreras de seguridad» integradas: tenía acceso a la solución correcta para cada problema, conocimiento detallado de los pasos a seguir y, lo más importante, se le indicaba que proporcionara pistas en lugar de dar las respuestas correctas. Ayudó a los estudiantes a aprender los pasos necesarios para resolver los problemas por sí mismos.
En la condición de control, los estudiantes no tenían acceso a la IA generativa y, en cambio, dependían únicamente del libro de texto y sus notas.
Surgieron varios hallazgos notables. En primer lugar, el acceso a ChatGPT durante el aprendizaje ayudó a los estudiantes a obtener mejores resultados en los ejercicios prácticos. En la condición «Base GPT», los estudiantes obtuvieron un impresionante 127 % mejor que en la condición de control. Esta mejora se produjo a pesar de que ChatGPT a menudo producía soluciones incompletas o imprecisas, en consonancia con su bien documentada tendencia a malinterpretar o inventar información. Los estudiantes en la condición «Tutor GPT» también mostraron mejoras sustanciales, con un rendimiento un 48 % mejor que sus compañeros sin el apoyo de la IA.
Sin embargo, los beneficios del aprendizaje con IA generativa resultaron ser un espejismo. En el examen, los estudiantes de la condición «GPT Base» obtuvieron una puntuación un 17 % inferior a la del grupo de control, mientras que los de la condición «GPT Tutor» no obtuvieron mejores resultados que los de la condición de control. Estos hallazgos ilustran un principio arraigado en las ciencias del aprendizaje: el rendimiento durante el entrenamiento o la práctica no refleja necesariamente el aprendizaje real. De hecho, sin acceso a la IA, los estudiantes que la habían utilizado no obtuvieron mejores resultados —y en la condición «GPT Base», significativamente peores— que quienes habían practicado por su cuenta.
El equipo de investigación descubrió un factor que contribuyó a estos resultados. En la condición «Base GPT», muchos estudiantes hicieron que ChatGPT resolviera los ejercicios de práctica y simplemente copiaron las respuestas. Confiaron en la IA para el trabajo pesado y, en el proceso, se privaron de oportunidades de aprendizaje.
Los estudiantes también desconocían en gran medida cómo la IA generativa había influido en su aprendizaje. Al ser encuestados, quienes participaron en la condición «Base GPT» calificaron su aprendizaje y rendimiento en los exámenes como similares a los de sus compañeros del grupo de control, mientras que quienes participaron en la condición «Tutor GPT» dieron estimaciones aún más altas. Estas creencias no se correspondían con la realidad.
Parece, entonces, que el impacto de la IA generativa en el aprendizaje de matemáticas es, en el mejor de los casos, desigual. Actualmente, presenta desventajas considerables: la versión estándar de ChatGPT se usa con demasiada facilidad como atajo para resolver problemas, lo que permite a los estudiantes obviar la comprensión profunda que antes era esencial para aprender matemáticas y habilidades afines; existe el riesgo de encontrar información incorrecta, lo cual puede agravarse cuando los estudiantes no pueden evaluar la calidad de las respuestas generadas por la IA; y, de forma preocupante, muchos estudiantes desconocen las desventajas que pueden sufrir al confiar en la IA.
Sin embargo, los hallazgos de la condición «Tutor GPT» sugieren maneras de mitigar algunas de estas desventajas. Al añadir «barreras de seguridad» para garantizar que los estudiantes sean responsables de dominar los materiales de forma independiente mediante su propio trabajo, la IA generativa puede utilizarse de maneras que tienen menos probabilidades de perjudicar el aprendizaje de matemáticas. La aportación de profesores humanos también puede ayudar a garantizar que se proporcione información correcta de forma consistente. Por ahora, quizás el mejor consejo para usar la IA generativa en el aprendizaje de matemáticas sea resistir la tentación de generar respuestas correctas y, además, no aceptar ciegamente sus resultados como infalibles.
Dada la creciente dependencia de los estudiantes de la IA generativa, este estudio plantea serias preocupaciones. En lugar de facilitar el aprendizaje, el acceso sin restricciones a ChatGPT y otros chatbots basados en modelos lingüísticos de gran tamaño puede perjudicarlo. Como resultado, es probable que los estudiantes ya estén aprendiendo peor. Incluso el «Tutor GPT», diseñado a medida y que evitó algunos efectos negativos, no logró superar a los métodos de aprendizaje tradicionales.
En definitiva, estos hallazgos refuerzan la idea de que la IA generativa sigue siendo una «solución en busca de un problema», al menos en algunos contextos educativos. Probablemente se necesiten mejoras significativas —y mayor cautela por parte de los usuarios— antes de que se pueda confiar en la IA generativa para mejorar realmente el aprendizaje de matemáticas.
Fuente: Psychology Today
Referencias:
Título: Generative AI without guardrails can harm learning: Evidence from high school mathematics.
Autores: Hamsa Bastani y Osbert Bastani.
Publicado en: Proceedings of the National Academy of Sciences.
Escucha aquí en audio el artículo de hoy.