GPT-3: los modelos de procesamiento de lenguaje natural en el ámbito educativo
Hace poco más de una semana el mundo de la IA se volvió loco con la salida del GPT-3 de OpenAI, el nuevo modelo de aprendizaje automático de la empresa fundada por Elon Musk y Sam Altman para dar respuesta a la carrera entre las grandes empresas de tecnología para avanzar la inteligencia artificial.
Pero, ¿qué es GPT-3? Y, ¿qué impacto puede tener sobre el mundo educativo?
GPT-3 es un software que implementa un modelo de procesamiento de lenguaje natural. Es decir, es una inteligencia artificial que es capaz de generar nuevos textos a partir de los que ha procesado previamente. Para ello, ha sido entrenado previamente con millones de artículos y contenidos. Por lo que he leído, las fuentes son muy diversas, pero incluyen obviamente a Wikipedia, libros de dominio público en varios idiomas, CommonCrawl y otros.
Y ¿qué puede hacer? Pues muchas cosas: escribir ensayos, historias, tweets... incluso poesía o manuales técnicos. Sin errores gramaticales. Imitando el estilo de un autor concreto. Incluso generar código. Es capaz de responder a preguntas sin entrenamiento previo o con muy poco entrenamiento, y traducir idiomas. Lo último es que más atención ha llamado. Con apenas unos pocos ejemplos el modelo es lo suficientemente general como para responder adecuadamente. Es decir, un único modelo para potencialmente decenas o centenares de aplicaciones.
=GPT3()... the spreadsheet function to rule them all.
— Paul Katsen (@pavtalk) July 21, 2020
Impressed with how well it pattern matches from a few examples.
The same function looked up state populations, peoples' twitter usernames and employers, and did some math. pic.twitter.com/W8FgVAov2f
Entonces, ¿es inteligente? No. Lo más interesante para mí es que es una prueba más de que la "inteligencia" no sirve para tantas cosas como esperábamos. Tal y como dice Anders Sandberg, de la universidad de Oxford,
"For me, the big story about #gpt3 is not that it is smart - it is dumb as a pile of rocks - but that piles of rocks can do many things we thought you needed to be smart for. Fake intelligence may be dominant over real intelligence in many domains."
Técnicamente, GPT-3 es una red neuronal de tipo transformer, que se lleva utilizando unos años en procesamiento de lenguaje natural y que también fue la base de la versión previa de GPT, GPT-2. Por lo que se dice, esta nueva versión es sencillamente mucho más grande que la anterior, y demuestra que las prestaciones de un modelo de procesamiento de lenguaje natural mejora en prestaciones siguiendo la ley de potencia con respecto al tamaño del conjunto de datos, tamaño del modelo y cantidad de computación realizada. Para poder comparar, GPT-2 tenía un tamaño de 40 GB, analizó unas 45 millones de páginas web y contaba con aproximadamente 1.500 millones de parámetros. GPT-3 ocupa 700 GB y cuenta con 175.000 millones de parámetros. Eso sí, con un coste relevante de varios millones de dólares solo para entrenarlo.
No nos volvamos locos, GPT-3 es un gran predictor de texto, y las primeras demos son flipantes, pero no esperemos milagros. Sin embargo, el salto con respecto a la versión anterior es tan grande que me surgen muchas preguntas acerca de su potencial en el ámbito educativo. No pretendo ser demasiado estratégico, sino indicar algunas líneas de trabajo que ahora podrían acelerarse.
Evaluaciones automáticas o semiautomáticas y detección de dudas
El impacto de los cursos online tanto en el entorno universitario como en el profesional trae muchas dudas. Como profesor, siempre he dicho que impartir cursos online es muchísimo más frustrante y requiere muchísimo más trabajo que otro presencial.
¿Podríamos utilizar GPT-3 para realizar análisis automático de los textos utilizados en clase y generar evaluaciones automáticas? Aunque no creo en la memorización per se, evaluar la capacidad básica de comprensión de textos importantes para el avance de la clase podría utilizarse dentro de las unidades didácticas para mejorar las líneas de aprendizaje adaptativo.
Además, el análisis de los foros de alumnos para detectar dudas o temas que no hayan quedado claros podría convertirse, en mi opinión, en una herramienta de mucha utilidad para los profesores.
Creación automática de contenido a partir de los objetivos generales o resúmenes ejecutivos
Quitémonos el orgullo. Una buena parte del trabajo de un profesor cuando está creando un nuevo curso es encontrar contenidos de calidad que poder ofrecer a los alumnos, a veces directamente y otras de manera destilada. El "curador" es un rol muy importante en todo proceso de creación de contenidos educativos, y si un porcentaje de este rol puede ser automatizado, bienvenido sea. El modelo Transformer utilizado por GPT-3 ya se ha usado para temas similares.
Aprendizaje de programación de manera textual
Uno de los ejemplos más interesantes que ha salido en las últimas semanas es el publicado por Sharif Shameen, en el que muestra cómo GPT-3 genera código a partir de una descripción textual.
This is mind blowing.
— Sharif Shameem (@sharifshameem) July 13, 2020
With GPT-3, I built a layout generator where you just describe any layout you want, and it generates the JSX code for you.
W H A T pic.twitter.com/w8JkrZO4lk
Una vez más, ¿es este el fin de todas las carreras y cursos de informática y programación? Pues no, como bien explica la siguiente imagen.
Pero sería un gran avance para aprender a programar y para que personas no técnicas entiendan mejor cómo generar prototipos y ejemplos sencillos que ayudarían a acelerar ese proceso de aprendizaje.
Recomendaciones de textos
Aunque no es nuevo, la sencillez con la que GPT-3 es capaz de analizar textos nos permitiría crear mejores sistemas de recomendación, tal y como plantea Andrew Mayne en su post The AI Channels Project. Si un alumno tiene que leer un texto concreto, no parece muy complicado mezclar el sistema de assessment mencionado anteriormente con análisis de estilo y seguir recomendando lecturas al alumno en base a avance de nivel, temática, continuación del temario, etc. Una vez más, esto ayudaría al profesor a crear líneas de aprendizaje adaptativo.
Orientación del estudiante
Uno de los primeros usos comerciales de GPT-3 es el que está realizando Koko, una startup que ayuda en casos de crisis mentales. Y Reddit está comenzando a utilizarlo en la moderación de comentarios de su red social. Por tanto, hay una línea de trabajo interesante que se relaciona con el acompañamiento no académico del alumno durante su etapa estudiantil.
Por supuesto, hay muchas más posibilidades. Y para cada una, multitud de riesgos éticos y legales. Pero si mantenemos una visión pragmática del uso real de la tecnología, el uso de modelos como GPT-3, Google BERT y otros puede ayudarnos a solidificar nuevos enfoques híbridos de aprendizaje.
Comments