Read this article in English

UT researcher finds large language models struggle with functional linguistic competence

Nota del editor: este artículo se publicó por primera vez el 3 de abril del 2024 por Laura Rivera y fue traducido al español por Citlali Martinez Hernandez.

Los modelos de lenguaje, una forma de inteligencia artificial, tienen dificultad para lograr una competencia lingüística funcional, según un estudio del 19 de marzo del que es coautor un profesor asistente de lingüística en UT. 

Según el estudio, la competencia lingüística funcional significa comprender el lenguaje y sus implicaciones y luego determinar cómo responder. Esto difiere de la competencia lingüística formal, que es la capacidad de la IA para producir palabras y oraciones.

Kyle Mahowald de UT fue coautor del artículo junto con lingüistas, científicos cognitivos y neurocientíficos de todo el país. La preimpresión del estudio realizada por el equipo de investigación ha sido citada más de 150 veces desde su publicación el año pasado, según un comunicado de prensa de la Facultad de Artes Liberales. 

“(El artículo) surgió de muchas discusiones y reflexiones sobre este gran cambio que ha ocurrido en la tecnología de lingüística computacional en los últimos cinco años”, dijo Mahowald. “Ahora, con cosas como ChatGPT, realmente hemos visto un nivel de tecnología completamente diferente al de hace 10 años”.   

Mahowald dijo que los LLM requieren mejoras, como el uso de programas de codificación o bases de datos, para mejorar las habilidades de competencia lingüística funcional. Dijo que aunque los LLM aumentados han mejorado las habilidades de razonamiento lógico, todavía cometen errores. 

“Estos modelos alucinan, hacen alguna afirmación y luego inventan la fuente, se equivocan en los problemas matemáticos y hacen muchas cosas mal”, comentó Mahowald. “Si piensas en cómo funcionan los humanos y en el procesamiento cognitivo humano, la capacidad de producir un lenguaje fluido y coherente es distinta de la capacidad de hacer todas estas otras cosas, como el razonamiento y la lógica”. 

Aunque Mahowald dijo que los LLM entienden la gramática y la sintaxis, la asistente docente Allison Agthe mencionó que ve errores de gramática y puntuación en el trabajo generado por IA, lo que indica que los estudiantes no lo escribieron ellos mismos.

“La IA es una gran herramienta para ciertos aspectos, como generar ideas, pero creo que la IA es solo eso”, dijo Agthe, estudiante de posgrado en publicidad. “Es solo una herramienta y debe verse como una herramienta. No debería verse como una página para hacer trampa y escribir un ensayo”. 

Mahowald se muestra escéptico de que la IA esté cerca de superar a los humanos, pero dijo que algunas cosas generan preocupación.

“Ya hay cosas reales de que preocuparse con estas tecnologías en términos de cosas como desinformación, sesgos en los modelos, (y) formas en las que básicamente podrían ser dañinas en el tipo de texto que están produciendo “, comentó Mahowald. “Definitivamente, vale la pena tomarlo en serio en este momento”.