ChatGPT-4, la inteligencia artificial que está impresionando al mundo
Recientemente, la organización OpenAI lanzó al mercado su nuevo producto de inteligencia artificial, el chatbot ChatGPT-4, o GPT-4 abreviadamente. Este bot emplea aprendizaje automático (una modalidad de inteligencia artificial) para generar texto que parece escrito por un humano, en respuesta a peticiones escritas. Pero ¿es GPT-4 tan inteligente como parece?
El equipo de David Wood, profesor de contabilidad en la Universidad Brigham Young, constató que la habilidad del sistema ChatGPT para contestar preguntas sobre contabilidad, era inferior a la habilidad promedio de un grupo extenso de estudiantes, al menos hasta recientemente. / Nate Edwards / BYU
La versión GPT-4 de este sistema llega en un momento en el que esta gama de bots con inteligencia artificial ha alcanzado ya una gran popularidad.
Desde su debut en noviembre de 2022, ChatGPT se ha convertido en la plataforma tecnológica de más rápido crecimiento de la historia, alcanzando los 100 millones de usuarios en apenas dos meses.
ChatGPT permite a los usuarios pedirle ayuda para cosas como escribir ensayos, redactar planes de negocio, generar código informático e incluso componer música.
Esta inteligencia artificial es capaz de entender con un asombroso nivel de comprensión el lenguaje humano, contestando de manera coherente y clara a casi todo lo que se le pregunta. Es capaz de analizar grandes cantidades de datos y redactar un resumen. Tiene una capacidad de razonamiento o “sentido común” mejorada. También traduce entre idiomas como ya hacen otros sistemas.
El campo de la inteligencia artificial está registrando grandes avances últimamente y GPT-4 es un buen ejemplo de ello. De todas formas, el avance no es fácil. De ello dan fe no solo las experiencias de algunos usuarios sino también varias investigaciones científicas realizadas sobre el sistema ChatGPT y sobre otros.
El equipo internacional de David Wood, profesor de contabilidad en la Universidad Brigham Young en Estados Unidos, llevó a cabo un extenso estudio para comparar el porcentaje de aciertos en respuestas de estudiantes de contabilidad a preguntas y el porcentaje de aciertos en las respuestas de ChatGPT a esas mismas preguntas. El estudio vino motivado en parte por el temor de que recurrir a ChatGPT sea para los estudiantes una nueva y eficaz manera de hacer trampa y lograr puntuaciones superiores a las que lograrían dando solo sus propias respuestas a las preguntas.
Los autores de esta investigación ascienden a más de 300 y son de 186 instituciones educativas en 14 naciones. Se emplearon más de 25.000 preguntas procedentes de exámenes de contabilidad. Y se prepararon otras adicionales para interrogar a ChatGPT.
Aunque el rendimiento de ChatGPT fue impresionante, los estudiantes obtuvieron mejores resultados. Obtuvieron una puntuación media global del 76,7%, frente al 47,4% de ChatGPT. En un 11,3% de las preguntas, ChatGPT obtuvo una puntuación superior a la media de los estudiantes, especialmente en sistemas de información contable y en el campo de las auditorías. Pero el bot de inteligencia artificial lo hizo peor en otros campos, como por ejemplo el de los impuestos.
En cuanto al tipo de pregunta, ChatGPT obtuvo mejores resultados en las preguntas de verdadero o falso (68,7% de aciertos) y en las de opción múltiple (59,5% de aciertos), pero tuvo problemas con las preguntas que requieren escribir una respuesta corta (entre el 28,7% y el 39,1% de aciertos). En general, ChatGPT tuvo más dificultades para responder a las preguntas de orden superior.
Los autores de este estudio también detectaron bugs que, en teoría, deben estar ya corregidos o en vías de serlo. Algunos de estos bugs llevaban a ChatGPT a cometer errores tontos de aritmética, o a citar referencias a obras que no existen y a veces incluso cuyos supuestos autores tampoco existen.
Este estudio se titula “The ChatGPT Artificial Intelligence Chatbot: How Well Does It Answer Accounting Assessment Questions?”. Y se ha publicado en la revista académica Issues in Accounting Education.
Otro temor sobre las inteligencias artificiales en general es que a la hora de elaborar textos a partir de información escrita acaben plagiando fragmentos de artículos y libros, o sea copiando textos significativamente largos sin citar la fuente. El equipo de Dongwon Lee, de la Universidad Estatal de Pensilvania en Estados Unidos, presenta estos días los resultados de un estudio al respecto, en el congreso 2023 ACM Web Conference que se celebra en Austin, Texas, Estados Unidos. El estudio se titula “Do Language Models Plagiarize?”. Y la conclusión es que los sistemas examinados sí muestran esta preocupante tendencia a plagiar.
