Un estudio desvela que ChatGPT es cada vez menos listo, es decir, que cada nueva versión que aparece de la inteligencia artificial que ha revolucionado el mundo tecnológico parece que se vuelve menos eficaz en su tarea, que es la de ayudar al usuario con multitud de problemas.
Al contrario de lo que debería suceder, que con cada nueva versión el modelo de lenguaje de IA mejorase al anterior, algunos investigadores han notado que ChatGPT no es tan fino como lo fue en las primeras versiones, en concreto hacen la comparación entre GPT-4 y GPT 3.5 de la IA.
El estudio realizado por investigadores de dos universidades lleva como conclusión este hecho a partir de una serie de pruebas de cuestiones realizadas a la inteligencia artificial sobre temas muy concretos, no obteniendo tan buenos resultados en GPT-4 como cabría esperar. Esto se suma a las acusaciones de que ChatGPT proporciona información falsa, por lo que ha sido denunciado.
Cambios de comportamientos en ChatGPT
En dicho estudio analizan de qué forma ha cambiado el comportamiento de ChatGPT con el paso del tiempo, concretamente hacen un estudio comparado resultados dados por la IA en marzo de 2023 y en junio de 2023 para ver si las capacidades de estas tecnologías han cambiado.
Se le hacen preguntas de campos muy concretos a la inteligencia artificial usando las versiones GPT 3.5 y GPT 4, y se comparan los resultados para ver el resultado, y la conclusión es sorprendente, pues si se observa que parece que la capacidad de ChatGPT ha empeorado.
Las preguntas guardan relación con las matemáticas, la generación de código y la interpretación visual de ciertas imágenes para razonarlas. La tasa de precisión de GPT-4 baja en algunos casos al preguntar sobre esas cuestiones, no así si se utiliza GPT-3.5 para las mismas preguntas.
Por ejemplo, a la pregunta sobre si cierto número es primo, utilizando GPT 3.5, la precisión de la respuesta es del 7,4% en marzo de 2023 y del 86,8% en junio de 2023, pero utilizando GPT-4 la precisión sigue siendo del 97,6% en marzo de 2023, pero baja hasta un 2,4% en junio de 2023.
Es decir, que el rendimiento de ChatGPT habría sido más bajo en algunos aspectos, pero no en todos. Eso vendría a refutar la teoría que han lanzado algunas personas sobre que la inteligencia artificial ya no es tan lista como al principio, sin embargo, hay expertos que no lo ven así.
La euforia de la novedad
Los propietarios de OpenAI han desmentido que esto está ocurriendo y, de hecho, afirman que con cada nueva versión presentada las capacidades de ChatGPT se mejoran y hacen que la IA sea cada vez más inteligente a pesar de la percepción de muchos y de la conclusión de este estudio.
Algún investigador cree que la llegada de ChatGPT propuso algo novedoso y desató la euforia por presentarse una herramienta que casi parecía milagrosa, pudiendo ofrecer cosas que hasta el momento eran impensables y viendo cómo ChatGPT llegaba a Windows 11, navegadores, etc.
Pero con el paso del tiempo, ya se ha ido rebajando la euforia. La euforia de lo que fue una novedad se ha ido relajando y ahora que ya los usuarios han aprovechado las capacidades de ChatGPT, puede haber una percepción de que ya no es tan bueno como antes. La clave está en que ahora ya se usa tanto que se ven más las debilidades.
En cualquier caso, OpenAI presta atención a este tipo de informes y estudios para investigarlas y ver qué hay de cierto en que ChatGPT haya bajado su rendimiento y que no sea tan listo como en versiones anteriores, de momento no hay nada en claro sobre este asunto.
22 cursos de ChatGPT online y gratis
Vía: Arstechnica
- Ver Comentarios