Verdad o falsedad: la inteligencia artificial está generando más errores creativos que antes, a pesar de los avances logrados.
La inteligencia artificial se enfrenta a un desafío inesperado: aunque sus modelos son cada vez más potentes y flexibles, también se están volviendo más propensos a cometer errores de percepción.
Lejos de solucionar este inconveniente, estas equivocaciones se están incrementando en los modelos más recientes, incluyendo los creados por compañías como OpenAI y DeepSeek. A pesar de que estas plataformas ofrecen un razonamiento y comprensión más profundos, sus sistemas tienden a inventar información más a menudo que anteriormente.
El incidente más reciente ocurrió con Cursor, una herramienta de programación respaldada por IA. Según informó The New York Times, un bot de asistencia técnica automatizado, que utiliza inteligencia artificial, indicó a los usuarios que ya no podían utilizar el software en más de un dispositivo.
La incorrecta actualización de políticas generó malestar en foros, cancelaciones de cuentas y numerosos reclamos. Sin embargo, como aclaró públicamente Michael Truell, CEO de la empresa, esa limitación nunca existió. “Lamentablemente, esta es una respuesta equivocada de un bot de soporte de IA avanzado”, escribió en Reddit.
No fue un caso aislado. De hecho, estas fallas se han vuelto comunes desde el amplio lanzamiento de ChatGPT en 2022. Más de dos años después, los modelos más actuales no solo no han solucionado el problema, sino que lo han empeorado.
Como indica Amr Awadallah, ex ejecutivo de Google y fundador de Vectara: “Por más que intentemos, siempre habrá alucinaciones. Eso no se va a eliminar”.
La causa del problema radica en la propia estructura de los modelos de lenguaje. Estos sistemas no comprenden la verdad ni verifican la información: simplemente pronostican cuál es la respuesta más probable basándose en los patrones estadísticos aprendidos de grandes volúmenes de texto. Si los datos son insuficientes o contradictorios, el modelo puede ofrecer respuestas que parecen plausibles pero son totalmente incorrectas.
OpenAI ha reconocido esta limitación de manera clara. En pruebas internas usando el benchmark PersonQA, que evalúa la precisión al responder preguntas sobre figuras públicas, su modelo o3 cometió errores de percepción el 33% de las veces, más del doble en comparación a su predecesor, o1. El nuevo o4-mini mostró una tasa de error aún más alta: 48%. En otra prueba, SimpleQA, que se centra en preguntas generales, los índices de errores de percepción alcanzaron el 79%.
La ironía es clara: los modelos más recientes, diseñados para razonar paso a paso mediante el método conocido como cadena de pensamiento, parecen tropezar más en ese mismo proceso.
A medida que analizan etapas, cualquier falta en un paso inicial se extiende y se intensifica en el resultado final. Aunque los modelos actuales intentan hacer evidente ese proceso de razonamiento intermedio, los investigadores han comprobado que, en muchas ocasiones, los pasos no están relacionados con la conclusión.
Los efectos de estas alteraciones pueden ser más graves que simples curiosidades. Existen ejemplos documentados, como el de un abogado estadounidense que presentó ante un juez documentos creados por ChatGPT. Estos estaban redactados de manera perfecta, pero se fundamentaban en jurisprudencia inexistente. El modelo había fabricado los casos legales.
El peligro se torna crítico cuando se utilizan modelos de inteligencia artificial en tareas delicadas, como dar información médica, analizar documentos legales o manejar datos empresariales. “Si no resuelves esto, se pierde el valor de emplear IA: automatizar tareas”, advirtió Pratik Verma, CEO de Okahu, al New York Times.
Incluso los buscadores, que incorporan modelos de lenguaje en sus plataformas, han cometido errores absurdos. Desde sugerir maratones en Filadelfia como si estuvieran en la costa oeste hasta citar fuentes inventadas sobre la cantidad de hogares en Illinois, los fallos son comunes.
Y algunos de esos errores no son geográficamente lejanos: ChatGPT afirmó que Uruguay tenía 5,2 millones de habitantes, se inventó un festival de cine en Maldonado y mencionó un ministerio que nunca existió.
La respuesta de las grandes empresas tecnológicas ha sido ambigua. Por un lado, admiten el problema y afirman que están trabajando activamente para reducir las tasas de alucinar. Por otro lado, continúan lanzando modelos más complejos, frecuentemente sin explicar del todo por qué tienen más alucinaciones.
OpenAI ha reconocido que “continuaremos investigando las alucinaciones en todos los modelos para mejorar la precisión y la fiabilidad”, afirmó su portavoz Gaby Raila. Sin embargo, hasta el momento, no hay una forma definitiva de detectar y corregir estas fallas en tiempo real.
Otras compañías, como Vectara, han creado pruebas externas para evaluar las alucinaciones. Solicitan a los modelos que resuman artículos de noticias de fácil verificación y miden cuánta información incorrecta introducen.
Aunque se han observado algunas mejoras, de hasta el 1 o 2% en ciertos casos, los modelos de razonamiento siguen mostrando picos de error. El DeepSeek R1 presentó alucinaciones el 14,3% de las veces, mientras que el o3 de OpenAI alcanzó el 6,8%.
La inteligencia artificial se enfrenta a un desafío inesperado: aunque sus modelos son cada vez más potentes y flexibles, también se están volviendo más propensos a cometer errores de percepción.
Lejos de solucionar este inconveniente, estas equivocaciones se están incrementando en los modelos más recientes, incluyendo los creados por compañías como OpenAI y DeepSeek. A pesar de que estas plataformas ofrecen un razonamiento y comprensión más profundos, sus sistemas tienden a inventar información más a menudo que anteriormente.
El incidente más reciente ocurrió con Cursor, una herramienta de programación respaldada por IA. Según informó The New York Times, un bot de asistencia técnica automatizado, que utiliza inteligencia artificial, indicó a los usuarios que ya no podían utilizar el software en más de un dispositivo.
La incorrecta actualización de políticas generó malestar en foros, cancelaciones de cuentas y numerosos reclamos. Sin embargo, como aclaró públicamente Michael Truell, CEO de la empresa, esa limitación nunca existió. “Lamentablemente, esta es una respuesta equivocada de un bot de soporte de IA avanzado”, escribió en Reddit.
No fue un caso aislado. De hecho, estas fallas se han vuelto comunes desde el amplio lanzamiento de ChatGPT en 2022. Más de dos años después, los modelos más actuales no solo no han solucionado el problema, sino que lo han empeorado.
Como indica Amr Awadallah, ex ejecutivo de Google y fundador de Vectara: “Por más que intentemos, siempre habrá alucinaciones. Eso no se va a eliminar”.
La causa del problema radica en la propia estructura de los modelos de lenguaje. Estos sistemas no comprenden la verdad ni verifican la información: simplemente pronostican cuál es la respuesta más probable basándose en los patrones estadísticos aprendidos de grandes volúmenes de texto. Si los datos son insuficientes o contradictorios, el modelo puede ofrecer respuestas que parecen plausibles pero son totalmente incorrectas.
OpenAI ha reconocido esta limitación de manera clara. En pruebas internas usando el benchmark PersonQA, que evalúa la precisión al responder preguntas sobre figuras públicas, su modelo o3 cometió errores de percepción el 33% de las veces, más del doble en comparación a su predecesor, o1. El nuevo o4-mini mostró una tasa de error aún más alta: 48%. En otra prueba, SimpleQA, que se centra en preguntas generales, los índices de errores de percepción alcanzaron el 79%.
La ironía es clara: los modelos más recientes, diseñados para razonar paso a paso mediante el método conocido como cadena de pensamiento, parecen tropezar más en ese mismo proceso.
A medida que analizan etapas, cualquier falta en un paso inicial se extiende y se intensifica en el resultado final. Aunque los modelos actuales intentan hacer evidente ese proceso de razonamiento intermedio, los investigadores han comprobado que, en muchas ocasiones, los pasos no están relacionados con la conclusión.
Los efectos de estas alteraciones pueden ser más graves que simples curiosidades. Existen ejemplos documentados, como el de un abogado estadounidense que presentó ante un juez documentos creados por ChatGPT. Estos estaban redactados de manera perfecta, pero se fundamentaban en jurisprudencia inexistente. El modelo había fabricado los casos legales.
El peligro se torna crítico cuando se utilizan modelos de inteligencia artificial en tareas delicadas, como dar información médica, analizar documentos legales o manejar datos empresariales. “Si no resuelves esto, se pierde el valor de emplear IA: automatizar tareas”, advirtió Pratik Verma, CEO de Okahu, al New York Times.
Incluso los buscadores, que incorporan modelos de lenguaje en sus plataformas, han cometido errores absurdos. Desde sugerir maratones en Filadelfia como si estuvieran en la costa oeste hasta citar fuentes inventadas sobre la cantidad de hogares en Illinois, los fallos son comunes.
Y algunos de esos errores no son geográficamente lejanos: ChatGPT afirmó que Uruguay tenía 5,2 millones de habitantes, se inventó un festival de cine en Maldonado y mencionó un ministerio que nunca existió.
La respuesta de las grandes empresas tecnológicas ha sido ambigua. Por un lado, admiten el problema y afirman que están trabajando activamente para reducir las tasas de alucinar. Por otro lado, continúan lanzando modelos más complejos, frecuentemente sin explicar del todo por qué tienen más alucinaciones.
OpenAI ha reconocido que “continuaremos investigando las alucinaciones en todos los modelos para mejorar la precisión y la fiabilidad”, afirmó su portavoz Gaby Raila. Sin embargo, hasta el momento, no hay una forma definitiva de detectar y corregir estas fallas en tiempo real.
Otras compañías, como Vectara, han creado pruebas externas para evaluar las alucinaciones. Solicitan a los modelos que resuman artículos de noticias de fácil verificación y miden cuánta información incorrecta introducen.
Aunque se han observado algunas mejoras, de hasta el 1 o 2% en ciertos casos, los modelos de razonamiento siguen mostrando picos de error. El DeepSeek R1 presentó alucinaciones el 14,3% de las veces, mientras que el o3 de OpenAI alcanzó el 6,8%.
