A pesar de que las compañías de IA venden la idea de que los chatbots se están volviendo más avanzados y, por consiguiente, más inteligentes, parece que eso no es todavía el caso. Un estudio elaborado por Microsoft Research y Salesforce reveló que estas herramientas a menudo se suelen “perder en la conversación” cuando sus tareas se dividen entre una conversación natural de varios turnos. Es decir, que mientras más largas e inconexas sean las conversaciones, tienden a cometer más errores.
El artículo de investigación analizó más de 200.000 conversaciones de IA con los modelos de lenguaje grande (LLM) más avanzados, entre los que estuvieron GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet, o3, DeepSeek R1 y Llama 4.
Los resultados revelaron que, por ejemplo, modelos como GPT-4.1 y Gemini 2.5 Pro tienen tasas de éxito del 90 % cuando se les dan indicaciones individuales, pero su rendimiento y eficacia se reducían a un 65% a medida que las conversaciones se volvían más extensas y menos naturales, en especial si los mensajes tenían poca relación entre sí.
La IA generativa es el último boom de la industria tecnológica. Y, a pesar de que muchos especulan que es una burbuja especulativa que puede explotar en cualquier momento, eso no ha impedido que muchas compañías ya la estén implementando en sus procesos administrativos e incluso, en algunos casos, creativos.
La confiabilidad en la IA se reduce a medida que hay más variables en la conversación
Los investigadores a cargo del estudio detallaron que la aptitud de los chatbots se disminuyó un 15% y su falta de fiabilidad se incrementó hasta el 112% debido a que los modelos de IA tienden a sufrir de generación prematura. Es decir, intentan proporcionar una solución a la consulta incluso antes de que haya terminado la explicación. Asimismo, tienden a usar su respuesta inicial como base para responder a preguntas posteriores, incluso si esta fue incorrecta.
Por si fuera poco, los encargados de la investigación descubrieron otro fenómeno que sufren todos los modelos: “la proliferación de respuestas”. El estudio mostró que los modelos alargaron entre un 20% y un 300% las conversaciones al participar en varios turnos, y los investigadores establecieron que las respuestas más largas a las preguntas generaban suposiciones y alucinaciones que se utilizaban como contexto permanente en la conversación, algo muy preocupante según indicaron.
Los resultados demuestran que la IA aún presenta errores que deben corregirse y, por lo tanto, aún está lejos de su máximo potencial. Los problemas aún se pueden considerar críticos, debido a la poca fiabilidad en conversaciones más largas. Sin embargo, el hábito de los usuarios está mostrando que muchos ya están abandonando los motores de búsqueda tradicionales para utilizar chatbots o herramientas como Google AI Overviews.
Esto puede suponer un gran riesgo, ya que, como se ha visto, estos modelos pueden fallar y equivocarse en sus respuestas. Por lo que las empresas de IA tienen mucho trabajo por hacer si no quieren que su negocio se acabe derrumbando.
Fuente
La IA de Amazon decidió que “borrar y recrear” era la solución y dejó un servicio caído por 13 horas: la empresa dice que fue “coincidencia” que había IA involucrada→ El CEO de OpenAI denuncia que empresas despiden y culpan a la IA, pero el 80% ni siquiera ha visto mejoras de productividad con inteligencia artificial→
