Alucinaciones y omisiones en textos generados por IA: cuando la IA nos miente

Alucinaciones y omisiones en textos generados por IA: cuando la IA nos miente

La rápida proliferación de herramientas de creación de contenidos con Inteligencia Artificicial, modelos generativos de lenguaje que producen textos coherentes y fluidos, está en cierto modo revolucionando la forma de trabajar y de crear y redactar textos.

Programas como ChatGPT, Bard o derivados, son capaces en apenas segundos, de analizarnos un caso, redactar un documento o citarnos la jurisprudencia más destacada sobre un asunto, facilitando una lista de resoluciones, que parecen perfectas para defender nuestra posición. El problema es cuando vamos a recuperar estas sentencias, a una base de datos; ahí es cuando descubrimos que esa jurisprudencia que iba a solucionarnos la vida... no existe.

Los motivos por los que estos modelos generativos llegan a inventarse cosas son muy variados. Aunque realmente sorprende su capacidad para generarnos un texto totalmente coherente, e inventado, aquí hay una explicación sencilla:

• Entrenamiento con datos: Estos modelos se entrenan utilizando grandes cantidades de texto de Internet. Aprenden a generar texto basándose en patrones que ven en esos datos.
• Falta de comprensión real: A pesar de que pueden generar respuestas coherentes, estos modelos no tienen una comprensión real del mundo. No "saben" lo que están diciendo. Solo intentan predecir qué palabras o frases son más probables según lo que han visto en sus datos de entrenamiento.
• Errores en los datos de entrenamiento: Los datos de entrenamiento pueden contener información incorrecta o sesgada. Si un modelo ve información falsa en sus datos de entrenamiento, puede generar respuestas incorrectas o sesgadas.
• Generación basada en estadísticas: Los modelos generan texto en función de estadísticas y probabilidades. A veces, pueden generar respuestas que parecen razonables pero que no son necesariamente ciertas. Esto se debe a que pueden "adivinar" lo que podría ser una respuesta adecuada en lugar de conocer la verdad.
• Contexto insuficiente: Los modelos no siempre tienen suficiente contexto para comprender completamente una pregunta. Pueden adivinar lo que el usuario está preguntando y dar respuestas incorrectas debido a esa falta de contexto.

A estos errores, se les han denominado "alucinaciones", que junto a las "omisiones", se han perfilado como una de las principales preocupaciones que han surgido en torno a estas tecnologías.

• Alucinación: 

Uno de los problemas más destacados en la generación de textos por IA es la tendencia a la alucinación, es decir, la invención de información falsa. Las IA pueden generar declaraciones que parecen razonables y verídicas, pero que carecen de una base sólida en la realidad. Esto puede ser especialmente problemático en el ámbito jurídico, donde ser preciso es algo exencial.

La redacción de contratos, con cláusulas o disposiciones que no existen en la legislación vigiente, si no se supervisan, pueden dar lugar a acuerdos no válidos. O como en el ejemplo de las sentencias, si nos basamos en un texto generado por IA para fundamentar una demanda, y no lo revisamos, podemos incluir jurisprudencia que directamente no existe.

• Omisión: 

Por otro lado, la omisión en textos generados por IA se produce cuando el sistema no incluye información relevante o esencial en su salida. Esto puede ser igualmente perjudicial, ya que puede llevar a malentendidos o a la pérdida de datos esenciales en contextos legales. Las IA pueden dejar de mencionar datos esenciales que afectan la precisión y la integridad de un texto. Esto puede ser especialmente peligroso en el ámbito jurídico, donde la omisión de un detalle crítico puede cambiar por completo el significado de un documento o declaración.

Por ejemplo, si en la elaboración de un informe generado por IA de un accidente de circulación, se omite que el conductor estaba bajo la influencia de bebidas alcohólicas, o en el informe de un medicamento, se omite la mención a posibles efectos secundarios.

La generación de textos por IA ha abierto nuevas posibilidades en diversos campos, pero también ha planteado desafíos importantes en términos de integridad y precisión. En el ámbito jurídico, donde la veracidad es esencial, las mentiras en textos generados por IA pueden tener consecuencias importantes: pérdida de confianza, toma de decisiones erróneas, costos legales adicionales, daño reputacional...

Para abordar estos desafíos, es fundamental que las empresas de IA asuman la responsabilidad de garantizar la precisión y la veracidad en sus sistemas. Y a nosotros como usuarios/as de estas herramientas, nos toca ser críticos con la información que se genera, revisarla, comprobar las fuentes y verificar la información que nos ha aportado.

En resumen, las "alucinaciones", "omisiones" o las respuestas falsas en herramientas de modelos generativos de lenguaje son el resultado de la forma en que se entrenan y funcionan estos modelos, ya que no tienen conocimiento real y generan texto basado en estadísticas y patrones aprendidos de los datos de entrenamiento, lo que puede llevar a respuestas inexactas o engañosas.