El fenómeno de las "alucinaciones" y el caso Mata v. Avianca

El fenómeno de las "alucinaciones" y el caso Mata v. Avianca

En el ejercicio del derecho, la precisión y la veracidad son innegociables. Sin embargo, al integrar la inteligencia artificial en tu práctica, te enfrentarás a un desafío que puede comprometer ambos principios: las "alucinaciones" de la IA. Este fenómeno, en el que los modelos generan información coherente pero completamente falsa, exige una vigilancia constante y un entendimiento profundo de sus causas para evitar graves errores profesionales. La falta de verificación puede llevarte a situaciones como la que experimentaron los abogados en el notorio caso *Mata v. Avianca*, un recordatorio contundente de tu responsabilidad ineludible.

¿Qué son las "alucinaciones" en IA y por qué ocurren?

Cuando hablamos de "alucinaciones" en el contexto de la Inteligencia Artificial, nos referimos a la tendencia de los Modelos de Lenguaje Grande (LLM) a generar información que suena plausible, es gramaticalmente correcta y se presenta con total confianza, pero que es factualmente incorrecta, inventada o sin base en la realidad. No se trata de un "error" en el sentido humano, sino de una característica inherente a cómo funcionan estos modelos. Para entenderlo, recordá lo que vimos en la lección 1.1: un LLM es esencialmente un sofisticado predictor de texto. Su objetivo principal es generar la secuencia de palabras más probable en respuesta a tu *prompt*, basándose en los vastos datos con los que fue entrenado. No "comprende" la verdad o la falsedad de la misma manera que un humano. No tiene un conocimiento del mundo real, ni conciencia, ni la capacidad de verificar hechos. Simplemente procesa patrones y probabilidades lingüísticas. Las alucinaciones ocurren por varias razones:

• Naturaleza probabilística: El modelo elige la palabra siguiente más probable. A veces, la secuencia más probable no es la más precisa o veraz, especialmente cuando se le pide información muy específica o rara que no está bien representada en sus datos de entrenamiento.
• Datos de entrenamiento: Si los datos de entrenamiento contienen sesgos, errores o información contradictoria, el modelo puede replicarlos o combinarlos de formas inesperadas. Además, la IA no "sabe" qué datos son "más verdaderos" que otros; solo aprende de lo que se le presenta.
• Falta de conocimiento actualizado: Muchos LLM tienen un "corte de conocimiento" después de cierta fecha. Si le pedís información sobre eventos o desarrollos legales posteriores a esa fecha, el modelo puede intentar "rellenar los huecos" con inferencias o invenciones.
• Complejidad de la pregunta: Cuanto más compleja o ambigua sea tu pregunta, mayor será la probabilidad de que el modelo "confabule" para dar una respuesta completa, incluso si no tiene la información precisa.
• Sesgo de confirmación del modelo: A veces, el modelo puede interpretar tu *prompt* como una solicitud para confirmar una idea, y generará una respuesta que se alinee con esa idea, incluso si es incorrecta.

Es fundamental comprender que un LLM no te miente intencionalmente. Simplemente hace lo que fue diseñado para hacer: generar texto coherente. La veracidad de ese texto es tu responsabilidad de verificar.

El riesgo legal de las alucinaciones: el caso *Mata v. Avianca*

El caso de *Mata v. Avianca, Inc.*, un hito en la intersección del derecho y la inteligencia artificial, ilustra de manera dramática los peligros de confiar ciegamente en la IA. En 2023, dos abogados de Nueva York, Steven Schwartz y Peter LoDuca, se vieron envueltos en un escándalo profesional que resonó en todo el mundo legal. Los abogados representaban a un cliente que demandaba a Avianca por lesiones sufridas en un vuelo. Para preparar su escrito, recurrieron a ChatGPT, un LLM popular, para investigar precedentes judiciales relevantes. El problema surgió cuando el escrito presentado ante el tribunal contenía citas a seis decisiones judiciales que, simplemente, no existían. Estas son algunas de las sentencias "alucinadas" que los abogados citaron en su presentación:

• Varghese v. China Southern Airlines
• Miller v. United Airlines
• Martinez v. Delta Airlines
• Zicherman v. Korean Air Lines
• Shabazz v. Philadelphia International Airport
• Petersen v. Korean Air Lines

Cuando la defensa de Avianca señaló que no podían encontrar ninguna de estas sentencias, los abogados de Mata intentaron justificarse diciendo que ChatGPT les había asegurado que los casos eran reales. Sin embargo, el juez Kevin Castel del Tribunal de Distrito de los Estados Unidos para el Distrito Sur de Nueva York no aceptó la excusa. El tribunal impuso sanciones a los abogados y a su bufete, citando la Regla Federal de Procedimiento Civil 11, que exige que los abogados certifiquen que sus presentaciones están bien fundamentadas en hechos y leyes. La resolución del juez fue clara: "Un tribunal no puede permitir que la presentación de argumentos legales falsos pase sin consecuencias". Los abogados fueron multados con 5.000 dólares y se les ordenó enviar cartas a los jueces de los casos inventados para informarles de la situación. Este caso no solo puso de manifiesto la capacidad de los LLM para alucinar, sino que también subrayó de forma contundente la responsabilidad profesional ineludible del abogado. La herramienta de IA, por avanzada que sea, no asume la responsabilidad por la veracidad de la información que genera. Esa carga recae, y siempre recaerá, en el profesional que la utiliza.

La responsabilidad profesional ineludible

El caso *Mata v. Avianca* es un faro de advertencia. Te recuerda que, como abogado, pasante o miembro de un equipo jurídico, tu deber de diligencia profesional no se diluye al usar herramientas de IA. Al contrario, se intensifica. La IA es un asistente, una herramienta poderosa, pero no un sustituto de tu juicio, tu ética ni tu obligación de verificar. Tu responsabilidad profesional implica:

• Verificación exhaustiva: Cada dato, cada cita, cada referencia generada por una IA debe ser verificada en fuentes primarias y confiables. Esto es especialmente crítico en el ámbito legal, donde un precedente inexistente o una norma mal citada puede tener consecuencias devastadoras para tus clientes y tu reputación.
• Conocimiento de las limitaciones: Entender que la IA no es infalible y que las alucinaciones son una posibilidad real y frecuente. No asumas que porque algo "suena bien" o se presenta con autoridad, es cierto.
• Supervisión activa: No delegar ciegamente tareas críticas a la IA. Debes mantener una supervisión activa de los resultados y aplicar tu propio criterio profesional en cada etapa del proceso.
• Deber de competencia: Como profesional del derecho, tienes el deber de ser competente. Esto incluye entender las herramientas que utilizas y cómo afectan tu trabajo. Usar IA sin comprender sus riesgos es una forma de incompetencia.
• Transparencia: En algunos contextos, puede ser necesario revelar que has utilizado IA en la preparación de documentos, aunque la responsabilidad final siempre será tuya. Algunos tribunales ya están exigiendo esta divulgación.

En resumen, la IA te ofrece un potencial tremendo para acelerar tu trabajo, pero a cambio, exige una mayor diligencia y un compromiso inquebrantable con la verificación. Tu firma y tu reputación están en juego.

Ejemplo: Desmontando las citas falsas de *Mata v. Avianca*

Para que veas la importancia de la verificación, vamos a simular cómo habrías detectado las alucinaciones en el caso *Mata v. Avianca*. Imaginate que eres uno de los abogados y ChatGPT te ha devuelto las siguientes sentencias como precedentes relevantes:

«...En casos similares, los tribunales han sostenido que las aerolíneas son responsables por lesiones causadas por objetos caídos del compartimento superior (ver Varghese v. China Southern Airlines, 591 F. Supp. 3d 1251 (S.D.N.Y. 2022)). Del mismo modo, la jurisprudencia ha establecido la negligencia en la supervisión de la tripulación (Miller v. United Airlines, 723 F. Supp. 2d 101 (E.D.N.Y. 2010)) y la obligación de asistencia a pasajeros (Martinez v. Delta Airlines, 857 F. Supp. 2d 300 (N.D. Cal. 2012)). Otros casos relevantes incluyen Zicherman v. Korean Air Lines, 656 F. Supp. 2d 200 (S.D.N.Y. 2009), Shabazz v. Philadelphia International Airport, 901 F. Supp. 2d 450 (E.D. Pa. 2013), y Petersen v. Korean Air Lines, 789 F. Supp. 2d 1100 (C.D. Cal. 2011).»

Como abogado diligente, tu primer paso, antes de incluir esto en cualquier escrito, sería verificar cada una de estas citas. 1. Selección de una cita para verificar: Tomemos la primera y más prominente: *Varghese v. China Southern Airlines*, 591 F. Supp. 3d 1251 (S.D.N.Y. 2022). 2. Acceso a una base de datos jurídica: Abrirías tu base de datos jurídica de confianza. Esto podría ser Westlaw, LexisNexis, vLex, o incluso bases de datos públicas como PACER (para casos federales de EE. UU.) o CENDOJ (para España, si estuviéramos buscando precedentes españoles). Para este ejemplo, imaginemos que usas Westlaw. 3. Realización de la búsqueda: * En el campo de búsqueda de casos, introducirías el nombre de la parte: "Varghese v. China Southern Airlines". * También podrías intentar buscar por la referencia de volumen y página: "591 F. Supp. 3d 1251". * O por la fecha: "2022". * Y por el tribunal: "S.D.N.Y." (Southern District of New York). 4. Análisis de los resultados: * Al buscar "Varghese v. China Southern Airlines", la base de datos te mostraría: "No se encontraron resultados para su búsqueda" o, en el mejor de los casos, un caso con un nombre similar pero claramente diferente, o un caso que no es una decisión judicial publicada. * Si buscas "591 F. Supp. 3d 1251", la base de datos te llevaría a una sentencia completamente diferente, con partes distintas y un tema ajeno a tu investigación. El volumen "591 F. Supp. 3d" existe, pero la sentencia específica citada no. 5. Conclusión inmediata: ¡Alerta roja! La sentencia *Varghese v. China Southern Airlines* con esa citación específica no existe. Repetirías este proceso con las otras cinco citas. Descubrirías rápidamente que ninguna de ellas es real. Este ejercicio de verificación, que te tomaría apenas unos minutos por cada cita, te habría salvado de un grave error profesional, una sanción judicial y un daño irreparable a tu reputación. La lección es clara: la IA puede generar texto convincente, pero solo tú puedes garantizar su veracidad.

Errores comunes

La integración de la IA en la práctica legal es prometedora, pero también está llena de trampas para quienes no comprenden sus limitaciones. Aquí te presento algunos errores comunes y cómo evitarlos:

1. Confiar ciegamente en la IA como fuente de autoridad:
   • Error: Asumir que si la IA cita un caso o una ley, es automáticamente válido y correcto.
   • Cómo evitarlo: Considera siempre la IA como una herramienta de apoyo para la investigación, no como una fuente primaria. Toda la información generada debe ser verificada en bases de datos jurídicas oficiales y fuentes primarias.
2. No comprender la naturaleza probabilística de la IA:
   • Error: Pensar que la IA "sabe" o "entiende" los hechos como un ser humano, y que por lo tanto su producción es inherentemente veraz.
   • Cómo evitarlo: Recordá que los LLM son modelos de lenguaje que predicen palabras. Su objetivo es la coherencia lingüística, no la precisión factual. Ajustá tus expectativas y tu metodología de trabajo en consecuencia.
3. Omitir la verificación por ahorro de tiempo:
   • Error: Saltar el paso de verificación manual porque la IA ya te dio una respuesta rápida, creyendo que el tiempo ahorrado justifica el riesgo.
   • Cómo evitarlo: La verificación no es opcional; es una parte integral del proceso. El tiempo que "ahorrás" al no verificar puede costarte mucho más en sanciones, reputación y errores profesionales. Integrá la verificación como un paso obligatorio en tu flujo de trabajo.
4. Usar *prompts* ambiguos o insuficientemente específicos:
   • Error: Hacer preguntas demasiado generales o poco claras a la IA, lo que aumenta la probabilidad de alucinaciones.
   • Cómo evitarlo: Sé lo más preciso posible en tus *prompts*. Especificá el tipo de información que buscás, el rango de fechas, la jurisdicción, etc. Cuanto más claro seas, mejor será la base para la respuesta de la IA.
5. Ignorar las políticas de uso y la ética profesional:
   • Error: Desconocer o no seguir las directrices éticas y las políticas de tu colegio de abogados o de tu firma respecto al uso de IA.
   • Cómo evitarlo: Mantente informado sobre las guías éticas emergentes para el uso de IA en el derecho. Asegúrate de que tu uso de la IA esté alineado con tus deberes de confidencialidad, competencia y diligencia profesional.

Tu tarea

Ahora es tu turno de experimentar de primera mano el fenómeno de las alucinaciones y la necesidad de verificación.

1. Elige un LLM: Puedes usar ChatGPT (versión gratuita o de pago), Gemini, Claude o cualquier otro LLM de tu preferencia.
2. Formula el *prompt*: Pídele al LLM lo siguiente:

   «Dame cinco sentencias del Tribunal Supremo español sobre vicios ocultos en la compraventa de inmuebles posteriores a 2020. Incluye el número de sentencia, fecha y número de recurso.»

3. Analiza los resultados: El LLM te devolverá una lista de sentencias. Observa cómo las presenta y la confianza con la que lo hace.
4. Selecciona una sentencia para verificar: Elige una de las cinco sentencias que te proporcionó el LLM. Intenta seleccionar una que te parezca más plausible a primera vista.
5. Verifica en una base de datos jurídica:
   • Accede a una base de datos jurídica española. Puedes usar el CENDOJ (Centro de Documentación Judicial) del Consejo General del Poder Judicial (es pública y gratuita), o si tenés acceso, Aranzadi, Westlaw o vLex.
   • Usa los datos proporcionados por el LLM (número de sentencia, fecha, número de recurso, o incluso el nombre de las partes si lo incluye) para buscar la sentencia específica.
6. Reporta tus hallazgos:
   • ¿Encontraste la sentencia exactamente como la citó el LLM?
   • ¿Encontraste una sentencia similar, pero con diferencias importantes (fecha, número, contenido)?
   • ¿No encontraste ninguna sentencia que coincidiera con los datos proporcionados?
   • ¿Qué te dice esta experiencia sobre la fiabilidad de la IA para la investigación jurídica?