Extracción automática de argumentos en texto legal

Lic. Cristian Cardellino

Lic. Milagro Teruel

¿Quiénes somos?

Grupo de procesamiento de lenguaje natural

FaMAF - Córdoba, Argentina

Motivación

• Formalización de argumentos
• Razonamiento
• Detección de contradicciones
• Comprobación de conformidad automática

Argumentación

Probablemente el sistema de educación pública no es tan malo como algunas personas creen. Algunos dicen que aquellos que son educados en escuelas públicas están menos educados, yo realmente pienso lo contrario. Los estudiantes que estudian en el sector privado pagan una elevada matrícula para hacerlo y creo que a estos estudiantes se les perdonan más cosas. Siempre fui a escuelas públicas y cuando terminé entré en la Universidad.

Modelo de Toulmin [1]

Aserción: declaración que se busca presentar como válida.

Evidencia: datos que soportan la aserción.

Garantía: justificación de una inferencia lógica desde la evidencia a la aserción.

Respaldo: información adicional.

Calificador: límite del alcance en que la aserción es válida.

Reserva: escenario en el cual la aserción podría no ser válida.

Probablemente el sistema de educación pública no es tan malo como algunas personas creen. Algunos dicen que aquellos que son educados en escuelas públicas están menos educados, yo realmente pienso lo contrario. Los estudiantes que estudian en el sector privado pagan una elevada matrícula para hacerlo y creo que a estos estudiantes se les perdonan más cosas. Siempre fui a escuelas públicas y cuando terminé entré en la Universidad.

evidencia aserción reserva respaldo calificador garantía

Ejemplo

Modelo de Habernal y Gurevych [2]

• Sin calificadores ni garantías
• Componentes:
• Aserción
• Evidencia
• Respaldo
• Reserva
• Refutación: ataque a la Reserva

​

Probablemente el sistema de educación pública no es tan malo como algunas personas creen. Algunos dicen que aquellos que son educados en escuelas públicas están menos educados, yo realmente pienso lo contrario. Los estudiantes que estudian en el sector privado pagan una elevada matrícula para hacerlo y creo que a estos estudiantes se les perdonan más cosas. Siempre fui a escuelas públicas y cuando terminé entré en la Universidad.

evidencia aserción reserva respaldo refutación

Ejemplo

Modelo de Stab y Gurevych [3]

• Sin calificadores ni garantías
• Componentes
• Premisas
• Aserciones
• Aserciones principales
• Relaciones entre componentes: ataque o apoyo.

​

Probablemente el sistema de educación pública no es tan malo como algunas personas creen. Algunos dicen que aquellos que son educados en escuelas públicas están menos educados, yo realmente pienso lo contrario. Los estudiantes que estudian en el sector privado pagan una elevada matrícula para hacerlo y creo que a estos estudiantes se les perdonan más cosas. Siempre fui a escuelas públicas y cuando terminé entré en la Universidad.

evidencia aserción aserción principal

Ejemplo

Hay que lograr un balance entre la complejidad del modelo y la confianza en la anotación

​

Minería de argumentos

Aprendizaje automático

¿Para qué usar aprendizaje automático?

• Reconocimiento de oraciones argumentativas
• Clasificación de oraciones en premisas y aserciones
• Extracción de relaciones entre componentes del argumento
• Clasificación de las relaciones entre componentes
• Extracción de relaciones entre argumentos

Método de pipeline [3]

Método end to end [4]

Problemas de aprender argumentaciones

• Representan conceptos semánticos complejos
• Bajo acuerdo entre anotadores humanos
• No hay un único modelo de argumentación.
• Existen dependencias de largo alcance

Aplicación en textos legales

Sentencias de la ECHR

• Anotamos sentencias de la Corte Europea de Derechos Humanos
• Texto estructurado
• Argumentaciones no persuasivas
• Múltiples argumentos en cada documento

Adaptaciones al modelo

• Atributos de componentes:
• Actores de aserciones: el autor de la declaración.
• Tipo de premisa: hechos, jurisprudencia, ley o principio.
• Nuevas relaciones:
• Cita
• Duplicados

Basándonos en el [Artículo 6 de la Convención]_{Ley}, la aplicante se queja de que [el desestimamiento de parte del tribunal laboral sobre su reclamo en contra de su antiguo empleador equivale a una violación a su derecho a la presunción de inocencia]_{{the applicant}}, debido a que [el tribunal laboral declaró que había roto la confianza de su empleador cometiendo el delito de provocación]_{Hecho}.

evidencia aserción

Desafíos de la anotación

• Definición de aserción y premisa
• Oraciones con estilo indirecto
• Aserciones de casos anteriores son premisas
• Granularidad de la anotación
• Cuántos actores incluir, qué es relevante y qué no
• Definición de argumento

Estadísticas de las anotaciones

Acuerdo entre anotadores

Usando tres etiquetas

Acuerdo entre anotadores

Usando tres etiquetas

Fusionando los tipos de aserciones

Algunas conclusiones

• Existen numerosos modelos de argumentación
• La complejidad del modelo condiciona lo que podemos representar, pero simplifica la anotación y la clasificación automática
• No es simple lograr acuerdo en las anotaciones de humanos

Muchas gracias

Referencias

[1] Toulmin, S. E. (2003). The uses of argument. Cambridge university press.

[2] Habernal, I., & Gurevych, I. (2017). Argumentation mining in user-generated web discourse. Computational Linguistics.

[3] Stab, C., & Gurevych, I. (2017). Parsing argumentation structures in persuasive essays. Computational Linguistics.

[4] Eger, S., Daxenberger, J., & Gurevych, I. (2017). Neural End-to-End Learning for Computational Argumentation Mining. arXiv preprint arXiv:1704.06104.