Paper für ICAIL 2023 akzeptiert

 · 
Ein Hammer wird auf einen Holztisch geschlagen. Es ist ein Hammer, wie ihn Richter z.B. in den USA verwenden.

Das ZRD wird bei der diesjährigen ICAIL-Konferenz in Braga/Portugal mit einem Vortrag über das ROUGE-Verfahren vertreten sein.

Unser Paper namens „On evaluating legal summaries with ROUGE“ wurde als Vortrag für die diesjährige International Conference on Artificial Intelligence and Law (ICAIL) in Braga, Portugal akzeptiert. Verfasst wurde es von den wissenschaftlichen Mitarbeitern Bianca Steffes, Piotr Rataj, Luise Burger und Lukas Roth.

Inhaltlich befasst sich das Paper mit einem Verfahren namens ROUGE, das bewertet, wie gut ein Algorithmus Gerichtsurteile zusammenfassen kann. Anhand von Leitsätzen und Pressemitteilungen des Bundesgerichtshofs konnten unsere Wissenschaftler belegen, dass sich ROUGE nur bedingt für diese Bewertung eignet.

 

Abstract:

ROUGE is the most commonly used measure for evaluating summarization algorithms in practice. However, it is questionable whether ROUGE scores adequately reflect the quality of summaries in terms of content. We introduce a metric to measure (legal) content of summaries based on exhaustiveness and concreteness and compare ROUGE scores with values generated by legal experts according to our metric on two tasks. Our results show that ROUGE does not reliably gauge legal content and thus should not be used as a single indicator for the quality of summarization algorithms. For our particular use case we furthermore show one way to increase the reliability of ROUGE by pre-selecting sentences.

 

Alle Infos zur ICAIL-Konferenz finden Sie unter ICAIL 2023 (uminho.pt).

Zurück