| Název: | Evaluating Attribution Methods for Explainable NLP with Transformers |
| Další názvy: | Evaluace atribučních metod v objasti vysvětlitelného zpracování přirozeného jazyka S využitím architektury Transformer |
| Autoři: | Bartička, Vojtěch Pražák, Ondřej Konopík, Miloslav Sido, Jakub |
| Citace zdrojového dokumentu: | BARTIČKA, V. PRAŽÁK, O. KONOPÍK, M. SIDO, J. Evaluating Attribution Methods for Explainable NLP with Transformers. In 25th International Conference, TSD 2022, Brno, Czech Republic, September 6–9, 2022, Proceedings. Cham: Springer, 2022. s. 1-12. ISBN: 978-3-031-16269-5 , ISSN: 0302-9743 |
| Datum vydání: | 2022 |
| Nakladatel: | Springer |
| Typ dokumentu: | konferenční příspěvek ConferenceObject |
| URI: | 2-s2.0-85139007649 http://hdl.handle.net/11025/50441 |
| ISBN: | 978-3-031-16269-5 |
| ISSN: | 0302-9743 |
| Klíčová slova: | Vysvětlitelná umělá inteligence, atribuční metody, transformer, klasifikace dokumentů. |
| Klíčová slova v dalším jazyce: | Explainable AI, attribution methods, transformers, document classification. |
| Abstrakt: | Tento článek popisuje evaluaci několika atribučních metod na dvou úlohách NLP: Analýza sentimentu a klasifikace dokumentů s více značkami. Našim cílem je najít nejlepší metodu, kterou lze s Transformers použít k interpretaci rozhodnutí natrénovaného modelu. Vytvořili jsme dvě nové datové sady. První je odvozena ze Stanford Sentiment Treebank, kde je sentiment jednotlivých slov anotován spolu s sentimentem celé věty. Druhý datový soubor pochází z Czech Text Document Corpus, kam jsme přidali informace o klíčových slovech přiřazených ke každé kategorii. Klíčová slova byla ručně přiřazena ke každému dokumentu a automaticky přiřazena ke kategoriím prostřednictvím PMI. Každou atribuční metodu hodnotíme na několika modelech různých velikostí. Výsledky hodnocení jsou konzistentní napříč všemi modely a oběma datovými soubory. To znamená, že oba soubory dat s navrženými vyhodnocovacími metrikami jsou vhodné pro evaluaci vysvětlitelnosti modelů. Ukazujeme, jak se atribuční metody chovají s ohledem na velikost modelu a úlohu. Zvažujeme také praktické aplikace -- ukazujeme, že i když některé metody fungují velice dobře, lze je nahradit o něco hůře fungujícími metodami, které ale potřebují výrazně méně času. |
| Abstrakt v dalším jazyce: | This paper describes the experimental evaluation of several attribution methods on two NLP tasks: Sentiment analysis and multi-label document classification. Our motivation is to find the best method to use with Transformers to interpret model decisions. For this purpose, we introduce two new evaluation datasets. The first one is derived from Stanford Sentiment Treebank, where the sentiment of individual words is annotated along with the sentiment of the whole sentence. The second dataset comes from Czech Text Document Corpus, where we added keyword information assigned to each category. The keywords were manually assigned to each document and automatically propagated to categories via PMI. We evaluate each attribution method on several models of different sizes. The evaluation results are reasonably consistent across all models and both datasets. It indicates that both datasets with proposed evaluation metrics are suitable for interpretability evaluation. We show how the attribution methods behave concerning model size and task. We also consider practical applications -- we show that while some methods perform well, they can be replaced with slightly worse-performing methods requiring significantly less time to compute. |
| Práva: | Plný text je přístupný v rámci univerzity přihlášeným uživatelům. © Springer |
| Vyskytuje se v kolekcích: | Konferenční příspěvky / Conference papers (NTIS) Konferenční příspěvky / Conference Papers (KIV) OBD |
Soubory připojené k záznamu:
| Soubor | Velikost | Formát | |
|---|---|---|---|
| Pražák a kol.1097.pdf | 79,68 kB | Adobe PDF | Zobrazit/otevřít Vyžádat kopii |
Použijte tento identifikátor k citaci nebo jako odkaz na tento záznam:
http://hdl.handle.net/11025/50441Všechny záznamy v DSpace jsou chráněny autorskými právy, všechna práva vyhrazena.