| Název: | Are the Multilingual Models Better? Improving Czech Sentiment with Transformers |
| Další názvy: | Jsou vícejazyčné modely lepší? Vylepšení českého sentimentu pomocí architketury Transformers |
| Autoři: | Přibáň, Pavel Steinberger, Josef |
| Citace zdrojového dokumentu: | PŘIBÁŇ, P. STEINBERGER, J. Are the Multilingual Models Better? Improving Czech Sentiment with Transformers. In Deep Learning for Natural Language Processing Methods and Applications. Shoumen: INCOMA Ltd., 2021. s. 1138-1149. ISBN: 978-954-452-072-4 , ISSN: 1313-8502 |
| Datum vydání: | 2021 |
| Nakladatel: | INCOMA Ltd. |
| Typ dokumentu: | konferenční příspěvek ConferenceObject |
| URI: | 2-s2.0-85123600594 http://hdl.handle.net/11025/47188 |
| ISBN: | 978-954-452-072-4 |
| ISSN: | 1313-8502 |
| Klíčová slova: | Analýza českého sentiment;architektura Transformer;vícejazyčnost |
| Klíčová slova v dalším jazyce: | Czech sentiment analysis;Transformers;multilinguality |
| Abstrakt: | V tomto článku se zaměřujeme na zlepšení českého sentimentu pomocí modelů založených na architektuře Transformer a jejich vícejazyčných verzí. Řešíme úlohu detekce polarity pro češtinu na třech českých datových sadách. Trénujeme a provádíme experimenty s pěti vícejazyčnými a třemi monolinguálními modely. Porovnáváme výkonnost monolinguálních a vícejazyčných modelů, včetně srovnání se starším přístupem založeným na rekurentních neuronových sítích. Dále testujeme vícejazyčné modely a jejich schopnost přenášet znalost z angličtiny do češtiny (a naopak). Naše experimenty ukazují, že obrovské vícejazyčné modely mohou překonat výkonnost monolinguálních modelů. Jsou také schopny detekovat polaritu v jiném jazyce bez trénovacích dat, přičemž jejich výkon není horší než 4,4 % ve srovnání s nejlepšími monolinguálními modely. Navíc jsme dosáhli nových state-of-the-art výsledků na všech třech datových sadách. |
| Abstrakt v dalším jazyce: | In this paper, we aim at improving Czech sentiment with transformer-based models and their multilingual versions. More concretely, we study the task of polarity detection for the Czech language on three sentiment polarity datasets. We fine-tune and perform experiments with five multilingual and three monolingual models. We compare the monolingual and multilingual models' performance, including comparison with the older approach based on recurrent neural networks. Furthermore, we test the multilingual models and their ability to transfer knowledge from English to Czech (and vice versa) with zero-shot cross-lingual classification. Our experiments show that the huge multilingual models can overcome the performance of the monolingual models. They are also able to detect polarity in another language without any training data, with performance not worse than 4.4 % compared to state-of-the-art monolingual trained models. Moreover, we achieved new state-of-the-art results on all three datasets. |
| Práva: | © Incoma Ltd. |
| Vyskytuje se v kolekcích: | Konferenční příspěvky / Conference Papers (KIV) OBD |
Soubory připojené k záznamu:
| Soubor | Velikost | Formát | |
|---|---|---|---|
| Přibáň-RANLP-2021-Are-the-crosslingual.pdf | 502,67 kB | Adobe PDF | Zobrazit/otevřít |
Použijte tento identifikátor k citaci nebo jako odkaz na tento záznam:
http://hdl.handle.net/11025/47188Všechny záznamy v DSpace jsou chráněny autorskými právy, všechna práva vyhrazena.