Název: | Vícejazyčná sémantická podobnost textů |
Další názvy: | Cross-lingual semantic textual similarity |
Autoři: | Tušl, Michal |
Vedoucí práce/školitel: | Brychcín Tomáš, Ing. Ph.D. |
Oponent: | Pražák Ondřej, Ing. |
Datum vydání: | 2019 |
Nakladatel: | Západočeská univerzita v Plzni |
Typ dokumentu: | diplomová práce |
URI: | http://hdl.handle.net/11025/37428 |
Klíčová slova: | zpracování přirozeného jazyka;vícejazyčná sémantická podobnost textů;sémantika;transformace metodou nejmenších čtverců;kanonická korelační analýza;ortogonální transformace;glove;word2vec;fasttext;paragraph2vec;skip-thoughts;semeval;goranglavas |
Klíčová slova v dalším jazyce: | nlp;cross-lingual semantic textual similarity;sts;semantic;least square transformation;canonical correlation analysis;orthogonal transformation;glove;word2vec;fasttext;paragraph2vec;skip-thoughts;semeval;goranglavas |
Abstrakt: | Tato práce se zabývá metodami strojového učení bez učitele pro měření sémantické podobnosti textů napříč různými jazyky. Pro monolinguální reprezentaci textu bylo natrénováno několik modelů na korpusu z~Wikipedie. Pro vytvoření jazykově nezávislé reprezentace významu jsou monolinguální sémantické prostory transformovány do společného prostoru pomocí lineární transformace. Práce zkoumá lineární transformace za pomocí metody nejmenších čtverců, kanonické korelační analýzy a ortogonální transformace. Kromě standardní transformace na slovech práce představuje dva nové přístupy, a to transformaci na větách a transformaci Paragraph2Vec modelu. Experimenty jsou provedeny na vícejazyčných datasetech SemEval-2017 a GoranGlavas a je měřena Pearsonova a Spearmanova korelace oproti člověku. Zkoumané metody dosahují slibných výsledků na těchto datasetech. |
Abstrakt v dalším jazyce: | This master thesis is focused on unsupervised machine learning methods for cross-lingual semantic textual similarity. For monolingual representation, multiple models were trained on the Wikipedia corpus. For languageindependent representation of meaning, monolingual semantic spaces are transformed into a shared space by the linear transformation. We study several linear transformations including Least Square Transformation, Canonical Correlation Analysis and Orthogonal Transformation methods. Including standard word transformation, the thesis also introduces two new approaches, transformation on sentences and transformation of Paragraph2Vec models. Experiments were examined on cross-lingual datasets SemEval-2017 and GoranGlavas. We measure Pearson and Spearman correlation between our methods and human judgements. Presented methods show very promising results. |
Práva: | Plný text práce je přístupný bez omezení. |
Vyskytuje se v kolekcích: | Diplomové práce / Theses (KIV) |
Soubory připojené k záznamu:
Soubor | Popis | Velikost | Formát | |
---|---|---|---|---|
DP_Tusl_A17N0092P.pdf | Plný text práce | 744,12 kB | Adobe PDF | Zobrazit/otevřít |
A17N0092Phodnoceni-ved.PDF | Posudek vedoucího práce | 466,58 kB | Adobe PDF | Zobrazit/otevřít |
A17N0092Pposudek-op.PDF | Posudek oponenta práce | 553,16 kB | Adobe PDF | Zobrazit/otevřít |
A17N0092Pobhajoba.PDF | Průběh obhajoby práce | 279,37 kB | Adobe PDF | Zobrazit/otevřít |
Použijte tento identifikátor k citaci nebo jako odkaz na tento záznam:
http://hdl.handle.net/11025/37428
Všechny záznamy v DSpace jsou chráněny autorskými právy, všechna práva vyhrazena.