Enriching Word Embeddings with Global Information and Testing on Highly Inflected language

Abstract

In this paper we evaluate our new approach based on the Continuous Bag-of-Words and Skip-gram models enriched with global context information on highly inflected Czech language and compare it with English results. As a source of information we use Wikipedia, where articles are organized in a hierarchy of categories. These categories provide useful topical information about each article. Both models are evaluated on standard word similarity and word analogy datasets. Proposed models outperform other word representation methods when similar size of training data is used. Model provide similar performance especially with methods trained on much larger datasets.

V tomto článku vyhodnocujeme metody založené na principu Skip-gram a CBOW pro extrakci reprezentace významu slov rozšířené o globální informaci, testujeme vylepšené metody na flektivním jazyce a porovnáváme s výsledky na angličtině. Korpus včetně globální informace generujeme z Wikipedie, kde jsou články organizovány hierarchicky dle kategorií. Tyto kategorie poskytují dodatečné a velmi užitečné informace (popis) o každém článku. Oba modely jsou otestovány na standardních korpusech slovních similarit a slovních analogií. Navrhované modely překonávají jiné metody reprezentace slov, zvláště když se používají podobné velikosti tréninkových dat. Nás model dává podobné výsledky s modely trénovanými na mnohem větších souborech dat