| Title: | Inkrementální shlukování zpravodajských textů |
| Other Titles: | Incremental news clustering |
| Authors: | Váňa, Martin |
| Advisor: | Steinberger Josef, Doc. Ing. Ph.D. |
| Referee: | Brychcín Tomáš, Ing. Ph.D. |
| Issue Date: | 2018 |
| Publisher: | Západočeská univerzita v Plzni |
| Document type: | diplomová práce |
| URI: | http://hdl.handle.net/11025/31803 |
| Keywords: | inkrementální shlukování;shlukovací metody založené na statistických modelech;nv-measure;gensim;zpracování přirozeného jazyka;strojové učení;distance dependent chinese restaurant process;doc2vec |
| Keywords in different language: | incremental clustering;model-based clustering;nv-measure;gensim;natural language processing;machine learning;distance dependent chinese restaurant process;doc2vec |
| Abstract: | Cílem práce bylo prozkoumat možnosti shlukovacích metod založených na statistických modelech, zejména metodu založenou na Distance Dependent Chinese Restaurant Process (ddCRP), a navrhnout shlukovací systém, který bude schopný udržovat tematické shluky zpravodajských textů, které budou postupně přicházet z crawleru. Metody LDA, LSA a doc2vec byly použity k reprezentaci dokumentu jako číselný vektor fixní délky. Výsledné shluky odhalené proof-of-concept implementací takového systému byly vyhodnoceny zejména pomocí purity, F-measure a V-measure. Dále byla představena evaluační metrika NV-measure vycházející z V-measure, které penalizuje nadměrné či naopak nedostatečné množství shluků. Nejlepších výsledků bylo dosaženo pomocí doc2vec a ddCRP. |
| Abstract in different language: | The goal was to research model-based clustering methods, notably the Distance Dependent Chinese Restaurant Process (ddCRP), and propose an incremental clustering system which would be capable of maintaining the growing number of topic clusters of news articles coming online from a crawler. LDA, LSA, and doc2vec methods were used to represent a document as a fixed-length numeric vector. Cluster assignments given by a proof-of-concept implementation of such a system were evaluated using various metrics, notably purity, F-measure and V-measure. A modification of V-measure -- NV-measure -- was introduced in order to penalize an excessive or insufficient number of clusters. The best results were achieved with doc2vec and ddCRP. |
| Rights: | Plný text práce je přístupný bez omezení. |
| Appears in Collections: | Diplomové práce / Theses (KIV) |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| thesis.pdf | Plný text práce | 2,45 MB | Adobe PDF | View/Open |
| A15N0083Pposudek-op.PDF | Posudek oponenta práce | 877,62 kB | Adobe PDF | View/Open |
| A15N0083Phodnoceni-ved.PDF | Posudek vedoucího práce | 379,56 kB | Adobe PDF | View/Open |
| A15N0083Pobhajoba.PDF | Průběh obhajoby práce | 208,12 kB | Adobe PDF | View/Open |
Please use this identifier to cite or link to this item:
http://hdl.handle.net/11025/31803Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.