| Title: | Popis obrázků pomocí metod hlubokého učení |
| Other Titles: | Image captioning using deep learning |
| Authors: | Železný, Tomáš |
| Advisor: | Hrúz Marek, Ing. Ph.D. |
| Referee: | Vyskočil Jiří, Ing. |
| Issue Date: | 2022 |
| Publisher: | Západočeská univerzita v Plzni |
| Document type: | diplomová práce |
| URI: | http://hdl.handle.net/11025/49563 |
| Keywords: | popis obrázků;hluboké učení;počítačové vidění;strojové učení;detekce objektů |
| Keywords in different language: | image captioning;deep learning;computer vision;machine learning;object detection |
| Abstract: | V této práci se zabývám technikou automatického popisu obrázků, založenou na existující metodě Oscar. Pomocí detekční sítě Faster-R-CNN vhodně předzpracovávám obrázky tak, aby mohly být dále použity metodou Oscar. Spojením těchto dvou metod vytvářím systém, který umožňuje vygenerování popisku pro libovolný obrázek. Tento systém je poté vyhodnocen na metrikách BLEU-4: 0.312, METEOR: 0.272, CIDEr: 1.02, a SPICE: 0.201, což je pokles oproti původním. V práci se tak dále zabývám důvody, které k tomu vedly. V rámci ablační studie se věnuji zkoumání závislosti jednotlivých modalit metody Oscar. Výsledky experimentu naznačují že Oscar je závislý na obou modalitách, vizuální modalita převažuje. V závěru práce diskutuji různé případy chování mého popisovacího systému, kdy měl generovat popisky k obrázkům s pro něj neznámými objekty. |
| Abstract in different language: | In this work, I discuss an automatic image captioning technique based on an existing method Oscar. Using a Faster-R-CNN detection network, I pre-process the images so that they can be further used by Oscar. By combining these two methods, I create a pipeline that allows me to generate a caption for any image. I evaluate its performance using metrics BLEU-4: 0.312, METEOR: 0.272, CIDEr: 1.02, and SPICE: 0.201, which is a drop from the original performance. Thus, I further discuss the causes in this work. Within the ablation study, I investigate the impact of individual modalities of Oscar. The results of the experiment suggest that Oscar is dependent on both modalities, with the visual modality. In the end, I discuss the interesting cases of the behavior when the pipeline is supposed to generate captions for images with objects unknown to it. |
| Rights: | Plný text práce je přístupný bez omezení |
| Appears in Collections: | Diplomové práce / Theses (KKY) |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| DP_Zelezny.pdf | Plný text práce | 33,63 MB | Adobe PDF | View/Open |
| Zelezny_V.pdf | Posudek vedoucího práce | 456,3 kB | Adobe PDF | View/Open |
| Zelezny_O.pdf | Posudek oponenta práce | 471,39 kB | Adobe PDF | View/Open |
| Zelezny_P.pdf | Průběh obhajoby práce | 200,33 kB | Adobe PDF | View/Open |
Please use this identifier to cite or link to this item:
http://hdl.handle.net/11025/49563Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.