Full metadata record
DC poleHodnotaJazyk
dc.contributor.advisorPražák Ondřej, Ing.
dc.contributor.authorBartička, Vojtěch
dc.contributor.refereeBaloun Josef, Ing.
dc.date.accepted2023-6-19
dc.date.accessioned2023-08-02T10:47:22Z-
dc.date.available2022-9-9
dc.date.available2023-08-02T10:47:22Z-
dc.date.issued2023
dc.date.submitted2023-5-18
dc.identifier93451
dc.identifier.urihttp://hdl.handle.net/11025/53734-
dc.description.abstractTato práce zkoumá atrubuční metody aplikovatelné na Transformer modely pomocí datových sad SST a CTDC. Do datové sady CTDC přidáváme anotace založené na klíčových slovech a bodové vzájemné informaci, čímž umožňujeme evaluaci atribučních metod na české datové sadě. Používáme sedm modelů různých velikostí a architektur, každý s pěti instancemi, což nám umožňuje měřit vliv náhodné inicializace a velikosti modelu. Používáme také destilovaný vícejazyčný model na datové sadě CTDC a ukazujeme, že se rozhoduje racionálně i při použití s jazykem méně frekventovaným v předtrénování. Testujeme atribuční metody s různými referenčními vstupy a počty vzorků, což poskytuje cenné poznatky pro praktické aplikace. Ukazujeme, že přeučení negativně ovlivňuje atribuční metody využívající gradient, zatímco u metody KernelSHAP, která gradient nevyužívá, dochází k velmi malému zhoršení.cs
dc.format73 s.
dc.language.isocs
dc.publisherZápadočeská univerzita v Plzni
dc.rightsPlný text práce je přístupný bez omezení
dc.subjectvysvětlitelná umělá inteligencecs
dc.subjecttransformercs
dc.subjectneuronové sítěcs
dc.subjectstrojové učenícs
dc.subjectzpracování přirozeného jazykacs
dc.subjectatribuční metodycs
dc.titleAtribuční metody pro Transformer modelycs
dc.title.alternativeAttribution methods for explaining Transformersen
dc.typediplomová práce
dc.thesis.degree-nameIng.
dc.thesis.degree-levelNavazující
dc.thesis.degree-grantorZápadočeská univerzita v Plzni. Fakulta aplikovaných věd
dc.thesis.degree-programInženýrská informatika
dc.description.resultObhájeno
dc.description.abstract-translatedIn this thesis, we evaluate multiple attribution methods applicable to Transformer models using the SST and CTDC datasets. We extend the CTDC dataset by adding ground-truth annotations based on keywords and pointwise mutual information, creating a ground-truth evaluation benchmark for the Czech language. We fine-tune seven models of various sizes and architectures with five instances each, allowing us to measure the effect of random initialization and model size. We also evaluate a distilled multilingual model on the CTDC dataset, showing that it makes rational decisions even when used with a language less represented in the pre-training process. We test attribution methods with different baseline references and sample counts, providing valuable insight for practical applications. We show that overfitting negatively affects gradient-based attribution methods, while KernelSHAP sees little performance degradation.en
dc.subject.translatedexplainable aien
dc.subject.translatedtransformeren
dc.subject.translatedneural networksen
dc.subject.translatedmachine learningen
dc.subject.translatednatural language processingen
dc.subject.translatedattribution methodsen
Vyskytuje se v kolekcích:Diplomové práce / Theses (KIV)

Soubory připojené k záznamu:
Soubor Popis VelikostFormát 
prace.pdfPlný text práce2,05 MBAdobe PDFZobrazit/otevřít
A21N0038Pposudek-op.pdfPosudek oponenta práce107,04 kBAdobe PDFZobrazit/otevřít
A21N0038Phodnoceni-ved.pdfPosudek vedoucího práce232,37 kBAdobe PDFZobrazit/otevřít
A21N0038Pobhajoba.pdfPrůběh obhajoby práce522,62 kBAdobe PDFZobrazit/otevřít
A21N0038P-zadani_DP.pdfVŠKP - příloha14,24 kBAdobe PDFZobrazit/otevřít  Vyžádat kopii
A21N0038P_prilohy_1.zipVŠKP - příloha179,84 MBZIPZobrazit/otevřít  Vyžádat kopii
A21N0038P_prilohy_3.zipVŠKP - příloha1,08 GBZIPZobrazit/otevřít  Vyžádat kopii
A21N0038P_prilohy_2.zipVŠKP - příloha1,5 GBZIPZobrazit/otevřít  Vyžádat kopii
Zobrazit minimální záznam Zobrazit statistiky


Použijte tento identifikátor k citaci nebo jako odkaz na tento záznam: http://hdl.handle.net/11025/53734

Všechny záznamy v DSpace jsou chráněny autorskými právy, všechna práva vyhrazena.

hledání
navigace
  1. DSpace at University of West Bohemia
  2. Vysokoškolské kvalifikační práce / Theses
  3. Fakulta aplikovaných věd / Faculty of Applied Sciences
  4. Katedra informatiky a výpočetní techniky / Department of Computer Science and Engineering
  5. Diplomové práce / Theses (KIV)