| Název: | On the Improvement of the Isolation Forest Algorithm for Outlier Detection with Streaming Data |
| Další názvy: | Zlepšení algoritmu izolovaného lesa pro detekci anomálií v průběžně přicházejících datech |
| Autoři: | Heigl, Michael Anand, Kumar Ashutosh Urmann, Andreas Fiala, Dalibor Schramm, Martin Hable, Robert |
| Citace zdrojového dokumentu: | HEIGL, M., ANAND, KA., URMANN, A., FIALA, D., SCHRAMM, M., HABLE, R. On the Improvement of the Isolation Forest Algorithm for Outlier Detection with Streaming Data. Electronics, 2021, roč. 10, č. 13. ISSN 2079-9292. |
| Datum vydání: | 2021 |
| Nakladatel: | MDPI |
| Typ dokumentu: | článek article |
| URI: | 2-s2.0-85108447095 http://hdl.handle.net/11025/44966 |
| ISSN: | 2079-9292 |
| Klíčová slova: | detekce vniknutí;detekce anomálií;průběžně přicházející data;síťová bezpečnos;online učení;učení bez učitele;strojové učení |
| Klíčová slova v dalším jazyce: | intrusion detection;outlier detection;streaming data;network security;online learning;unsupervised learning;machine learning |
| Abstrakt: | V posledních letech se detekce anomálií v počítačových sítích reálného světa stala stále obtížnější kvůli trvalému nárůstu vysoce objemných, rychlých a dimenzionálních průběžně přicházejících dat, pro která nejsou k dispozici obecně uznané a pravdivé informace o anomalitě. Účinná detekční schémata pro vestavěná síťová zařízení musejí být rychlá a paměťově nenáročná a musejí být schopna se potýkat se změnami konceptu, když se vyskytnou. Pro online detekci anomálií bez učitele byly navrženy různé přístupy, které za těchto podmínek spolehlivě identifikují zlovolnou aktivitu. V tomto příspěvku představujeme nový aplikační rámec nazvaný PCB-iForest, jenž je obecně schopen využít jakoukoliv online metodu pro detekci extrémních hodnot založenou na množinách dat tak, aby fungovala na průběžně přicházejících datech. Pečlivě zformulované požadavky srovnáváme s nejpopulárnějšími stávajícími uznávanými online metodami se zvláštním zřetelem na varianty široce přijímaného algoritmu izolovaného lesa a ukazujeme při tom, že dosud neexistovalo flexibilní a výkonné řešení, které přináší až algoritmus PCB-iForest. Proto do tohoto algoritmu integrujeme dvě varianty – zlepšení izolovaného lesa, jež se nazývá rozšířený izolovaný les, a klasickou variantu izolovaného lesa vybavenou funkcionalitou k ohodnocení vlastností podle jejich přispění k anomalitě datového vzorku. Provádíme rozsáhlé experimenty na 23 multidisciplinárních datových sadách týkajících se bezpečnostní problematiky reálného světa za účelem podrobného srovnání naší implementace s již existujícími metodami. Diskuse našich výsledků zahrnující indikátory AUC, F1 a průměrnou dobu zpracování ukazuje, že PCB-iForest jasně překonává už zavedené konkurenční metody v 61 % případů a dokonce dosahuje ještě slibnějších výsledků co do vyváženosti mezi výpočetními náklady na klasifikaci a její úspěšností. |
| Abstrakt v dalším jazyce: | In recent years, detecting anomalies in real-world computer networks has become a more and more challenging task due to the steady increase of high-volume, high-speed and high-dimensional streaming data, for which ground truth information is not available. Efficient detection schemes applied on networked embedded devices need to be fast and memory-constrained and must be capable of dealing with concept drifts when they occur. Different approaches for unsupervised online outlier detection have been designed to deal with these circumstances in order to reliably detect malicious activity. In this paper, we introduce a novel framework called PCB-iForest, which generalized, is able to incorporate any ensemble-based online OD method to function on streaming data. Carefully engineered requirements are compared to the most popular state-of-the-art online methods with an in-depth focus on variants based on the widely accepted isolation forest algorithm, thereby highlighting the lack of a flexible and efficient solution which is satisfied by PCB-iForest. Therefore, we integrate two variants into PCB-iForest—an isolation forest improvement called extended isolation forest and a classic isolation forest variant equipped with the functionality to score features according to their contributions to a sample’s anomalousness. Extensive experiments were performed on 23 different multi-disciplinary and security-related real-world datasets in order to comprehensively evaluate the performance of our implementation compared with off-the-shelf methods. The discussion of results, including AUC, F1 score and averaged execution time metric, shows that PCB-iForest clearly outperformed the state-of-the-art competitors in 61% of cases and even achieved more promising results in terms of the tradeoff between classification and computational costs. |
| Práva: | © MDPI |
| Vyskytuje se v kolekcích: | Články / Articles (NTIS) Články / Articles (KIV) OBD |
Soubory připojené k záznamu:
| Soubor | Velikost | Formát | |
|---|---|---|---|
| Heigl, Fiala (2021).pdf | 954,85 kB | Adobe PDF | Zobrazit/otevřít |
Použijte tento identifikátor k citaci nebo jako odkaz na tento záznam:
http://hdl.handle.net/11025/44966Všechny záznamy v DSpace jsou chráněny autorskými právy, všechna práva vyhrazena.