Darčekový kupón

PROGRAMOVANIEZačiatočník

Bezpečnosť AI aplikácií v praxi - kde Vibecoding už nestačí

AI aplikáciu postavíte za víkend. Ubrániť ju pred útokom je iná disciplína — a presne tú sa tu naučíte, na vlastnom kóde, nie na slajdoch.

NajnovšieZačiatočník

Certifikát

po dokončení

Podľa OWASP je prompt injection dnes hrozba číslo jeden pre aplikácie postavené na jazykových modeloch a ani RAG, ani fine-tuning ju samy osebe neriešia. Jazykové modely prestávajú len odpovedať na otázky a začínajú konať: posielajú e-maily, volajú API, siahajú na firemné dáta. Táto nová schopnosť je zároveň novou útočnou plochou, ktorú klasické zabezpečenie nepokrýva. Medzitým štartuje EU AI Act. Kto bezpečnosť premyslí už pri návrhu, nerieši ju potom narýchlo po prvom incidente alebo pri audite.

Osnova kurzu

12 modulov

AI Security Landscape: prečo sú AI aplikácie iné

Nedeterministické správanie a prirodzený jazyk ako úplne nová útočná plocha
OWASP Top 10 for LLM Applications 2025 a rozšírenie o multimodálne hrozby
Ekonomika útoku z pohľadu útočníka a rozbor známych incidentov z praxe
MITRE ATLAS ako mapa techník útoku na AI systémy

Laboratórne cvičenie — Dostanete zraniteľnú aplikáciu so zapnutým chatovacím rozhraním. Vašou úlohou je nájsť cestu k utajenému system promptu a zdokumentovať, kade presne útok prešiel.

Threat modeling pre AI systémy

Modelovanie hrozieb metódou STRIDE aplikované na architektúru s jazykovým modelom
LINDDUN na analýzu súkromia a princíp Zero Trust pri AI agentoch
Hranice dôvery, identita a autentifikácia komponentov AI aplikácie

Laboratórne cvičenie — Ku konkrétnemu zadaniu sami zostavíte kompletnú sadu threat-model dokumentov a necháte ich skontrolovať AI asistentom, ktorý vám ukáže medzery vo vašej analýze.

Prompt injection: hrozba číslo jeden

Rozdiel medzi priamou a nepriamou injection vrátane útokov cez obrázok alebo zvuk
Ako dochádza k úniku system promptu a čo sú jailbreaking techniky
Princíp „útočník ťahá druhý" a prečo sa naň musí obrana pripraviť

Laboratórne cvičenie — Skúsite prelomiť tri rôzne obranné mechanizmy, jeden z nich sami posilníte a potom meriate, či útok stále prejde cez obrázok alebo cez text schovaný v dokumente.

Guardrails a runtime bezpečnosť

Princíp vrstvenej obrany a porovnanie hlavných guardrails frameworkov
Multimodálne guardrails a detekcia citlivých osobných údajov cez Presidio
Osobitné nároky na guardrails v regulovaných odboroch (zdravotníctvo, financie)

Laboratórne cvičenie — Do vlastného chatbota zapojíte pravidlá NeMo Guardrails, overíte ich na sade útokov a porovnáte výsledok s alternatívnym frameworkom, skôr než pridáte redakciu osobných údajov.

Bezpečnosť RAG systémov a dátových pipeline

Zabezpečenie celého cyklu RAG, od nahratia dokumentu po finálnu odpoveď
Ako vyzerá otrávenie dát (data poisoning) a ako prerušiť útočný reťazec
Zabezpečenie vektorovej databázy a prístupové práva na úrovni jednotlivých dokumentov

Laboratórne cvičenie — Vytvoríte podvrhnutý dokument so skrytou inštrukciou, necháte ho prejsť vašou RAG pipeline a potom nasadíte kontrolu pri nahrávaní, ktorá podobný pokus nabudúce zachytí.

Bezpečnosť agentných akcií, nástrojov a MCP

Otázka, na ktorú musí odpovedať každý agentný systém: smie toto agent urobiť a s akým oprávnením
Otrávenie nástrojov, parameter injection a autorizácia cez protokol MCP
Schvaľovacie kroky, pevne dané zábrany na akcie, audit a núdzové vypnutie

Laboratórne cvičenie — Prejdete sériou scenárov so stále vyššími oprávneniami, až narazíte na pokus o vynesenie dát, ktorý zastaví bezpečnostné pravidlo nastavené priamo na strane MCP servera.

Agentný runtime: kód, computer use, skills a pamäť

Zabezpečenie agentov, ktorí ovládajú shell, súborový systém, prehliadač alebo sieť
Izolácia prostredia (sandboxing), schvaľovacie kroky a rozšíriteľné zručnosti agenta
Riziká dlhodobej pamäte agenta a jeho postupnej samostatnej premeny v čase

Laboratórne cvičenie — Necháte rovnakého agenta pracovať najprv bez kontrolných bodov a potom s nimi, porovnáte izoláciu prehliadača aj systému a uvidíte presne, kde sa správanie mení.

Red teaming a bezpečnostné testovanie

Čím sa red teaming AI aplikácií líši od tradičného penetračného testovania
Práca s profesionálnymi nástrojmi PyRIT a garak
Použitie jazykového modelu ako hodnotiteľa testov a jeho slepé miesta

Laboratórne cvičenie — Spustíte automatizovaný red team proti vlastnému chatbotu, výsledky necháte posúdiť AI hodnotiteľom a sami odhalíte prípad, keď sa hodnotiteľ pomýlil.

Bezpečnostná evaluácia a CI/CD

Ako premeniť nálezy z red teamingu na opakovateľnú sadu automatizovaných testov
Zapojenie bezpečnostných testov priamo do vývojovej pipeline
Kontinuálne testovanie ako štandardná súčasť release procesu

Laboratórne cvičenie — Z nálezov predchádzajúcej lekcie postavíte testovaciu sadu v promptfoo, napojíte ju na GitHub Actions tak, aby neúspešný test zablokoval nasadenie, a porovnáte prístup s iným nástrojom.

Bezpečnosť AI supply chain a model trust

Mapa celého dodávateľského reťazca: modely, dátové sady, knižnice, prompty, servery MCP
Pôvod modelu, jeho evidencia a pravidlá na uvoľňovanie nových verzií
Štandardy CycloneDX a SPDX na evidenciu AI komponentov (AI SBOM)

Laboratórne cvičenie — Vygenerujete evidenciu komponentov reálnej aplikácie, a keď sa v nej niečo zmení, uvidíte v pull requeste presný rozdiel aj vysvetlenie dopadu od AI asistenta.

Monitoring a reakcia na incidenty

Sledovanie správania agenta v prevádzke pomocou štandardu OpenTelemetry pre GenAI
Nástroj Langfuse a ďalšie možnosti sledovania a ochrany za behu
Napojenie na bezpečnostný dohľad a postup pri reálnom incidente

Laboratórne cvičenie — Necháte aplikáciu vygenerovať prevádzkovú telemetriu, jeden dátový tok rozdelíte na plný interný pohľad a obmedzený pohľad bez citlivého obsahu a porovnáte, čo sa dá v každom z nich vidieť.

Governance, SDLC a záverečný projekt

EU AI Act z pohľadu vývojára a NIST AI Risk Management Framework bez zbytočnej byrokracie
Ako zabezpečenie zapadá do celého životného cyklu vývoja, nie len na koniec
Capstone: referenčná architektúra vlastného secure AI stacku ako trvalý blueprint

Záverečný projekt — Odovzdávate kompletné bezpečnostné posúdenie vlastnej aplikácie: threat model, nastavené guardrails, výsledky testov z CI/CD, monitoring aj architektonický diagram všetkých siedmich vrstiev.

Čo sa naučíš

Rozpoznať, prečo sú útoky na jazykové modely inou disciplínou než klasické zabezpečenie kódu

Namodelovať hrozby AI systému metódou STRIDE a LINDDUN skôr, než padne prvý riadok kódu

Postaviť vrstvenú obranu proti prompt injection vrátane útokov schovaných v obrázku alebo zvuku

Nastaviť guardrails a detekciu osobných údajov tak, aby fungovali aj v regulovanom prostredí

Ošetriť RAG pipeline aj AI agentov s nástrojmi podľa protokolu MCP proti zneužitiu oprávnení

Vykonať profesionálny red teaming a rozpoznať, kedy sa AI hodnotiteľ výsledkov sám mýli

Zabudovať bezpečnostné testy priamo do CI/CD, aby slabé miesto neprešlo do produkcie

Zaviesť prevádzkový monitoring a pripraviť dokumentáciu, s ktorou obstojíte pri AI Acte aj internom audite

Pre koho je kurz

Staviate vlastnú aplikáciu s jazykovým modelom a chcete ju vedieť brániť, nie len napísať

Napájate AI agentov na firemné dáta a potrebujete istotu, že cez ne nič neunikne

Navrhujete architektúru systémov a potrebujete hotovú referenciu, z ktorej môžete vychádzať

Robíte penetračné testy a chcete pridať AI systémy do svojho repertoáru útokov

Staviate nasadzovaciu pipeline a chcete do nej zapojiť bezpečnostné testy AI komponentov

Zodpovedáte za súlad s reguláciami (AI Act, NIST AI RMF, ISO/IEC 42001) vo vašej firme

Časté otázky

Akú úroveň skúseností s programovaním potrebujem?

Prax s vývojom softvéru a orientáciu v Pythone a Gite, budete čítať a upravovať existujúci kód. Nepotrebujete skúsenosť s bezpečnosťou ani s AI nad rámec základnej práce s modelmi.

Potrebujem vlastnú AI aplikáciu, na ktorej budem pracovať?

Nie, na laboratórnych cvičeniach pracujete na pripravených zraniteľných aplikáciách. Na záverečný capstone projekt si však prinesiete vlastnú aplikáciu alebo si spoločne vyberieme vhodný modelový projekt.

Aké prostredie a prístupy budem potrebovať?

Vlastný notebook s nainštalovaným Pythonom a Gitom. Prístupy k nástrojom a účty, ktoré laboratórne cvičenia vyžadujú, nastavíme spoločne hneď na prvej lekcii.

Za akých podmienok dostanem certifikát?

Potrebujete aspoň 70 % účasť na živých lekciách (dá sa dohnať zo záznamu) a odovzdaný aj obhájený capstone projekt na poslednej lekcii.

Stihnem akadémiu aj popri plnom pracovnom úväzku?

Áno, akadémia je na to stavaná (lekcie po práci), ale okrem lekcií počítajte aj s časom na laboratórne cvičenia a na prípravu capstone projektu, rádovo 3 až 5 hodín týždenne navyše.

Naučím sa v akadémii aj ofenzívnu bezpečnosť všeobecne, mimo AI?

Nie, akadémia je zameraná čisto na bezpečnosť aplikácií s jazykovými modelmi a AI agentmi. Klasické penetračné testovanie webových aplikácií sem nepatrí, hoci princípy threat modelingu sú prenosné.

Bude akadémia aktuálna aj po skončení nástrojov, ktoré dnes používate?

Konkrétne nástroje (PyRIT, garak, promptfoo) sa môžu časom meniť, ale princípy vrstvenej obrany a threat modelingu, ktoré v akadémii postavíte, zostávajú platné aj pri prechode na iný nástroj.

Môžem akadémiu uplatniť ako firemné vzdelávanie?

Áno. Cenu je možné rozdeliť na tri splátky bez navýšenia a akadémiu je možné objednať na firemnú faktúru, celú alebo jej časť.