Prečo firmy chcú AI on-premise — a kedy je cloud v poriadku
Výrobné dáta, zmluvy či zdravotné záznamy nesmú opustiť firmu. Ako dnes vyzerá plnohodnotná AI na vlastnom hardvéri, čo obsahuje a čo hovorí GDPR.
Najčastejšia námietka, ktorú pri AI projektoch počúvame, nie je „nefunguje to”. Je to: „naše dáta nesmú von.”
Je obava o firemné dáta v AI oprávnená?
Áno — výrobné parametre sú konkurenčná výhoda, zmluvy podliehajú mlčanlivosti a zdravotné záznamy chráni zákon, takže poslanie interných dát do cloudovej AI služby je pre mnohé firmy právne, zmluvne alebo strategicky neprijateľné. Dobrá správa je, že dnes už nemusíte vyberať medzi AI a kontrolou nad dátami — AI môže bežať priamo u vás, bez pripojenia von.
Dobrá správa: dnes už nemusíte vyberať medzi AI a kontrolou nad dátami. Otázka „dáta nesmú von” mala pred pár rokmi len jednu odpoveď — potom teda žiadna AI. Dnes má druhú: AI, ktorá von jednoducho nemá kade ísť, lebo beží u vás.
Čo dnes zvládne AI na vlastnom hardvéri?
Otvorené modely (Qwen, Llama, Mistral a ďalšie) dnes zvládnu firemné use-casy — vyhľadávanie v dokumentoch, diagnostiku, automatizáciu, agentov s nástrojmi — porovnateľne s komerčnými cloudovými modelmi a bežia na hardvéri veľkosti stolného počítača, napríklad na jednom zariadení triedy NVIDIA DGX Spark. Dáta pritom fyzicky neopustia budovu.
Konkrétny príklad z našej praxe: kompletný AI agent pre prediktívnu údržbu — jazykový model, vektorová databáza so servisnými manuálmi, detekcia anomálií zo senzorov — beží na jednom zariadení triedy NVIDIA DGX Spark, bez internetu.
Rovnaký princíp platí aj mimo výroby. Právna kancelária môže mať AI, ktorá prehľadáva zmluvy a judikatúru bez toho, aby čo i len jeden dokument opustil interný systém. Zdravotnícke zariadenie môže mať asistenta nad zdravotnou dokumentáciou, ktorý beží v tej istej sieti ako nemocničný informačný systém. Rozdiel oproti cloudovej AI nie je v tom, čo systém vie — je v tom, kde fyzicky beží výpočet a kde ležia dáta, z ktorých sa učí odpovedať.
Z čoho sa on-premise AI stack vlastne skladá?
On-premise AI stack tvoria tri komponenty, ktoré spolu fungujú ako jeden systém: jazykový model (LLM server), ktorý rozumie textu a volá nástroje, vektorová databáza, ktorá ukladá dokumenty podľa významu, a embedding model, ktorý tieto významové „odtlačky” vytvára. Všetky tri bežia lokálne, na jednom zariadení, offline.
Pod pojmom „AI na vlastnom hardvéri” sa skrývajú tri veci:
- Jazykový model (LLM server) — softvér, ktorý rozumie textu, odpovedá a vie volať nástroje (napríklad „over stav skladu” alebo „vyhľadaj v manuáli”). Beží lokálne ako služba, na ktorú sa pýta zvyšok systému — podobne ako databáza, len namiesto tabuliek vracia odpovede.
- Vektorová databáza — ukladá dokumenty (manuály, smernice, technické listy) nie ako text na fulltextové hľadanie, ale ako číselné „odtlačky” významu. Vďaka tomu agent nájde relevantnú pasáž aj vtedy, keď sa otázka nezhoduje slovo za slovom s textom v manuáli.
- Embedding model — malý model, ktorý tie „odtlačky” vytvára. Prevádza vetu na čísla tak, aby si podobné vety (aj v inej formulácii) boli číselne blízko. Bez neho by vektorová databáza nemala čo ukladať.
Analogicky: LLM je knihovník, ktorý vie rozprávať a odpovedať. Vektorová databáza je knižnica zoradená podľa významu, nie podľa abecedy. Embedding model je systém, ktorý knihy do tejto knižnice zaraďuje.
Aký hardvér potrebujete na on-premise AI?
Na bežný firemný scenár (jeden agent, desiatky dopytov denne) stačí jedno zariadenie triedy NVIDIA DGX Spark — s 128 GB zdieľanej pamäte, veľkosťou stolného počítača a cenou rádovo v jednotkách tisíc dolárov, teda bez nutnosti klimatizovanej serverovne či dedikovaného IT tímu. Pri desiatkach súbežných používateľov rozpočet rastie, ale zostáva rádovo nižší než pri tradičnej enterprise infraštruktúre.
Predstava „AI na vlastnom hardvéri” sa v hlavách často spája s klimatizovanou serverovňou, rackami plnými GPU kariet a IT tímom na plný úväzok. Táto predstava už neplatí.
Zariadenia triedy NVIDIA DGX Spark majú výkon porovnateľný s malým GPU serverom, no zmestia sa pod stôl — netreba k nim samostatnú chladiacu miestnosť ani dedikovaný napájací okruh.
To neznamená, že hardvér je zadarmo alebo že jedno zariadenie zvládne akúkoľvek záťaž — pri desiatkach súbežných používateľov alebo väčších modeloch treba počítať s vyšším rozpočtom. Ale vstupná bariéra, ktorá kedysi znamenala „server room alebo nič”, dnes znamená jedno zariadenie v kancelárii.
Ak firma plánuje AI nasadiť naprieč viacerými oddeleniami s desiatkami súbežných používateľov, rozpočet na hardvér rastie, ale stále ide o rádovo nižšie čísla než pri tradičnej enterprise infraštruktúre spred pár rokov, kedy podobný výkon vyžadoval samostatný server s viacerými GPU kartami za desaťtisíce eur a vlastnú serverovňu s chladením.
Pomáha on-premise AI so splnením GDPR a EU AI Act?
Čiastočne — on-premise nasadenie samo osebe nezaručí súlad s reguláciou, ale výrazne zjednodušuje odpovede pri audite. Pri GDPR odpadá potreba riešiť zmluvy o spracúvaní údajov s cloudovým poskytovateľom, keďže dáta neopúšťajú firemnú sieť. EU AI Act naďalej vyžaduje transparentnosť a dokumentáciu, no tú je ľahšie splniť, keď viete presne, aké dáta model vidí a kto k nemu pristupuje.
Pri GDPR je kľúčová otázka „kde dáta sú a kto k nim má prístup” — odpadá tiež potreba overovať subdodávateľov poskytovateľa alebo dokazovať, že prenos dát mimo EÚ je v poriadku. Dáta ostávajú tam, kde ste ich mali doteraz.
EU AI Act pristupuje k AI systémom podľa rizika, ktoré predstavujú — čím vyššie riziko, tým viac povinností okolo transparentnosti, dokumentácie a dohľadu. On-premise nasadenie vás z týchto povinností nevyníma, ale robí ich jednoduchšie splniť: viete presne, aké dáta model vidí, kto k systému pristupuje a ako dlho sa dáta uchovávajú, pretože celý tok dát je pod vašou strechou a nie rozložený medzi vás a tretiu stranu.
Pri audite alebo kontrole tak namiesto vysvetľovania zmluvného reťazca s tretími stranami jednoducho ukážete, kde systém fyzicky beží.
Cloud, on-premise, alebo hybrid — čo si vybrať?
Voľba závisí od toho, kde ležia vaše dáta a aká je ich citlivosť: cloud sa oplatí pre verejné dáta a rýchly štart, on-premise pre výrobu, zdravotníctvo či právo s citlivými dátami pod plnou kontrolou a hybrid tam, kde je časť dát citlivá a časť nie. Nasledujúca tabuľka porovnáva náklady, výkon aj compliance naprieč všetkými tromi.
| Cloud AI | On-premise AI | Hybrid | |
|---|---|---|---|
| Dáta | u poskytovateľa | vo vašej budove | citlivé lokálne, ostatné v cloude |
| Náklady | mesačné poplatky, rastú s používaním | jednorazový hardvér + prevádzka | oboje, v menšej miere |
| Výkon modelov | špička | 90 % špičky, na firemné úlohy stačí | špička tam, kde treba |
| Internet | nutný | nepotrebný | nutný pre cloudovú časť |
| Compliance | závisí od poskytovateľa | plne pod vašou kontrolou | treba riešiť oddelene pre každú časť |
| Škálovanie | okamžité, platíte za nárast | limitované výkonom zariadenia | flexibilné, komplexnejšie na správu |
| Typický kandidát | marketing, verejné dáta, rýchly štart | výroba, zdravotníctvo, právo | firmy s časťou dát citlivou a časťou nie |
Kedy je cloud AI v poriadku?
Poctivá odpoveď: často. Ak pracujete s verejnými dátami, marketingovým obsahom alebo nepodliehate prísnej regulácii, cloudová AI je lacnejší štart s menšou údržbou. On-premise má zmysel tam, kde sú dáta skutočne citlivé — nie všade.
Preto sa pred každým projektom pýtame najprv: aké dáta, aké riziko, aká regulácia? Odpoveď určí architektúru — nie naopak. A pokiaľ si nie ste istí, kde presne začať, dá sa to otestovať v malom skôr, než padne rozhodnutie o architektúre.
Časté otázky
Musíme mať vlastné IT oddelenie? Nie nutne. Zariadenie sa nastaví raz pri nasadení a bežná prevádzka nevyžaduje denný dohľad. Aktualizácie a monitoring vieme zabezpečiť ako súčasť servisu — podobne ako pri akomkoľvek inom firemnom systéme, ktorý dnes používate bez vlastného IT tímu.
Čo keď o pol roka vyjde lepší model? Otvorené modely sa dajú vymeniť bez výmeny hardvéru — nový model sa nasadí na to isté zariadenie. Nie ste viazaní na jedného poskytovateľa modelu ako pri uzavretých cloudových API.
Ako sa to vlastne aktualizuje? Aktualizácie modelu, nástrojov aj bezpečnostné záplaty prebiehajú ako riadený update, podobne ako pri firemnom softvéri — naplánovaný termín, otestovaná verzia, žiadne prekvapenia počas prevádzky.
Nie je to príliš drahé pre menšiu firmu? Vstupná investícia do hardvéru je jednorazová a dnes rádovo v jednotkách tisíc eur — nie v desiatkach tisíc ako pri tradičných enterprise riešeniach. Presné číslo závisí od rozsahu, počtu používateľov a toho, čo má agent robiť. Orientačný prehľad cien podľa typu riešenia máme aj v samostatnom článku o nákladoch na AI.
Čo ak zariadenie zlyhá alebo vypadne prúd? Rovnaká otázka platí pre akýkoľvek firemný server — rieši sa zálohou dát, prípadne druhým zariadením pri kritických nasadeniach. Výhoda oproti cloudu je, že celá záloha je vo vašej réžii a nezávisí od výpadku u externého poskytovateľa.
Staviame AI riešenia na mieru on-premise aj v cloude — podľa toho, čo vašim dátam a rozpočtu naozaj sedí. Príklad plne offline nasadenia: Mayven pre prediktívnu údržbu. Napíšte nám.