Kad je 99 bolje od 100

AV Comparatives je objavio izveštaj o testu poslovnih bezbednosnih rešenja za period od marta do juna. Pedeset devet strana, šesnaest proizvoda, tri odvojena testa i nekoliko važnih tabela.

Do većine ljudi od svega toga stigne samo logotip sa natpisom APPROVED, obično na sajtu proizvođača.

Kroz ovaj tekst ćemo vam objasniti šta sve to što se pojavljuje u testu zapravo znači. Za to ima razloga, jer iz istih tabela možete izvesti sasvim suprotne zaključke, u zavisnosti od toga da li se zna kako je merenje postavljeno i sprovedeno.

Ko meri i ko plaća merenje

AV-Comparatives je austrijska laboratorija koja testira bezbednosne proizvode od 2004. Metodologiju testa u uslovima bliskim stvarnim razvija zajedno sa Fakultetom računarskih nauka Univerziteta u Insbruku, uz delimično finansiranje Republike Austrije. Sertifikaciju plaćaju proizvođači. Iz toga sledi jedna stvar koju vredi znati odmah: proizvod kojeg u tabeli nema nije pao na testu — najverovatnije se nije ni prijavio. Odsustvo imena ne znači ništa. Sledi i druga stvar, koja se često pogrešno tumači. Proizvođači su sami podesili svoje proizvode za test, po sopstvenom uputstvu, i spisak odstupanja od fabričkih podešavanja zauzima dve pune strane. To zvuči kao propust, a nije. U firmama poslovne proizvode podešava administrator, po uputstvu proizvođača — merenje, dakle, opisuje ono što proizvod ume kad je podešen kako treba, a to je za poslovni proizvod tačno kako se i koristi.

Ograda je na drugom mestu: nijedan broj u ovom tekstu ne opisuje proizvod koji ste upravo instalirali i niste dirali. Izveštaj to kaže i doslovno — neki poslovni proizvodi stižu sa svim zaštitama isključenim, pa administrator mora da ih uključi da bi uopšte dobio zaštitu. Da se ne bi ista podešavanja koristila kako kome odgovara, laboratorija ne dozvoljava da se proizvod štimuje u odnosu na fazu testa. Ista podešavanja važe kroz sve testove tokom cele godine. Bez tog pravila bi svako podesio maksimalnu zaštitu za test zaštite i maksimalnu brzinu za test brzine.

Prvi test: realni napadi

Ovo je najbliže onome što se dešava u kompaniji. Za četiri meseca testirano je 400 zlonamernih veb adresa, po 100 mesečno. Postupak je vredan objašnjenja, jer od njega zavisi kako se rezultat čita. Svakog jutra se preuzimaju sve dostupne nadogradnje za operativni sistem i aplikacije i pravi se nova osnovna slika sistema za taj dan. Pre svakog pojedinačnog slučaja proizvod dobija priliku da povuče najnovije izmene. Onda se ode na zlonamernu adresu i posmatra šta će se desiti. Posle svakog slučaja, mašina se vraća u čisto, početno stanje. Proizvod sme da zaustavi napad na bilo kom koraku: na samoj adresi, dok se fajl preuzima, dok se zapisuje na disku, ili kad se pokrene. Ako ništa od toga nije upalilo, čeka se nekoliko minuta da se vidi hoće li nadzor ponašanja reagovati i poništiti ono što je malver uradio. Ako ni to ne uspe, slučaj se broji kao proboj.

Iz toga sledi nešto što nije skroz očigledno. Visok rezultat može da se dobije na više načina — proizvod može da pobedi ako dobro blokira veb adrese, ali i ako dobro hvata čudna ponašanja malicioznih programa. Ista ocena, sasvim različit segment zaštite. Blokator adresa vam neće pomoći protiv malvera koji je stigao na USB-u ili preko lokalne mreže, i zato ovaj test nije dovoljan sam po sebi. Postoji i treća mogućnost: proizvod ne odluči sam, nego pita korisnika. Takvi slučajevi se broje kao poluuspeh, jer ishod zavisi od toga šta će čovek da odluči. U ovom testu ih ima svega dva, oba kod Sophosa.

Rezultati. Kaspersky, Bitdefender i Elastic zaustavili su 399 od 400 slučajeva, odnosno 99,8 odsto. Slede Avast i Norton sa 396, Microsoft, ESET i VIPRE sa 395, K7 i CrowdStrike sa 394, Sophos sa 392, Trellix sa 390, Cisco sa 389, G Data sa 387, ManageEngine sa 381 i SenseOn sa 379, što je 94,8 odsto.

Zašto nekoliko promašaja ne znači loš proizvod

Sad dolazi deo zbog kojeg se ova tabela najčešće pogrešno čita. Prvo, aritmetika. Kod četiristo slučajeva jedan promašaj vredi 0,25 procentnih poena. Razlika između prvog i petog mesta je četiri slučaja u četiri meseca. To je unutar onoga što se u svakom merenju smatra šumom — ponovite test sa drugim skupom uzoraka i poredak na vrhu će se promešati. Drugo, i važnije: skup nije slučajan. Od 2026. laboratorija drži stalnu veličinu od sto slučajeva mesečno tako što najpre testira nešto veći broj, pa izbaci one koje su blokirali svi proizvodi. Namera je da poređenje bude smisleno — nema koristi od stotinu slučajeva koje svi hvataju.

Posledica je da se ovi procenti ne smeju čitati kao verovatnoća. Devedeset devet odsto ne znači „promašiće jednu od sto pretnji na koje ćete naleteti". Znači „na skupu iz kojeg su lake mete namerno uklonjene, promašio je jednu od sto". U stvarnom saobraćaju su svi ovi proizvodi osetno bolji od rezultata na testiranju.

Tabela je sastavljena da razdvoji proizvode, ne da opiše vašu svakodnevicu. Dobra je za poređenje, loša za predviđanje.

Treće: rezultat opisuje trenutak. Kod proizvoda koji se oslanjaju na oblak meri se ono što je laboratorija videla tog dana — ako je usluga proizvođača tada bila u prekidu, to se u broju ne vidi, a proizvođači takve prekide obično ne objavljuju. Uz Trellix, na primer, stoji fusnota da je u vreme testiranja postojao problem koji je izazvao dodatne promašaje i da je do objavljivanja otklonjen. Njegovih 97,5 odsto je, dakle, istorijski podatak. Ono što jeste pošteno zaključiti: proizvod ispod devedeset pet odsto na ovakvom skupu zaostaje za većinom. Razlika između 99,8 i 98,8 je akademska. Razlika između 99,8 i 94,8 nije.

Drugi test: malver koji je već ušao

Drugi test polazi od drugačije pretpostavke — zlonamerni fajl je već na disku, stigao preko lokalne mreže, USB-a ili nekako drugačije, a da nije sa interneta. U martu je pušteno hiljadu uzoraka. Prvo se svi uzorci provlače kroz proveru pri pristupu, onako kako se fajlovi kopiraju preko mreže. Ono što se ne prepozna — pokreće se lokalno, uz uključen pristup internetu, da bi i nadzor ponašanja dobio priliku za analizu. Ako proizvod ne spreči ili ne poništi sve izmene koje je uzorak napravio u datom roku, slučaj se broji kao promašaj. Poslednji deo te rečenice je bitan: nije dovoljno da zaštita detektuje pretnju, mora i da je ukloni.

Rezultati. Elastic je jedini na sto odsto. Slede Avast i Norton sa 99,8, CrowdStrike sa 99,7, Kaspersky i ManageEngine sa 99,6, Bitdefender sa 99,5, G Data, Microsoft i VIPRE sa 99,3, ESET sa 99,2, Cisco sa 99, SenseOn sa 98,2, Trellix sa 97,5, Sophos sa 96,6 i K7 sa 96.

Na hiljadu uzoraka jedan promašaj vredi desetinu poena, pa i ovde važi isto pravilo o šumu — samo u finijoj granulaciji.

Druga strana priče: lažne uzbune

Sada dolazi deo testa koji gotovo niko ne gleda, a bez kojeg su prethodna dva besmislena.

Zamislite proizvod koji blokira baš sve. U oba testa zaštite ima sto odsto. U realnom okruženju bi najverovatnije bio previše restriktivan i naporan. Zato se uz svaki test zaštite radi i test lažnih uzbuna, i to u dve kategorije: pogrešno blokirani domeni dok se surfuje, i pogrešno blokirani fajlovi dok se preuzimaju i instaliraju. Obe se mere zato što bi merenje samo jedne nagradilo proizvod koji je jak u jednom segmentu, a slab u drugom. Za testne fajlove se koriste stotine aplikacija sa lista najčešće preuzimanih, i to sa sajtova proizvođača, a ne sa bilo kojih portala za preuzimanje. Izveštaj o blokiranju celih domena sugeriše da se time ne gubi samo poverenje u zaštitni proizvod, već se nanosi i direktna finansijska šteta vlasniku domena. Zato preporučuje da se ceo domen blokira samo kad mu je jedina svrha isporuka zlonamernog koda.

Rezultati u testu iz stvarnog sveta. Microsoft i Cisco: nijedna lažna uzbuna. ESET, VIPRE i Sophos po dve. Kaspersky i SenseOn po tri. Bitdefender, G Data, Avast i Norton po četiri. K7 šest, CrowdStrike osam, Trellix deset, Elastic dvanaest. ManageEngine dvadeset sedam.

Postoji i posebna skala u lažnim detekcijama za neposlovne i neuobičajene fajlove, od „vrlo nisko" do „izuzetno visoko". Vrlo nisko imaju Bitdefender, G Data, Kaspersky, Microsoft i VIPRE. Nisko Avast, Norton i SenseOn. Srednje Cisco, CrowdStrike, ESET, K7 i Sophos. Visoko Elastic, ManageEngine i Trellix. Ta skala nije akademska ako u firmi koristite sopstveni softver, retke alate ili nešto što je pisano po narudžbini — izveštaj na to izričito skreće pažnju. I tu se vidi cena stoprocentne detekcije. Elastic ima sto odsto u testu malvera i deli najbolji rezultat u testu iz realnog sveta, ali uz dvanaest lažnih uzbuna i „visoku" stopu lažne detekcije na neposlovnim fajlovima. ManageEngine hvata 99,6 odsto malvera, a ima dvadeset sedam lažnih uzbuna i drugi najslabiji rezultat u testu iz stvarnog sveta.

Zaštita bez uspešne kontrole lažnih uzbuna je poluproizvod, ali nije uvek upola cene.

Treći test: koliko to košta mašinu

Treći test meri usporenja u kopiranju fajlova, arhiviranju i raspakivanju, instalaciji i pokretanju programa, preuzimanju fajlova i otvaranju sajtova. Uz to ide i zaseban industrijski merni paket za kancelarijski rad, u kojem čist sistem bez ikakvog bezbednosnog softvera nosi sto poena. Dve stvari iz metodologije menjaju čitanje.

Prva: mašina je Intel Core i3 sa osam gigabajta memorije i SSD diskom, a laboratorija je opisuje kao slabiju konfiguraciju. To je namerno — na slabijoj mašini se razlike vide. Kod nas je to i dalje prosečan kancelarijski računar i na novijem hardveru se ta razlika sužava. Ko rezultate prenosi na svoj novi laptop, prenosi ih pogrešno. Druga: uzeto je u obzir i to što proizvodi pamte već proverene fajlove, pa se rezultati odnose na sistem koji je već neko vreme u upotrebi, a ne na svež. Merilo se više puta, uzimala se srednja vrednost, a mašina se između merenja vraćala na istu sliku.

Rezultati. Zbirna ocena uticaja, gde je manje bolje: ESET 3,7, Kaspersky 3,9, Norton 6,6, Avast 8,1, ManageEngine 8,8, K7 9,2, G Data 17,6, Microsoft 18,6, Elastic 24,2, Cisco 24,6, Bitdefender 26,3, VIPRE 31,5, CrowdStrike 36,2, Trellix 37,1, SenseOn 37,3, Sophos 49,1. U merenju kancelarijskog rada, gde je sistem bez zaštite na sto odsto: Microsoft 96,4, ESET 96,3, Kaspersky 96,1, K7 95,8, pa naniže do G Date sa 87,4 i Sophosa sa 85,9. Ovde je raspon vrlo bitan. Dok su u zaštiti svi u pet deka, ovde je razlika između prvog i poslednjeg trinaest puta.

Šta sertifikat kaže, a šta ne

Sertifikat traži ispunjenje šest uslova istovremeno: najmanje 90 odsto u testu malvera, nula lažnih uzbuna na uobičajenom poslovnom softveru, stopu ispod najvišeg praga za neposlovne fajlove, najmanje 90 odsto u četvoromesečnom testu, manje od pedeset lažnih uzbuna na čistom softveru i sajtovima, i ocenu uticaja ispod 40. Uz to traži i da su svi prijavljeni propusti otklonjeni. Od šesnaest testiranih proizvoda, sertifikat je dobilo petnaest.

Sophos je izostao. Njegova detekcija je uredna — 98,3 odsto u četvoromesečnom testu, bolje od pet proizvoda koji su sertifikat dobili, 96,6 odsto u testu malvera, dve lažne uzbune. Ocena uticaja na performanse mu je 49,1, gde je prag 40. Jedini proizvod koji ove godine nije sertifikovan nije ispao zato što je loš u detekciji, nego zato što previše davi računare.

Iz iste tabele može se videti i ograničenje ovakvih testova i procesa sertifikacije. Kaspersky ima tri lažne uzbune i jedan proboj. ManageEngine ima dvadeset sedam lažnih uzbuna i devetnaest proboja. I oba nose istu oznaku APPROVED, jer su unutar granica dozvoljenog. Sertifikat samo kaže da je proizvod odobren, ali rezultati prikazuju prave performanse.

Šta se iz svega toga da pročitati

Kad se svih šesnaest proizvoda poređa jedan uz drugi, vidi se par stvari koje izveštaj ne naglašava, a AV-Comparatives namerno ne pravi ukupan poredak.

Klackalica između zaštite i brzine nije prirodna pojava, već fabrikovana stvar. Priča da „što te bolje čuva, to ti više jede resurse" ne drži vodu. Kaspersky ima najbolju zaštitu u testu i drugu najbolju ocenu uticaja. ESET, Norton i Avast su u istoj grupi, nešto niže po zaštiti. Znači — kad antimalver zaštita jede resurse, to nije zato što je sposobna, nego zato što nije optimizovana.

Microsoftov Defender u ovom testu opravdava poverenje svojih korisnika. 395 od 400 zaustavljenih, nijedna lažna uzbuna, „vrlo niska" stopa na neposlovnim fajlovima i najbolji rezultat od svih šesnaest u kancelarijskom merenju. Nijedan drugi proizvod nema tu kombinaciju visoke detekcije i nijedne lažne uzbune. Uz to dolazi uz licenciran Windows. Po opštem uticaju na performanse je osmi, što je dobar rezultat za proizvod koji firma ne mora posebno da nabavlja.

Sto odsto ima svoju cenu. Elastic ima stoprocentnu detekciju, ali i dvanaest lažnih uzbuna i „visoku" stopu grešaka. To nije toliko mana proizvoda koliko je loše podešena osetljivost, i taj odnos će nekome savršeno odgovarati, ali nekome neće.

Dodatak vredniji od tabela

Na kraju izveštaja stoji osvrt na nulto poverenje — tj. načelo da se nijednom korisniku i nijednom uređaju unutar mreže ne veruje unapred, nego da se svaki zahtev iznova proverava.

Zaključak je trezveniji nego što se očekuje. Na radnim stanicama, gde se rade svakakvi poslovi i instaliraju svakakvi programi, tvrd pristup može da generiše previše upozorenja i blokada u normalnom radu, stalnih potvrda, odobrenja i primetna usporenja. Zato je striktna zaštita često stvar izbora, a ne fabričkih postavki. Na samouslužnim kasama i unapred pripremljenim sistemima gde se ništa ne menja, striktna zaštita radi odlično. Rečenica koja nosi ceo osvrt je da bi vrlo strogo nulto poverenje možda i moglo da zaustavi sto odsto malvera, ali i da bi zatrpalo korisnike i administratore drugim problemima koji takođe onemogućavaju rad.

Šta iz svega ovoga sledi

Ne sledi preporuka koji proizvod da kupite, ali se vidi kako koji stoji sa performansama. Tabela rangira proizvode, ali ne može da rangira vaše mašine, vaše ljude i vašu toleranciju na greške.

Sada znate kako se ovaj izveštaj čita. Procenat zaštite je dobar za poređenje, a ne i za predviđanje, jer se laki slučajevi namerno izostavljaju. Razlika od jednog poena u vrhu tabele je svega nekoliko slučajeva u četiri meseca i ne može pouzdano da razdvoji proizvode po kvalitetu. Kolona sa lažnim uzbunama govori mnogo više, a gleda se najmanje. Uticaj na performanse ćete primetiti na slabijim mašinama, na novijima nećete. A sertifikat govori da je proizvod odobren, ali ne i koliko dobro radi. Sve ostalo je vaša računica. Izveštaj daje merilo — koliko vas neki proizvod štiti, koliko greši i koliko vas u performansama košta — a koji od ta tri broja vam najviše znači, znate samo vi.

Izvori

• Business Security Test (March–June 2026) — AV-Comparatives, izveštaj sa svim tabelama i spiskom sertifikovanih proizvoda
• UL Procyon Office Productivity Benchmark — merni paket korišćen u testu performansi
• Endpoint Prevention and Response (EPR) Tests — metodologija zasebnih EDR testova