My On-Demand AV's Comparative: Let's go!

[Caml Light]

Conosciamo tutti più o meno bene i blasonati AV-Comparatives e Virus Bulletin, di sicuro non hanno bisogno di alcuna presentazione da parte mia. Bhè, onde evitare polemiche metto subito le cose in chiaro , dicendo che non oso paragonare i test che sto per mostrarvi con quelli effettuati periodicamente da guru come quelli sovracitati; tuttavia, immagino che a molti di voi (come è capitato quest'oggi a me) sia venuta più di una volta la curiosità di confrontare personalmente più Anti-Virus, no!?
Mi è bastato un mezzo pomeriggio di preparazione, ed ero pronto a scoprire realmente come si comportavano sul campo alcuni tra i più conosciuti ed apprezzati software di sicurezza. Ho deciso di effettuare un test comparativo "on-demand" (su richiesta) di 5 Anti-Virus, di cui ben 4 gratuiti, e di 1 Anti-Malware in versione free.


I prodotti testati:

- avast! Free Antivirus 5.0.545
- Avira AntiVir Personal 10.0.0.567
- BitDefender Free Antivirus 2010 13.0.0.9
- Kaspersky Internet Security 2011 11.0.0.232
- Malwarebytes' Anti-Malware 1.46
- Microsoft Security Essentials 1.0.1961.0


Tipologia del test effettuato:

Come già precedentemente anticipato, ho scelto come campo di battaglia tra i vari software la così detta scansione "on-demand". Non interessato ad effettuare lunghi e laboriosi test, utilizzando campioni di migliaia e migliaia di files infetti, ho semplicemente optato per scaricare 39 Malware (come si suol dire, pochi ma buoni! ) indicati sulla lista domini dell'aggiornatissimo MDL (Malware Domain List). Tali campioni sono piuttosto recenti, poichè sono stati segnalati sullo stesso sito dal 10 al 15 Giugno 2010.
Per eseguire un test preciso ed affidabile è stata preparata un'immagine pulita di Windows XP SP3, creata su VM (macchina virtuale). Sono state quindi eseguite 6 copie della stessa, ognuna da destinare ad uno specifico prodotto oggetto del test.
Una volta installati su ogni VM i rispettivi Anti-Virus, mantenendo le loro impostazioni di default, ho provveduto a disabilitare la protezione in real-time, in modo da poter copiare sul Desktop la cartella contenente i Malware precedentemente scaricati.




It's time to start!

Il mio povero PC ha dovuto gestire ben 6 VM allo stesso tempo, ma vi rendete conto?!?
...tutto ciò per poter avere la massima omogeneità nei test eseguiti, visto che, praticamente nel medesimo arco di tempo, ho effettuato manualmente l'aggiornamento delle basi virali per ogni singolo prodotto Anti-Virus.

Siamo pronti per partire! Lancio la scansione per il controllo delle minacce immediatamente dopo aver effettuato l'aggiornamento di ogni AV. Dopo una prima scansione (vedi immagine 1/2 per ogni prodotto testato), nella quale è stata eseguita la rimozione degli elementi infetti trovati, ne è stata effettuata una seconda, per confermare il mancato rilevamento delle infezioni tralasciate durante la prima analisi (vedi immagine 2/2).
Di seguito trovate i risultati ottenuti:




Resoconto dell'analisi per campioni mancati (missed on total):

- avast! 16/39
- Avira 8/39
- BitDefender 12/39
- Kaspersky 7/39
- Malwarebytes 6/39
- Microsoft Security Essentials 15/39


Verdetto finale:

Devo dire che mi sono parecchio divertito ad effettuare questa analisi, anche se alla fine non mi sono stupito più di tanto per i risultati ottenuti. Sarebbe sicuramente azzardato e fuorviante emettere dei verdetti tratti da un solo test. Ogni Anti-Virus ha i propri pregi e difetti, ed un singolo isolato test non può che far emergere quasi esclusivamente gli uni piuttosto che gli altri aspetti. Tuttavia posso dire che in questa specifica analisi, L'AV che si è comportato peggio è sicuramente stato avast!, che come già mostrato in altre comparative (più "Pro" della mia ) presenti in rete, non eccelle nella rilevazione delle minacce più recenti. Mi ha stupito in negativo Microsoft Security Essentials, che nell'ultimo test di AV-Comparatives è risultato come uno dei protagonisti più brillanti. Avira e Kaspersky si riconfermano anche qui al top, nulla da dire...
Una bella parola la vorrei per ultimo spendere a favore di Malwarebytes, se vogliamo il vincitore del test, un prodotto concepito per essere coadiuvato con un Anti-Virus, e dunque non adatto per uso standalone, e che nella sua versione a pagamento è in grado di fornire un'eccellente e completa protezione in real-time. Tutt'altro che eccellente infine, la soluzione della software house rumena, BitDefender, che ha ottenuto risultati solo mediocri.

Mi auguro in futuro di poter riavere la possibilità e curiosità di fare altri raffronti del genere, e comunque, sperando di aver fatto una cosa utile ai più, sono aperto a qualsiasi consiglio e/o critica inerente i miei test.

[Caml Light]

UPDATE 16/06: 2 nuovi concorrenti nella lotta all'ultimo Malware


I prodotti testati:

- Immunet Protect 2.0.10.16 RC2
- Panda Cloud Antivirus 01.01.00.0000

L'innovativa tecnologia "Cloud" è alla base di questi 2 Anti-Virus gratuiti. Nell'ultima AV-Comparatives, la controparte a pagamento di Panda Anti-Virus ha ottenuto risultati eccezionali. Quest'oggi ne ho voluto testare le qualità:




Resoconto dell'analisi per campioni mancati (missed on total):

- Immunet Protect 32/39
- Panda 11/39


Verdetto finale:

Questo test è stato piuttosto "nuvoloso" per Panda, mi sarei aspettato un risultato decisamente migliore, ma in questa prova è risultato solo mediocre. Immunet Protect, nella sua versione 1.0 non permette la scansione "on-demand", per cui per ovviare al problema ho deciso di installare l'ultimissima 2.0 RC2. Il prodotto californiano è piuttosto recente, e secondo me sta pagando i classici errori di gioventù... sicuramente da tener d'occhio in futuro.


UPDATE 16/06: The Day After Tomorrow

Vediamo adesso come si comportano gli AV oggetto della prova di ieri, a distanza di un giorno dalla prima analisi, e con le più recenti firme virali installate. Di seguito avast! e Avira:




Possiamo qui vedere avast! ed Avira in abbinamento a Panda Cloud Antivirus:




Resoconto dell'analisi per campioni mancati (missed on total):

avast! 8/39
avast! + Panda Cloud: 4/39
Avira: 1/39
Avira + Panda Cloud: 1/39
BitDefender: 12/39
Kaspersky: 6/39
Malwarebytes: 4/39
Microsoft Security Essentials: 15/39


Verdetto finale:

Come avete potuto osservare, i risultati già dopo un solo giorno sono notevolmente cambiati. avast! ha rilevato ben 8 infezioni in più rispetto ad ieri, mentre Avira 7. BitDefender e Microsoft Security Essentials hanno ottenuto i medesimi risultati. Solo 2 infezioni in più sono invece state riconosciute da parte di Malwarebytes. Credo che l'accoppiata Avira / Malwarebytes possa onestamente rappresentare allo stato attuale (almeno in base alla mia analisi) il miglior binomio contro i Malware.

[Caml Light]

post di servizio

[sampei.nihira]

Lodevole per l'impegno.

**** Prefazione ****

Ho fatto anche io più volte nel tempo lo stesso test che hai fatto tu,qualche volta allargando l'orizzonte al comportamento in tempo reale che in pratica è l'aspetto che a me interessa di più.
Mentre il test on demand,con un numero di malwares così ridotto, ci fornisce un limite tendenziale che se si vuole estrapolare risulta "abbastanza" attendibile,cioè in pratica indica il pool di antivirus (trà gli altri) che nel tempo hanno un comportamento tendenziale migliore,nel caso del test in real time non è possibile giungere neppure ad una siffatta conclusione senza incorrerre nell'errore.
Il pool di antivirus migliori al test on demand in una settimana possono avere valori e quindi perfomance simili oppure la settimana successiva differire notevolmente.

**** Fine prefazione ****

Mi ero ripromesso più volte di effettuare un "test semiserio" con i due antivirus free cloud sotto menzionati ma per un motivo o un altro non ho mai avuto tempo !!
Adesso più che mai che stò cambiando la camera e mia moglie mi stà facendo fare,durante il mio tempo libero, l'imbianchino,falegname,stuccatore,scaricatore ecc ecc.....

Non sposatevi le donne cambiano dopo il matrimonio !!!

Quindi dicevo potrei consigliarti (visto che lo chiedi ed hai già tutto pronto a puntino) di testare trà gli altri 1 antivirus a tecnologia cloud cioè:

Immunet

[sampei.nihira]

Originariamente inviato da Caml Light

UPDATE: Un nuovo concorrente nella lotta all'ultimo Malware


Il prodotto testato:

- Panda Cloud Antivirus 01.01.00.0000

L'innovativa tecnologia "Cloud" è alla base di questo Anti-Virus gratuito. Nell'ultima AV-Comparatives, la controparte a pagamento ha ottenuto risultati eccezionali. Quest'oggi ne ho voluto testare le qualità:




Resoconto dell'analisi per campioni mancati (missed on total):

- Panda 11/39


Verdetto finale:

Questo test è stato piuttosto "nuvoloso" per Panda, mi sarei aspettato un risultato decisamente migliore, ma in questa prova è risultato solo mediocre.

Hai verificato divergenze di risultati nello scan ottimizzato e quello dell'intero HD ?

Sarebbe interessante verificare la simbiosi trà Panda Cloud + Avira 10 e Panda Cloud + Avast 5.

[eraser]

Occhio a fare questo genere di test, poiché se non effettuati correttamente possono portare a risultati fuorvianti

[Caml Light]

Ciao sampei.nihira, cosa ne pensi se per esempio tra un mesetto (se riesco a trovare il tempo) provassi a fare un test sulla base di quello condotto ieri, utilizzando quindi lo stesso identico campione di Malware, ed aggiornando semplicemente le firme virali di ogni AV? Per confermare o meno i risultati ottenuti ieri potrei inoltre aggiungere all'analisi un nuovo campione di Malware "0-7 days".
Con due analisi di Malware "0-7 days" si otterrebbe così un andamento abbastanza preciso ed affidabile sul comportamento degli AV in questione in presenza di nuove minacce, e si potrebbe capire abbastanza grossolanamente (ci vorrebbe a tal proposito un secondo test da rieseguire il mese successivo) come gli AV riescono ad identificare le infezioni con più di un mese di vita.

Riguardo ad Immunet Protect penso di poterti accontentare

EDIT: Immunet Protect aggiunto alla prova.

[Caml Light]

Originariamente inviato da eraser

Occhio a fare questo genere di test, poiché se non effettuati correttamente possono portare a risultati fuorvianti

E' proprio ciò che ho scritto nel mio "Verdetto finale". Considera che tutto ciò che ho fatto per eseguire quest'analisi è esattamente riportato nella sezione "Tipologia del test effettuato". Spero come già detto di aver fatto una cosa utile, ma di certo non vorrei mai che i risultati da me ottenuti possano essere presi da qualcuno come unico punto di riferimento.

[sampei.nihira]

Originariamente inviato da Caml Light

Ciao sampei.nihira, cosa ne pensi se per esempio tra un mesetto (se riesco a trovare il tempo) provassi a fare un test sulla base di quello condotto ieri, utilizzando quindi lo stesso identico campione di Malware, ed aggiornando semplicemente le firme virali di ogni AV? Per confermare o meno i risultati ottenuti ieri potrei inoltre aggiungere all'analisi un nuovo campione di Malware "0-7 days".
Con due analisi di Malware "0-7 days" si otterrebbe così un andamento abbastanza preciso ed affidabile sul comportamento degli AV in questione in presenza di nuove minacce, e si potrebbe capire abbastanza grossolanamente (ci vorrebbe a tal proposito un secondo test da rieseguire il mese successivo) come gli AV riescono ad identificare le infezioni con più di un mese di vita.

Riguardo ad Immunet penso di poterti accontentare

No (se ho capito bene cosa vuoi dire).
Se vuoi confrontare i dati trà antivirus in modo abbastanza soddisfacente devi sottoporre tutti gli antivirus lo stesso identico pool di malwares nello stesso momento.

Oppure puoi limitare il confronto trà gli antivirus che io ho menzionato ma poi tali dati non avrebbero valenza se confrontati con quelli che hai già pubblicato per un eventuale confronto.

Ti consiglio inoltre un giorno domenicale (mattino o pomeriggio al massimo)....lo sò che è dura specie d'estate....ma la domenica gli aggiornamenti firme sono assenti (vedi ad esempio Avira) oppure molto ridotti.
In questo modo riduci notevolmente gli errori del test (però sempre presenti) dovuti ad eventuali up firme.

p.s. Anche se è già passato 1 gg che è molto in questi casi visto che hai condotto il test ieri ripeto sarebbe interessante verificare la simbiosi (possono stare installati nello stesso pc insieme ) trà Panda Cloud + Avira e Panda Cloud + Avast 5 con quel pool di malwares.

[Ansem_93]

ma per la ricerca di virus sul pc ci sono apposta gli anti-malware.Io uso a-square che so che dovrebbe essere uno dei migliori

[Caml Light]

Originariamente inviato da sampei.nihira

No (se ho capito bene cosa vuoi dire).
Se vuoi confrontare i dati trà antivirus in modo abbastanza soddisfacente devi sottoporre tutti gli antivirus lo stesso identico pool di malwares nello stesso momento.

Oppure puoi limitare il confronto trà gli antivirus che io ho menzionato ma poi tali dati non avrebbero valenza se confrontati con quelli che hai già pubblicato per un eventuale confronto.

Ti consiglio inoltre un giorno domenicale (mattino o pomeriggio al massimo)....lo sò che è dura specie d'estate....ma la domenica gli aggiornamenti firme sono assenti (vedi ad esempio Avira) oppure molto ridotti.
In questo modo riduci notevolmente gli errori del test (però sempre presenti) dovuti ad eventuali up firme.

mmh.. non so se sono riuscito a spiegarmi bene. Praticamente te lo riassumo in questa sintesi:

- 15/06: Analisi 39 Malware (che identificherò come "pool 1")
- 15/07: Analisi "pool 1" + a parte analisi di un nuovo campione di Malware "0-7 days" ("pool 2")
- 15/08: Analisi "pool 2"

In questo modo, riesco a capire come si comportano gli AV nell'affrontare nuove minacce, ed in più posso farmi un'idea di come è il loro comportamento con minacce con almeno un mese di vita. Spero di essere stato chiaro.

PS: Ho inserito Immunet Protect nella prova. Adesso vedo di ripristinare le VM e fare il test con Panda Cloud + Avira e Panda Cloud + avast!.

[Caml Light]

Originariamente inviato da Ansem_93

ma per la ricerca di virus sul pc ci sono apposta gli anti-malware.Io uso a-square che so che dovrebbe essere uno dei migliori

a-squared è un ottimo Anti-Malware, meriterebbe anche lui una bella prova, ma purtroppo con la miriade di programmi che ci sono in commercio è piuttosto difficile da parte mia poterli testare, non dico tutti ma in buona parte, almeno da poter accontentare i più.

Comunque se qualcuno vuole, gli posso inviare il campione di Malware che ho usato per la prova, così magari potete pure voi contribuire a quest'analisi.

EDIT: Test aggiornati!

[xcdegasp]

per a-squared non è un prodotto specifico d'antivirus quindi non avrebbe brillanti risultati in un test specifico per antivirus, al contrario nella ricerca di malware risulta sicuramente uno tra i migliori lissando antivirus..
del resto se bastasse un solo prodotto per identificare tutti i tools/programmi/script dannosi non ci sarebbero più viirus o saremmo nell'era della nascita dei virus

[WarDuck]

Sarebbe interessante fare un test sulle performance, ad esempio, copia, lancio applicazioni, avvio del sistema, tempi di scansione totale... anche se mi rendo conto che le variabili aumentano e non di poco.

L'antivirus migliore non esiste comunque, esiste quello che ci soddisfa maggiormente come rapporto prestazioni/sicurezza, ovvero quante risorse del tuo pc sei disposto a offrire per far girare un antivirus.

@xcdegasp: considera che per la teoria della computabilità è impossibile dire a priori se un eseguibile (mai visto prima, neanche il sorgente) potrà eseguire codice "nocivo" oppure no.

Di fatto la maggior parte di coloro che ti vendono un antivirus (specie se tradizionale) ti sta vendendo aria fritta .

Per questo non concepisco chi vive nel terrore e usa 40 software diversi, è da paranoici (o è uno che scarica semplicemente troppo warez).

[Caml Light]

...eh già, come ho già detto un singolo test non basta per dichiarare un vincitore assoluto. Di sicuro nel test on-demand che ho eseguito Avira è quello che si è comportato meglio, insieme a Malwarebytes, ma ci tengo a dire una cosa...
Avira a livello di firme virali è semplicemente eccezionale, ma nella versione free ha delle limitazioni molto importanti rispetto alla controparte a pagamento:

- WebGuard (protezione da siti internet pericolosi)
- AntiDrive-by (previene il download di malware durante la navigazione)

In pratica si è scoperti durante la navigazione, e l'infezione viene rilevata solo quando questa è già nel vostro PC. avast! al contrario, sempre in versione free, offre un modulo di protezione Web in grado di fronteggiare attivamente i pericoli derivanti dalla rete. Ho svolto altri test ieri sera (ma ho deciso di non pubblicarli poichè non sono stati effettuati con quel rigore con cui lo sono stati quelli eseguiti on-demand), in cui ho preso in considerazione 2 siti, entrambi molto pericolosi, un "Fake Scanner AV Site" ed un "Fake Porn Site conducente a Trojan-Horse". Ebbene, tra tutti i free quello che ha saputo fronteggiare meglio la situazione è stato avast!, in virtù del suo modulo di protezione Web. avast! potrebbe essere il "free" ideale a mio avviso, se solo avesse un database di firme virali esteso e prontamente aggiornato come quello di Avira.

@ WarDuck: mi stai sinceramente chiedendo troppo . Ti posso però dire che quello che ha impiegato più tempo ad effettuare le scansioni del campione di Malware è stato Microsoft Security Essentials (molto lento anche a rimuovere le infezioni), seguito (se non ricordo male) da BitDefender. Purtroppo però non posso sbilanciarmi oltre, in quanto l'aspetto prestazionale non è stato considerato durante l'analisi, perciò questo è tutto ciò che ti posso dire.