SSUpdater.com: The Testing Station

[Chill-Out]

PCTools Antivirus 5 Beta (08/07/2008)

rilevazione: 6248/6757 = 95.13%

tempo di scansione 1'43''

Altro: la scansione dell'archivio si interrompe appena individua un solo elemento chiedendo di mettere in quarantena tutto.

Nuz la percentuale giusta è 92,46%

[Nuz]

Giusto, ho digitato 6428 anziché 6248. Grazie per la correzione.

[Nuz]

Disponibile da alcuni giorni il test Do it yourself Anti-Malware

http://ssupdater.com/modules/Forums/...opic=3306&st=0

Piccola premessa per chi si appresta a leggere i risultati: i malware sono 5000, ma gran parte dei prodotti vede un numero maggiore perchè alcuni malware sono scansionati al loro interno, cioè sono considerati come archivi e quindi vengono rilevati separatamente i vari elementi contenuti. Perciò la discussione inizialmente si è "bloccata" sul numero di elementi scansionati e si è poi focalizzata sulla capacità di rimozione dei malware.
Però secondo me se si prende il numero di file scansionato e il numero di elementi rilevati si può comunque fare un confronto sulla percentuale di rilevazione.
Negli ultimi post ci sono i risultati di alcuni antispyware con risultati a mio avviso inaspettati.
Ottimo il risultato di A-squared AM 4 beta, penso dovuto anche all'engine dell'antivirus Ikarus. Sarà interessante se qualcuno farà il confronto con la versione 3.5.

[eraser]

Prima erano solo supposizioni (anche se supportate da alcune basi), ora ne ho la certezza dell'infondatezza di questo test.

Visto il campione che mettono a disposizione per la comparativa, è un test assolutamente inattendibile.

[leolas]

ma se iniziassimo a testare antivirus e antimalware/spyware noi su hwupgrade?

Tanto, tra honeynet varie e contatti, la "roba" ce la possiamo procurare

[eraser]

Originariamente inviato da leolas

ma se iniziassimo a testare antivirus e antimalware/spyware noi su hwupgrade?

Tanto, tra honeynet varie e contatti, la "roba" ce la possiamo procurare

Sai vero che devi fare tutto alla perfezione, che Andreas Clementi di AV-Comparatives ha un disclaimer lungo papiri per evitare denunce, che tutte le procedure di test devono essere svolte in maniera tecnicamente ineccepibile e tutte le società i cui prodotti vanno ad essere testati devono concordare sulle modalità di test e sulla pubblicazione dei risultati? E che se solo una piccola virgola fuori posto fa apparir male uno dei prodotti - a causa di un errore di test - una multinazionale potrebbe far partire una schiera di avvocati?

Detto questo:

1) Te la senti?
2) Hai capito perché HWUpgrade non ha mai fatto comparative del genere?



Spaventato abbastanza?

[leolas]

facciamo che scherzavo

[eraser]

Originariamente inviato da leolas

facciamo che scherzavo

Per "tentare" di fare qualcosa di obiettivo e tecnicamente corretto, è stata fondata quest'anno un'associazione, l'AMTSO

The Anti-Malware Testing Standards Organization (AMTSO) was founded in May 2008 as an international non-profit association that focuses on the addressing the global need for improvement in the objectivity, quality and relevance of anti-malware testing methodologies. AMTSO membership is open to academics, reviewers, publications, testers and vendors , subject to guidelines determined by AMTSO.

AMTSO Formation Press Release

SECURITY SOFTWARE INDUSTRY TAKES FIRST STEPS TOWARDS FORMING ANTI-MALWARE TESTING STANDARDS ORGANIZATION

Parties converge to address objectivity, quality and relevance of current anti-malware testing methodologies

Bilbao, Spain – February 4, 2008 – More than 40 security software technologists and anti-malware testers from around the world recently met in Bilbao, Spain to formalize the charter of the Anti-Malware Testing Standards Organization, or AMTSO. The formation of AMTSO has been driven by industry-wide concern about the increasing mismatch between what anti-malware technologies actually do, and the testing methodologies used to evaluate them. As anti-malware solutions become more complex, many existing tests are unable to evaluate product effectiveness properly, resulting in product reviews that are sometimes incomplete, inaccurate and misleading.AMTSO is focused on addressing the global need for improvement in the objectivity, quality and relevance of testing methodologies. The organization also aims to promulgate universally adopted standards and guidelines for anti-malware testing. The vision for AMTSO was formed in May 2007 during the International Antivirus Testing Workshop in Reykjavik, Iceland, and developed further during the Antivirus Asia Researchers Conference in Seoul, South Korea last December. Pursuant to its preliminary charter, AMTSO will:

* Provide a forum for discussions related to the testing of anti-malware and related products;
* Develop and publicize objective standards and best practices for testing of anti-malware and related products;
* Promote education and awareness of issues related to the testing of anti-malware and related products;
* Provide tools and resources to aid standards-based testing methodologies; and,
* Provide analysis and review of current and future testing of anti-malware and related products.

Hosted by Panda Security, the meeting in Bilbao included representatives from the industry’s leading companies and testing organizations, including:

* ALWIL Software
* AV-Comparatives
* AV-Test.org
* AVG Technologies
* Avira GmbH
* Bit9
* BitDefender
* Doctor Web, Ltd.
* ESET
* F-Secure Corporation
* G DATA Software
* Hispasec Sistemas
* International Business Machines Corporation
* Kaspersky Lab
* McAfee, Inc.
* Microsoft Corp.
* Norman ASA
* Panda Security
* PC Tools
* Sana Security
* Secure Computing
* Sophos Plc
* Symantec Corporation
* Trend Micro Incorporated
* Virusbuster Ltd.

[Nuz]

Originariamente inviato da eraser

Prima erano solo supposizioni (anche se supportate da alcune basi), ora ne ho la certezza dell'infondatezza di questo test.

Visto il campione che mettono a disposizione per la comparativa, è un test assolutamente inattendibile.

Ciao eraser, potresti essere più dettagliato? In che senso il campione che mettono a disposizione non va bene per i test?



P.S. Eppure negli altri test che hanno fatto le percentuali che ne sono venute fuori erano più o meno le stesse che si possono trovare sui siti specializzati nelle Comparative.

[eraser]

1) Campione piccolo per un test affidabile
2) Sample non selezionati (altresì buttati lì alla "come capita")
3) Sample corrotti (Alcuni antivirus potrebbero riconoscerli comunque per le signature, altri vedendo il file corrotto non li scansionano neanche)
4) Estensioni dei file errate (alcuni addirittura sono file compressi e dall'estensione risulta tutt'altro)
5) Codici sorgenti presenti all'interno del pacchetto di test, a cosa servono? Sono inutili e non verranno individuati dai software antivirus
6) File innocui presenti all'interno del pacchetto di test (file di testo, ad esempio)

non so se sia già stato postato...comunque qui c'è un interessante test sulla velocità\ impatto sul sitema degli antivirus

non so quanto sia affidabile comunque sembra abbastanza dettagliato

http://66.102.9.104/translate_c?hl=i...hx9ejmLewL_8rw

[murack83pa]

visto il recente intervento di Nuz nel 3d sugli antispyware (qui) ho deciso di provare questo test (mi ero gia ripromesso di farlo, ma po nn ho avuto piu tempo)

devo dire che i dati che emergono da quel forum sono gli stessi che ho riscontrato io

per chi nn vuole leggersi tutto il topic, posso dire che confermo questi risultati:

Superantispyware:

scansionando il rar non rileva nulla, estraendo i file, mi rileva 44 malware (in teoria su 5000 )

Malwarebytes ancora peggio:

analizzando il rar nulla, estraendo i file mi rileva solo 2 file infetti (nel forum si parlava di 3)

Asquared (nel 3d nn se ne parla, l'ho testato io):

sia scansionando il rar sia estraendo i file --> 3764

inserisco, per la cronoca, i risultati di altri antispyware ( x chi nn vuole leggersi tutto il 3d):

trojan remover 96
trojan hunter 949
spyware terminator 317
counter spy 1904
spyware doctor 2617
windows defender 340

ho fatto la prova con Avast Home e Avira Premium.

Avast (il cui realtime nn rileva il rar) facendo la scansione approfondita e specificando il controllo file compressi --> 5116

senza controllo file compressi, con scansione approfondita, mi rileva solo l'intero rar

facendo invece la scansione standard, nulla

estraendo i file dal rar, mi rileva 4878

Avira Premium gia in real time mi rileva il file compresso

con la scansione del file rar --> 1456 + 3595 file sospetti

estraendo i file (scan lentisssimo, circa 4 ore) --> 5044 + 7 sospetti

condividendo quanto affermato da eraser qui in precedenza, ritengo cmq utile condividere i dati di questo test

[Nuz]

Originariamente inviato da murack83pa

Superantispyware:

scansionando il rar non rileva nulla, estraendo i file, mi rileva 44 malware (in teoria su 5000 )

Malwarebytes ancora peggio:

analizzando il rar nulla, estraendo i file mi rileva solo 2 file infetti (nel forum si parlava di 3)

Fa peggio di Hazard Shield, che ne rileva 9. Mentre ho provato pure Spyware Hunter e il risultato mi pare fosse 3.
Ho appena testato The Cleaner v5 e il risultato è 93.
Hazard Shield è completamente free, Spyware Hunter non rimuove quello che trova (tipo SD trial) e The Cleaner v5 è free, ma non ho capito se ha il real-time.

Originariamente inviato da murack83pa

Asquared (nel 3d nn se ne parla, l'ho testato io):

sia scansionando il rar sia estraendo i file --> 3764

Era stato provato A-Squared 4 beta, ma l'autore del test mi pare abbia cancellato i suoi post, comunque grazie all'engine Ikarus il risultato era molto elevato (maggiore di 95%).

[murack83pa]

Originariamente inviato da Nuz

Fa peggio di Hazard Shield, che ne rileva 9. Mentre ho provato pure Spyware Hunter e il risultato mi pare fosse 3.
Ho appena testato The Cleaner v5 e il risultato è 93.
Hazard Shield è completamente free, Spyware Hunter non rimuove quello che trova (tipo SD trial) e The Cleaner v5 è free, ma non ho capito se ha il real-time.



Era stato provato A-Squared 4 beta, ma l'autore del test mi pare abbia cancellato i suoi post, comunque grazie all'engine Ikarus il risultato era molto elevato (maggiore di 95%).

quello che mi ha colpito maggiormente è stato superantispyware....nn credevo cosi basso....

è vero che li dentro c'è un po di tutto, però mi aspettavo una percentuale piu alta...

inoltre da questo emerge come superantispyware nn sia ingrado di rilevare minaccie all'interno di file compressi, oh no?

cerchero qualke info su quei nomi che hai dato e che disconoscevo

casomai li provo

ciao

EDIT:

è da sottolineare il diverso comportamento di Avast e di Avira

in particolare mi sembra che emerga che Avast se è settato adeguatamente, al max delle opzioni, nn si cosi male....

il problema è che avast utilizzato con le opzioni di default è veramente scarso.....imho

Riguardo Avira mi ha inizialmente stranito la rilevazione e il numero di file sospetti analizzando l'archivio....

vorrei provare la rilevazione di Avira Free......in quel forum emerge una buona percentuale...

[Nuz]

Originariamente inviato da murack83pa

...cerchero qualke info su quei nomi che hai dato e che disconoscevo

Hanno comunque un basso rate di rilevazione, a me ha stupito A2 Am 4 (scusa le abbreviazioni). Spero di vederlo in una comparativa di rilievo: Av-Comparatives, AV-test.org, Anti-Malware.ru, ecc.

[Nuz]

E' stato realizzato un nuovo test che mette in risalto la reale utilità di affiancare a-squared ad alcuni antivirus. Su un campione di 50850 sample viene mostrato quanti dei malware che non sono rilevati dagli antivirus sono, invece, individuati da a-squared.

http://ssupdater.com/modules/Forums/...showtopic=3590

[Nuz]

Disponibile un nuovo test antimalware di 30 prodotti con 800.025 malware composti al 99.5% da malware noti raccolti negli ultimi 4 anni. L'obbiettivo dichiarato è comaprare i loro risultati con VirusBulletin's VB100 e AV-Comparatives (definiti test discutibili ?!? ) e stavolta c'è anche una risposta piccata, che sinceramente non mi aspettavo, a chi mette in dubbio il loro lavoro:

Since this test, like all the other ones that are made by the SSUpdater Crew, will be shown on various websites,forums,support forums.... and will be commented by various "security experts" which favor cretin programs, I call on them to come here at http://ssupdater.com , and give their opinion here where they can get answers from people who are responsible for this test.
Unlike others WE HAVE NOTHING TO HIDE!!!

Riporto qui i risultati delle scansioni:

The Results
(Name/Detection Rate)

1. a-squared Anti-Malware - 99.12%
2. AntiVir PE Premium - 98.88%
3. Avast! - 98.75%
4. Norton Antivirus - 98.69%
5. Ikarus Virus Utilities - 98.48%
6. Kaspersky Antivirus - 97.83%
7. BitDefender Antivirus-97.79%
8. F-Secure -97.21%
9. Zone Alarm-96.91%
10. Spy Emergency-95.64%
11. McAfee VirusScan Plus - 94.18%
12. Comodo Internet Security - 92.53%
13. Twister Anti-TrojanVirus - 92.49%
14. Rising Antivirus - 92.27%
15. Dr.Web- 92.04%
16. Norman Antivirus & Antispyware - 91.78%
17. Blink Personal Edition - 90.93%
18. PC Tools Internet Security - 89.77%
19. Nod32- 88.35%
20. AVG Antivirus - 87.45%
21. Microsoft Windows Live OneCare - 87.12%
22. MoonSecure Antivirus - 86.43%
23. Spy Sweeper with Antivirus - 84.64%
24. TrendMicro Internet Security- 84.13%
25. Spyware Terminator with Antivirus- 61.38%
26. VIPRE- 60.97%
27. 123 Spyware Free - 57.68%
28. Ad Aware - 28.04%
29. SuperAntiSpyware - 07.24%
30. Malwarebytes Anti-Malware - 02.66%

Leggi il resto

Comunque i risultati mi sembrano molto simili a quelli dei test on-demand di av-comparatives almeno per gli stessi prodotti, correggetemi se sbaglio. Per a-squared il risultato è per me una conferma, d'altronde con i due engine c'era da aspettarselo, peccato per i falsi positivi esagerati e la pesantezza del software.
E' bello vedere testati altri prodotti poco noti, tipo rising, blink, twister, vipre e comodo internet security. Il risultato di quest'ultimo è veramente ottimo se ci si ricorda dove era CAVS 2 in altre comparative.

[kkt77]

Ringrazio Nuz per aver introdotto questo thread in quello che stavo seguendo.
Tuttavia, ponendomi come un utente non del tutto sprovveduto che vuole orientarsi nella giungla dei prodotti di sicurezza, ascoltando le classifiche dei vari siti "specializzati", mi cadono le braccia, anche dopo aver letto gli interventi di ereser.

Malwarebytes Anti-Malware era stato lodato da un altro test, condotto da Megalab, qui mi risulta vada sotto-zero.
D'accordo che questi test non sono una Bibbia.... tuttavia, per lo meno per alcuni prodotti, sembrerebbero affidabili quanto il lancio di una monetina (considerando anche che ogni sito definisce inaffidabili i test altrui).

p.s. peccato che nei test non ci sia Sophos (e, forse, anche il programma di ereser ci potevano mettere, se non erro).

[Nuz]

MBAM però non va giudicato solo da questi test, cioè essendo un prodotto giovane e nuovo il database ne risente rispetto a malware di alcuni anni fa. Mentre se lo si mette alla prova, come ha fatto megalab, contro pochi malware recenti si comporta molto bene. Inoltre si tratta di un prodotto più specializzato verso un certo tipo di malware, perciò in un test di questo tipo è ulteriormente penalizzato ovvero mostra tutte le sue lacune.
L'inserimento nella classifica è dovuto in particolare ad una sorta di sondaggio che ha preceduto il test.

http://ssupdater.com/modules/Forums/...howtopic=3746#

[kkt77]

Uhm, va bene, grazie.
Però.... i malware "vecchi" devono per forza andare in via d'estinzione o possono restare in circolo?
Io credo che possono restare in circolo, in misura minore, però ancora esistono.