AV-Comparatives Retrospective/Proactive Test November 2010

[Chill-Out]

http://www.av-comparatives.org/comparativesreviews/retrospective-test

[xcdegasp]

finalmente kav ha potenziato l'euristica anche se a discapito di un numero maggiore di falsipositivi, bene anche panda che è secondo solo a g-data ma sempre con un numero alto di falsi positivi..

malissimo avast che è fanalino di coda insieme a pctools

[xcdegasp]

io vedo questa situazione in novembre 2009:

1) avira 74% (17282) many
2) g-data 66% few
3) kav 65% few
5) microsoft 56% few
6) avast 53% few
7) trustport 49% many
10) kingsoft 32% (7412) many


maggio 2010

1) trustport / panda 63% (17226) few / many
2) g-data 61% few
3) kav / microsoft 59% few / very few
4) avira 53% few
11) avast 29% few
14) pc-tools 17% few
15) kingsoft 11% (3090) many


novembre 2010

1) g-data 62% (14352) few
2) panda 61% many
3) avira / kav 59% few
4) trustport / sophos 58% many
7) microsoft 52% very few
10) avast 43% few
11) pc tools 37% (8488) few



paragonando la sola percentuale nel corso del tempo secondo me non si ottiene nulla di significativo anche perchè i campioni di malware sono sempre differenti e prelevati dal contesto di quel dato periodo.. allo stesso tempo le enciclopedie virali degli antivirus mutano nel corso del tempo quindi i sample di maggio 2009 presumibilmente dovrebbero venir completamente individuati nel test successivo e così via..

trovo invece più significativo il confronto dei contendenti nel singolo gruppo di test perchè mostra come potenzialmente agiscono in quel periodo, la mera quantità è un dato futile perchè comunque vincolato strettamente dai sample usati ma paragonando questa ai risultati degli altri concorrenti si riesce a comprendere qualche informazione :)

[IBK]

@xcdegasp: :mano:

[Draven94]

Su W7 uso F-Secure che in questo test si è comportato egregiamente soprattutto alla luce dei pochi falsi positivi. Se non sbaglio nel report viene menzionato il fatto che F-Secure praticamente viene usato con le impostazioni di default quindi senza impostazioni estreme ragion per cui sono soddisfatto del prodotto.

[xcdegasp]

@ claudio: non farti ingannare dalle percentuali, esse vivono solo a stretto contatto con il numero che le ha generate, tolte dal contesto perdono di qualsiasi significato.. vivendo quindi in quel determinato contesto allora quello che rimane possibile è il raffronto con altri prodotti nel medesimo identico contesto..
il numero di malware identificato è infatti quasi il doppio per pctools rispetto a maggio ma non significa che in generale sia migliorata del doppio la sua reale efficacia ..

non so' se riesco a trasmettere completamente il mio pensiero :p

[xcdegasp]

sì le condizioni del test sono le medesime per ogni concorrente però rimangono tali sono in quel test cioè maggio è una realtà a sè rispetto a novembre seppur entrambi siano proactive test.
per questo dicevo che ad esempio avira (ma può essere microsoft o kav o eset o qualsiasi altro) di maggio non può essere direttamente paragonato ad avira (o il suo analogo) di novembre per determinarne un indice di miglioria.

per quanto un test sia studiato per riprodurre la vera realtà potrà solo rappresentare una possibile rappresentazione di quella realtà per quanto possa essere oggettiva e fedele rimane solo una rappresentazione..
si può vedere come rispondono i concorrenti a quella situazione ricreata e raffigura come i concorrenti reagiscono quindi sì con una classifica ma la stessa vive nel solo medesimo contesto.
se si prendono tutti i risultati di un anno di test o di due si possono delineare i traguardi nel corso del tempo dei concorrenti e approcciarsi a ipotesi più o meno realistiche su come abbiano agito le aziende ma senza dimenticare che si continua a parlare di una rappresentazione.. oppure si possono estrapolare supposizioni di come fosse stato duro un periodo temporale come presenza di malware e quanto fosse ostico per deteminate aziende :D

tranquillo sto solo esprimendo un'idea o un mio pensiero e sono contento di esternarlo con un confronto come questo :)

[xcdegasp]

nessun test annulla un altro test, per il semplice fatto che si riferiscono a periodi temporali differenti con sample differenti, semple che sono un'esternazione di una realtà limitata a quel dato periodo. in parole semplici il test di maggio ha significato solo per il periodo di maggio.

come dicevo il test è una rappresentazione, può essere benissimo chiamato paradosso esattamente quanto possa esserlo un quadro figurativo o paesaggistico.

se ritengo il 6% di avira reale nel contesto di vita quotidiana? assolutamente no visto che il 53% si riferisce a più di 17000 malware mentre il 59% è riferito a 14000 (valore reso intero preso dal prodotto risultato migliore in classifica).
semplice esempio: ci sono 5 persone, una sola è innocente le altre sono colpevoli. se indovini 2 colpevoli hai guadagnato il 50% di capacità di rilevamento, un ottimo risultato.
ora ci sono 50 persone di cui colpevoli 35, se ne indovini 28 avrai come risultato 12,5% di rilevazione esatta.
nonostante tutto ne hai indovinate di più ma la percentuale risulta minore :D
anche se si usassero 20000 esemplari sarebbe difficile pensare che possano conteneree tutto il malware che vive in quel periodo questo perchè nonostante internet possa avvicinare paesi e continenti rimane pur sempre uno spazio sconfinato e immenso.

per il raffronto annuale o biennale intendevo proprio l'intero set di test quindi proactive e retrospective perchè è l'unica rappresentazione globale che puoi ottenere, ovviamente da trattare con i limiti già menzionati quindi tenendo presente la collocazione temporale.

per concorrenti intendo identificare i partecipanti al test.

[Jackhomo]

iscritto al thread :)

[Sisupoika]

Non ho letto tutto, ma Gdata usa ancora il dual engine?
Cmq MS sembra sia migliorata o sbaglio? E' da tempo che non seguo sta roba ma ricordo che OneCare andava molto peggio in questi tests con la concorrenza, che SE.

[xcdegasp]

sì ha ancora il doppio engine :)

[Sisupoika]

sì ha ancora il doppio engine :)

ah, ecco