Gli ultimi test di matousec.com

[crazy.cat]

Interessanti i nuovi risultati dei test matousec.com con Online armor che occupa le prime due posizioni, mentre Comodo precipita (come valore %) dietro anche a Pctools firewall.
Che Comodo paghi l'effetto suite mal riuscita?
Non conoscevo Netchina S3
http://www.netchina.com.cn/users/0/155.html
Ma ci si potrebbe dare un occhiata
http://www.wilderssecurity.com/showthread.php?t=199207



Tutti i risultati.
http://www.matousec.com/projects/fir...ge/results.php

[retalv]

Inviato da crazy.cat

Interessanti i nuovi risultati dei test matousec.com con Online armor che occupa le prime due posizioni, mentre Comodo precipita (come valore %) dietro anche a Pctools firewall. Che Comodo paghi l'effetto suite mal riuscita?

Come gia detto in passato, questa lista è sicuramente da prendere come indicazione riguardo all'efficenza (test), ma non alla graduatoria.

Stranamente (!) fino a ieri Outpost era stato testato in una versione beta (successiva (!!!) a quella mostrata oggi) e stranamente Armor è andato in vetta mentre KIS (poco + che decente nella classifica precedente) è rispuntato tra gli ottimi.

A mia modesta opinione, sento la puzza di bruciato di un modo sporco e subdolo di fare qualche $... non è una novità nel commercio ma così rasenta il ridicolo... avranno imparato dalle società di rating.

Dimenticavo: Netchina S3 pare funzionare egregiamente, ma appena configurato è bene disabilitare immediatamente il beep di avviso traffico bloccato... (ti avvisa anche quando al computer scappa la pipi)

[leofelix]

vero interessanti..
nemmeno io ho mai provato netchina.
ZoneAlarm PRO ha recuperato notevolmente noto... e una settimana fa c'è stata la promozione in occasione del 15 compleanno della CheckPoint.

Anche KIS è sempre a ottimi livelli.

Però nemmeno a me i conti tornano del tutto come ha fatto notare retalv

[Thor]

..però, dato che quelli sono exploit conosciuti, sono verificabili, dunque chiunque si potrebbe mettere a ripetere il test e dire "risultato falso!!!"; scommetto che molti già lo stanno facendo e nel caso si faranno sentire.

attenzione che nel test il livello raggiunto non corrisponde allo score effettivo.

poi una considerazione personale: Matousec finora ha sempre avuto la fama di struttura indipendente..la gente li "riconosceva" per questo..salterà subito fuori se si sono bruciati coi $$$ imho. Spero di no.

[crazy.cat]

Inviato da retalv

sento la puzza di bruciato di un modo sporco e subdolo di fare qualche $...

Per alcuni test che si leggono in giro ti darei pienamente ragione, si vedono dei risultati che sfiorano il ridicolo, questo mi è piaciuto perchè ci sono moltissimi prodotti freeware nei primi posti e gran parte dei commerciali sono in fondo alla classifica.

Inviato da retalv

Dimenticavo: Netchina S3 pare funzionare egregiamente,

Interessante...

[retalv]

Inviato da Thor

..però, dato che quelli sono exploit conosciuti, sono verificabili, dunque chiunque si potrebbe mettere a ripetere il test e dire "risultato falso!!!"; scommetto che molti già lo stanno facendo e nel caso si faranno sentire.

Infatti avevo fatto la premessa: nulla da eccepire sui test in se e per se...

Ma continuo ad avere il sospetto che (chi ha seguito le varie evoluzioni raccontate per giunta sul sito se lo ricorderà), dopo essersi fatta la fama che descrivi ha venduto ufficialmente i propri test a Kaspersky (se ricordo bene $2000 e fino a qui nulla di male) poi stessa cosa deve essere successa per Agnitum ... fatto sta che i prodotti del primo (che erano a metà classifica) sono schizzati ai primi posti.

Si è poi letto che hanno ricevuto consigli da Agnitum riguardo alcuni nuovi test proposti direttamente da loro... ovvio che nei nuovi testi i concorrenti risultavano bucati.

Capitolo Online Armor: la versione free risultava in vetta alla classifica semplicemente per qualcosa tra test ed applicativo che lo faceva risultare non bucabile quando al contrario bucabile era...

Insomma... si... se prendi i test e li esegui a casa tua molto probabilmente (io non ho provato) tutto quadra, ma sò bene che se voglio far APPARIRE una cosa un poco meglio di un'altra basta giostrare su pochi punti percentuali per ottenere il risultato che il mio committente si aspetta... non parlo di frode, ma di semplice oppotunità, basta omettere un novo test ed attendere che il committente aggiorni, eseguirlo in una maniera al posto di un'altra, usare l'ultima versione rilasciata al posto di una beta ecc. ecc.

In un mondo basato sull'immagine e sulle percezioni indotte non mi meraviglia questa filosofia, ma da qui a dire che tutto è limpido e cristallino ne passa. :anger:

[RNicoletto]

Inviato da retalv

Si è poi letto che hanno ricevuto consigli da Agnitum riguardo alcuni nuovi test proposti direttamente da loro... ovvio che nei nuovi testi i concorrenti risultavano bucati.

Beh, questo di per sé non è un male.

Se ogni software house spiffera dei test che bucano gli altri software vuol dire che i test di matousec ne guadagnano in affidabilità.

[leolas]

Inviato da retalv

Infatti avevo fatto la premessa: nulla da eccepire sui test in se e per se...

Ma continuo ad avere il sospetto che (chi ha seguito le varie evoluzioni raccontate per giunta sul sito se lo ricorderà), dopo essersi fatta la fama che descrivi ha venduto ufficialmente i propri test a Kaspersky (se ricordo bene $2000 e fino a qui nulla di male) poi stessa cosa deve essere successa per Agnitum ... fatto sta che i prodotti del primo (che erano a metà classifica) sono schizzati ai primi posti.

Si è poi letto che hanno ricevuto consigli da Agnitum riguardo alcuni nuovi test proposti direttamente da loro... ovvio che nei nuovi testi i concorrenti risultavano bucati.

Bè, non ci vedo nulla di male, son pur sempre test. Anche Comodo ogni tanto esce con un test nuovo, ma a parte pochi, nessuno va lì a lamentarsi che i test sono di Comodo e quindi inaffidabili, e anzi, all'interno della suite Matousec ci sono dei test sviluppati da Comodo.

Fa fatica ad aver venduto i test, perchè sono tutti opensource, quindi tutti possono utilizzarli; questo va anche a vantaggio di noi utenti perchè così le falle possono venire chiuse.

Inviato da retalv

Capitolo Online Armor: la versione free risultava in vetta alla classifica semplicemente per qualcosa tra test ed applicativo che lo faceva risultare non bucabile quando al contrario bucabile era...

Bè, questo parecchio tempo fa, e solo se non si rispondeva ad un certo popup per 3 ore; dopo le 3 ore, c'era un bug in oa che consentiva al test di continuare
Dubito che lui lasci aperto ogni popup 3 ore, prima di passare al popup successivo! Già ci mette 4->12 ore per software

Inviato da retalv

Insomma... si... se prendi i test e li esegui a casa tua molto probabilmente (io non ho provato) tutto quadra, ma sò bene che se voglio far APPARIRE una cosa un poco meglio di un'altra basta giostrare su pochi punti percentuali per ottenere il risultato che il mio committente si aspetta... non parlo di frode, ma di semplice oppotunità, basta omettere un novo test ed attendere che il committente aggiorni, eseguirlo in una maniera al posto di un'altra, usare l'ultima versione rilasciata al posto di una beta ecc. ecc.

In un mondo basato sull'immagine e sulle percezioni indotte non mi meraviglia questa filosofia, ma da qui a dire che tutto è limpido e cristallino ne passa. :anger:

Non può inventarsi le percentuali a caso; inoltre, il punteggio in voto lo da così: se un programma passa il 50% dei test di un livello, può andare al livello successivo, fino a raggiungere il +, che viene dato se il programma riesce a passare 2 test extra.


Imho, matousec si può realmente criticare solo per il fatto che continua a chiamare la sua comparativa "firewall challenge", quando ciò che viene testato sono gli HIPS (e questo lo fa per marketing).

Per il rsto, i test sono affidabili, indipendenti e reali.

[retalv]

Non pensavo a tante risposte e non è mia intenzione far allungare questo tread con parole ripetute, ma permettetemi di rimanere della mia opinione su quanto già detto.

Come probabilmente diverse persone tra quelle che possono leggermi, per alcune decine di anni il mio lavoro era (tra le altre cose) far apparire alcuni "soggetti" di mercato + belli-buoni-efficienti di quanto in effetti erano, a discapito di altri o l'esatto contrario, quindi con cognizione di causa so di cosa sto parlando.

Quando è l'arbitro a creare i test con i quali andrà a comparare gli oggetti del contendere è veramente molto semplice "prendere in giro" il grande pubblico e 4/5 degli "addetti ai lavori" del settore... un po' per pigrizia di chi legge, un po' per altri motivi... è veramente molto semplice.

Dove invece l'arbitro non mette lingua sul metodo (ad esempio, rimanendo nel settore, gli antivirus) è già molto + difficile, ma come avete modo di appurare girando sul web anche qui ci provano (e forse ci riescono).

Ritorniamo al fattore fiducia... il vero ago della bilancia rimane questo.

Quanti di voi OGGI si fidano del parere delle società di rating?

[retalv]

Date un'occhiata al link diretto, leggete e se volete fate i vostri commenti...

http://www.matousec.com/projects/fir...ge/results.php

Interessante soprattutto il seguente (giustissimo) paragafo ...

"However, it is crucial to know what does it mean if a product succeeds in our tests and what does it mean if it fails. Before you start interpreting the results, you should be familiar with the information on the index page, especially with the methodology and rules. You should also know which kind of products do we test before you start to interpret the results. We have received a lot of reactions from people who are not familiar with that information and simply do not understand the results and misinterpret them. All the tested products have one common feature – the application based security model. In combination with their packet filtering capabilities, the tested products attempt to block attacks from other machines on the network as well as attacks performed by malicious codes that might run inside the protected machine. This is definitely not an unusual situation. People who use email clients, instant messengers, or web browsers face attacks that exploit the vulnerabilities in this kind of software very often. It happens that a malicious code gets inside the machine. And then it may try to install itself silently to the system, to steal users' data or sniff their passwords, or to join the target machine to the botnet. This is what the products we test, called personal firewalls, want to prevent. This is why they are used. The problem is that although the goal is common, not all the products implement a sufficient protection. "

[crazy.cat]

Inviato da retalv

Quando è l'arbitro a creare i test con i quali andrà a comparare gli oggetti del contendere

E cosa succede quando chi paga il test lo vince anche...ma che caso
http://www.cascadialabs.com/reports/...ats09_Full.pdf
(leggete l'ultima pagina del pdf)

Cosa succede quando gli sponsor http://www.cascadialabs.com/clients.html vincono sempre o quasi, e i non sponsor (kaspersky) finiscono all'ultimo posto del test...ma che caso

E poi dicono che il test è stato in maniera obbiettiva e imparziale.

[retalv]

Riguardo le novità ho omesso questa "chicca" proveniente dalle news del sito Matousec che mi fa pensare... e non a Comodo Group... :anger:

"# 2008-11-30: We have received a suggestion from Comodo Security Solutions, Inc., the vendor of Comodo Internet Security, on how to improve the configuration of their product in order to pass more tests. The suggested change included switching Comodo Internet Security configuration to "COMODO - Proactive Security", which can be done via the product's tray icon. Since our rules say that the tests are performed aginst the highest usable security configuration, we retested Comodo Internet Security 3.5.55810.432 and corrected its results. Its new score is 90%, which is much better score than previously published incorrect value of 84%. We apologize to Comodo and all our visitors for this mistake."

... ma cosiderando quanto segue (+ tutta la parte che non riporto riguardante il grado di conoscenza dell'utenza) rimango pensieroso...

"Methodology and rules
The tested firewalls are installed on Windows XP Service Pack 2 with Internet Explorer 6.0 set as the default browser. The products are configured to their highest usable security settings and tested with this configuration only. We define the highest security settings as settings that the user is able to set without advanced knowledge of the operating system. This means that the user, with the skills and knowledge we assume, is able to go through all forms of the graphic user interface of the product and enable or disable or choose among several therein given options, but is not able to think out names of devices, directories, files, registry entries etc. to add to some table of protected objects manually."

Quindi sommando tutto l'ambaradan (a me ed in via equitativa) risulta che tutto il discorso è rivolto a, e solo a, chi può considerarsi un vero esperto di lan, WEB e protocolli in quanto, per assurdo (?), possiamo avere un personal firewall che in configurazione standard (configurazione destinata all'utenza con esperienza medio bassa, ad esempio la mia) è un "groviera" mentre se configurato da un esperto (e possibilmente dal programmatore stesso ) risulta il vincitore indiscusso...

... ... madai!!! ...è come se avessi risposto a mia moglie (ha fatto la patente di guida a 39 anni e fa in media 30 Km al giorno casa-lavoro-negozi)... "... una Lamborghini, è l'auto migliore!"

Come se un vero esperto avesse bisoglo di... avevate ragione, questa non è ne malizia ne voglia di soldi facili... purtroppo è altro...

[leolas]

Inviato da retalv

Riguardo le novità ho omesso questa "chicca" proveniente dalle news del sito Matousec che mi fa pensare... e non a Comodo Group... :anger:

Quello che mi chiedo è perchè la proactive defense sia disattivata di default su comodo, se poi melih tutte le volte che c'è un test dice a chi ha svolto il test di rifarlo con la proactive mode attivata

Come hai poi detto dopo (scusa, ma ho cuttato un pezzo), sarebbe più giusto che i prodotti venissero testati con la configurazione di default..
Mettiamo che il prodotto X abbia un HIPS ottimo, ma lo tenga disattivato (o alcune parti) di default, così la gente non esperta lo usa senza problemi. Poi va da matousec, e dice di testare il software con l'HIPS attivato. In tal modo fa tanti punti e si fa pubblicità, ma poi in realtà l'utente appena installato il software non è protetto..

Inviato da retalv

Come se un vero esperto avesse bisoglo di... avevate ragione, questa non è ne malizia ne voglia di soldi facili... purtroppo è altro...

Cosa..?

[retalv]

Inviato da leolas

Quello che mi chiedo è perchè la proactive defense sia disattivata di default su comodo

Infatti in qualche versione precedente non lo era, poi... a mio parere, per non far disinstallare immediatamente il prodotto...

Di fatto, la proactive defense è un limbo in cui vengono idealmente messi tutti i files che non fanno nulla di strano (OLE e quant'altro) ma che l'HIPS non conosce (e sono ovviamente migliaia su quasiasi macchina puoi prendere in esame) ai quali CIS ha temporaneamente (?) negato l'accesso alla rete e che dovranno essere manualmente "sbloccati" (ma puoi farlo anche in blocco, non solo uno per volta).

Il risultato di questa minuziosità (che sarebbe ottima nella sostanza) è che in poche ore di uso della macchina da parte di un'utenza un minimo evoluta (alias: non accendi solo il PC, leggi la posta e scrivi una lettera in Word) troverai migliaia di files nel limbo e preso dalla "disperazione" farai tabula rasa e sceglierai di permettere a tutti questi (indistintamente) l'accesso alle reti.

Poi alla 2a o 3a volta disabiliterai la proactive defense...

Questo e il fatto che non puoi escludere interi dischi dall'HIPS e che la "firma" che crea dinamicamente sui files comprende anche il percorso del file stesso (con la conseguenza di vederti bloccato un eseguibile identico del quale hai N copie nel sistema e per il quale dovrai acconsentirne N volte l'esecuzione) mi hanno fato mettere la nuova versione 3 in parcheggio.

Il problema di Comodo è che (ovviamente) è stato pensato e creato per le proprie utenze,utenze aziendali, dove si usi solo e sempre quei software e dove una piccola deviazione da questo è probabilmente una minaccia. Lo hanno reso gratuito per fare un betatesting di massa che sarebbe stato impossibile se solo fosse costato 1 cent.

Messo a posto il software per le loro esigenze, manco ci pensano ad adattarlo a quelle di un'utenza diversa dai loro scopi (ci ho provato anche io), ed è anche ovvio.

Per l'altra domanda... pressapochismo (e rimango nel politically correct).

Se volessero fare un lavoro più serio di quanto fanno, basterebbe (ad esempio) cancellare quelle decine di righe in cui riportano le comunicazioni dei produttori (unico scopo, auto glorificazione) ed aggiungere come sono state settate le GUI dei soft in esame (visto che ne vengono esaminati decine, mi accontenterei dei Very Good e dei Goog) in modo da dare un indirizzo all'utenza che legge e (perchè no) di imparare dai guru.
Certo non fa un bell'occhio scrivere che Netchina S3 quasi in configurazione di default (basta spuntare ad alta la difesa di rete) risulta di poco migliore o peggiore dei + blasonati, siano gratuiti o a pagamento e che hanno bosogno di una pesante e spesso complicata (es. Comodo, ZoneAlarm) "detarpazione" per raggiungere il risultato...

Ma certo è molto + figo scrivere che la gente non comprende i risultati e il metodo...

[retalv]

Aggiornamento test in data odierna.

Rimescolamento in top classifica.