A múlt szerdai ITBN napokon kaptam egy Surfcontrol CD-t is a tarisznyámba, így el is határoztam, hogy kipróbálom, mit tud. Az egyik PR-cikk szerint “Bár az elvárásokat a SurfControl 99%-os teljesítményével könnyen túlteljesítette, sokkal lényegesebb, hogy mindezek során egyetlen e-mailt sem minősített tévesen SPAM-nek, tehát false positive aránya 0% volt.”
A 99% nagyon jó értéknek tűnik ahhoz képest, hogy a program (legalábbis egyszerűen) nem tanítható, de az igazi erény a 0% fals pozitív arány. Nemes Dániel szerint “Különösen Magyarországon ritka, hogy egy cég vagy intézmény megengedheti magának, hogy ezeket egyenként letesztelje, és a tesztek eredménye alapján döntsön. A független szervezetek és kutatólaboratóriumok által adományozott díjak és tanúsítványok ezért megkönnyítik a szakemberek választását”.
Nekem ugyan nincsenek díjaim, és a függetlenségem sem szponzorálják a gyártók, cserébe viszont én vagyok a legfélelmetesebb tesztelő: az elégedetlen felhasználó. Olvasd el a teszt eredményeket, és döntsd el magad, mennyire reális a kapott eredmény.
Windows 2000-re telepítettem a program 6.0.0-ás verzióját, amely egy SMTP kiszolgálóként érhető el. A leveleket fogadja, ellenőrzi, majd továbbítja a belső valódi kiszolgáló felé. A problémás leveleket karanténban őrzi, ahonnan – igény szerint – az adminisztátor el tudja azokat engedni a felhasználók felé.
A teszt során a 2007 január és szeptember közötti leveleimet használtam fel, azaz valódi levelekkel végeztem a mérést, nem pedig tenyésztett adatokkal. A Surfcontrol támogatja a különféle RBL listák, SPF és más nyalánkság használatát. Ezeket azonban nem kapcsoltam be (alapértelmezésben nincsenek is bekapcsolva), mert a leveleket a saját gépemről küldtem SMTP protokoll segítségével.
Szerk: A teszt sajátossága, hogy a reputációs technológia nem (vagy csak korlátozottan) jutott érvényre, mert az az IP-címeket (illetve esetleg az SMTP kapcsolat felépülésének egyéb paramétereit) veszi figyelembe.
1. SPAM TESZT
Elküldve AA DFP Vírus NS FN Spam felismerés
-------+------+----+----+---+---+----+----------------
2007.01: 1075 | 324| 689| 8 | 0 | 54 | 94.97%
.02: 832 | 346| 458| 0 | 0 | 28 | 96.63%
.03: 883 | 247| 583| 0 | 0 | 53 | 93.99%
.04: 1077*| 141| 915| 0 | 2 | 19 | 98.23%
.05: 375*| 40| 333| 0 | 0 | 2 | 99.46%
.06: 766 | 37| 705| 1 | 5 | 18 | 97.65%
.07: 860 | 30| 821| 0 | 2 | 7 | 99.18%
.08: 1174 | 60|1109| 0 | 0 | 5 | 99.57%
.09: 1295 | 95|1177| 0 | 1 | 22 | 98.30%
--------------+----+----+---+---+----+---------------
Total: 8337 |1320|6790| 9 |10 |208 | 97.50%
*: a májusi levelek egy része (10 nap) az április levelekkel együtt ment ki
2. MAGYAR SPAM TESZT
Elküldve AA DFP Vírus NS FN Spam felismerés
-------+------+---+---+----+---+----+----------------
25 | 3 | 1 | 0 | 2 | 19 | 24.00%
3. HAM TESZT
Elküldve AA DFP Vírus NS FP Ham felismerés
-------+------+----+---+----+---+----+--------------
2007.01: 1056 | 5 | 5 | 0 | 3 | 13 | 98.76%
.02: 943 | 1 | 5 | 1 | 4 | 11 | 98.83%
.03: 1012 | 4 | 1 | 0 | 4 | 9 | 99.11%
.04: 927 | 4 | 0 | 0 | 7 | 11 | 98.81%
.05: 993 | 2 | 1 | 0 | 3 | 6 | 99.39%
.06: 1039 | 2 | 0 | 0 | 5 | 7 | 99.32%
.07: 747 | 2 | 7 | 0 | 5 | 14 | 98.12%
.08: 849 | 5 | 2 | 0 | 5 | 12 | 98.58%
.09: 868 | 1 | 1 | 0 | 6 | 8 | 99.07%
--------------+----+---+----+---+----+--------------
Total: 8449 | 26 |22 | 1 | 42| 91 | 98.92%
4. LEVELEZő LISTA HAM TESZT
Elküldve AA DFP Vírus NS FP Ham felismerés
----------+------+---+---+----+---+----+--------------
2007.01-09: 1798 | 5 | 0 | 0 | 0 | 5 | 99.72%
----------+------+---+---+----+---+----+--------------
Rövidítések:
AA: Antispam Agent
DFP: Antispam Agent – DFP
NS: Network Security
FN: Fals Negatív hiba
FP: Fals Pozitív hiba
A 97.5% spam felismerési arány ugyan 2.5x gyengébb a reklámozott 99%-nál, de a Checkmark Premium minősítéshez szükséges 97%-ot így is eléri. A mért fals pozitív arány azonban kissé elmarad a PR cikkekben szereplő 0.00%-tól: a jó levelek 1.08%-át spamként vagy vírusként értékelte, azaz fals pozitív hibát követett el. Ez azt is jelenti, hogy egy 40-50 fős vállalat esetén elég munkája lesz az adminisztátornak amiatt, hogy a felhasználók “beragadt” leveleit tovább küldje kézzel a felhasználók felé.
Érdekes a magyar spam felismerésének aránya. 25 spam levélből csak 6-ot ismert fel. Ez nem feltétlenül a program hibája, egyszerűen arról van szó, hogy a magyar spam csak egy elhanyagolható részét teszi ki a spam tortának, hogy a nagy külföldi gyártók nem foglalkoznak a magyar levélszeméttel, így az nem szerepel az adatbázisukban, így az átjut rajtuk.
Szerkesztés:
Nemes Dániellel váltottunk egy levelet, ezért az alábbi korrekciót tartottam szükségesnek közölni:
- a rendszer azért tanítható, magyar spamre is. többek között a VLA modullal, de a központban is tanítják, ha továbbítod.
- a cikk nem PR cikk volt, hanem sajtóközlemény, ahol a Checkmark mérési eredményeit írtuk le. ott konkrétan nulla volt az FP, ami a mi tapasztalatainkkal megegyezik.