A múlt szerdai ITBN napokon kaptam egy Surfcontrol CD-t is a tarisznyámba, így el is határoztam, hogy kipróbálom, mit tud. Az egyik PR-cikk szerint “Bár az elvárásokat a SurfControl 99%-os teljesítményével könnyen túlteljesítette, sokkal lényegesebb, hogy mindezek során egyetlen e-mailt sem minősített tévesen SPAM-nek, tehát false positive aránya 0% volt.”

A 99% nagyon jó értéknek tűnik ahhoz képest, hogy a program (legalábbis egyszerűen) nem tanítható, de az igazi erény a 0% fals pozitív arány. Nemes Dániel szerint “Különösen Magyarországon ritka, hogy egy cég vagy intézmény megengedheti magának, hogy ezeket egyenként letesztelje, és a tesztek eredménye alapján döntsön. A független szervezetek és kutatólaboratóriumok által adományozott díjak és tanúsítványok ezért megkönnyítik a szakemberek választását”.

Nekem ugyan nincsenek díjaim, és a függetlenségem sem szponzorálják a gyártók, cserébe viszont én vagyok a legfélelmetesebb tesztelő: az elégedetlen felhasználó. Olvasd el a teszt eredményeket, és döntsd el magad, mennyire reális a kapott eredmény.

Windows 2000-re telepítettem a program 6.0.0-ás verzióját, amely egy SMTP kiszolgálóként érhető el. A leveleket fogadja, ellenőrzi, majd továbbítja a belső valódi kiszolgáló felé. A problémás leveleket karanténban őrzi, ahonnan – igény szerint – az adminisztátor el tudja azokat engedni a felhasználók felé.

A teszt során a 2007 január és szeptember közötti leveleimet használtam fel, azaz valódi levelekkel végeztem a mérést, nem pedig tenyésztett adatokkal. A Surfcontrol támogatja a különféle RBL listák, SPF és más nyalánkság használatát. Ezeket azonban nem kapcsoltam be (alapértelmezésben nincsenek is bekapcsolva), mert a leveleket a saját gépemről küldtem SMTP protokoll segítségével.

Szerk: A teszt sajátossága, hogy a reputációs technológia nem (vagy csak korlátozottan) jutott érvényre, mert az az IP-címeket (illetve esetleg az SMTP kapcsolat felépülésének egyéb paramétereit) veszi figyelembe.

1. SPAM TESZT

       Elküldve AA  DFP Vírus NS  FN   Spam felismerés
-------+------+----+----+---+---+----+----------------
2007.01: 1075 | 324| 689| 8 | 0 | 54 | 94.97%
    .02:  832 | 346| 458| 0 | 0 | 28 | 96.63%
    .03:  883 | 247| 583| 0 | 0 | 53 | 93.99%
    .04: 1077*| 141| 915| 0 | 2 | 19 | 98.23%
    .05:  375*|  40| 333| 0 | 0 |  2 | 99.46%
    .06:  766 |  37| 705| 1 | 5 | 18 | 97.65%
    .07:  860 |  30| 821| 0 | 2 |  7 | 99.18%
    .08: 1174 |  60|1109| 0 | 0 |  5 | 99.57%
    .09: 1295 |  95|1177| 0 | 1 | 22 | 98.30%
--------------+----+----+---+---+----+---------------
  Total: 8337 |1320|6790| 9 |10 |208 | 97.50%

*: a májusi levelek egy része (10 nap) az április levelekkel együtt ment ki

2. MAGYAR SPAM TESZT

       Elküldve AA DFP Vírus NS  FN   Spam felismerés
-------+------+---+---+----+---+----+----------------
           25 | 3 | 1 |  0 | 2 | 19 | 24.00%

3. HAM TESZT

       Elküldve AA  DFP Vírus NS  FP  Ham felismerés
-------+------+----+---+----+---+----+--------------
2007.01: 1056 |  5 | 5 |  0 | 3 | 13 | 98.76%
    .02:  943 |  1 | 5 |  1 | 4 | 11 | 98.83%
    .03: 1012 |  4 | 1 |  0 | 4 |  9 | 99.11%
    .04:  927 |  4 | 0 |  0 | 7 | 11 | 98.81%
    .05:  993 |  2 | 1 |  0 | 3 |  6 | 99.39%
    .06: 1039 |  2 | 0 |  0 | 5 |  7 | 99.32%
    .07:  747 |  2 | 7 |  0 | 5 | 14 | 98.12%
    .08:  849 |  5 | 2 |  0 | 5 | 12 | 98.58%
    .09:  868 |  1 | 1 |  0 | 6 |  8 | 99.07%
--------------+----+---+----+---+----+--------------
  Total: 8449 | 26 |22 |  1 | 42| 91 | 98.92%

4. LEVELEZő LISTA HAM TESZT

          Elküldve AA DFP Vírus NS  FP  Ham felismerés
----------+------+---+---+----+---+----+--------------
2007.01-09: 1798 | 5 | 0 |  0 | 0 |  5 | 99.72%
----------+------+---+---+----+---+----+--------------

Rövidítések:

AA: Antispam Agent
DFP: Antispam Agent – DFP
NS: Network Security
FN: Fals Negatív hiba
FP: Fals Pozitív hiba

A 97.5% spam felismerési arány ugyan 2.5x gyengébb a reklámozott 99%-nál, de a Checkmark Premium minősítéshez szükséges 97%-ot így is eléri. A mért fals pozitív arány azonban kissé elmarad a PR cikkekben szereplő 0.00%-tól: a jó levelek 1.08%-át spamként vagy vírusként értékelte, azaz fals pozitív hibát követett el. Ez azt is jelenti, hogy egy 40-50 fős vállalat esetén elég munkája lesz az adminisztátornak amiatt, hogy a felhasználók “beragadt” leveleit tovább küldje kézzel a felhasználók felé.

Érdekes a magyar spam felismerésének aránya. 25 spam levélből csak 6-ot ismert fel. Ez nem feltétlenül a program hibája, egyszerűen arról van szó, hogy a magyar spam csak egy elhanyagolható részét teszi ki a spam tortának, hogy a nagy külföldi gyártók nem foglalkoznak a magyar levélszeméttel, így az nem szerepel az adatbázisukban, így az átjut rajtuk.

Szerkesztés:

Nemes Dániellel váltottunk egy levelet, ezért az alábbi korrekciót tartottam szükségesnek közölni:

• a rendszer azért tanítható, magyar spamre is. többek között a VLA modullal, de a központban is tanítják, ha továbbítod.
• a cikk nem PR cikk volt, hanem sajtóközlemény, ahol a Checkmark mérési eredményeit írtuk le. ott konkrétan nulla volt az FP, ami a mi tapasztalatainkkal megegyezik.