Categories
Uncategorized

Hogyan győzzük le a statisztikai szűrőket? Spojler jön!!!

A fenti kérdés bizonyára sok spammer szájából elhangzott már, és elmondhatom neked, hogy a nuke kivételével már szinte mindennel próbálkoztak az email címem ellen (szósaláta, CNN hírek, képes spam, stb), de a statisztikai szűrőm kitart (novemberben az eddigi 709 spamből 708-at felismert), és egyáltalán nem úgy néz ki, mint aki éppen feladni készül.

Szóval a bayes-i szűrők sok mindent tudnak, talán még
sakkozni is
. A spamblog.hu honlapján azonban úgy tűnik, hivatalból orrolnak a statisztikai spamszűrőkre. Szerintük ugyanis “a valóságban mindössze mintákat hasonlítanak össze szigorú matematikai alapokon. (Ráadásul a megfelelő marketinggel sokak számára teljesen hihetővé válik a tanuló, intelligens spamszűrő, viszont később komoly csalódás éri a téves biztonságérzetű felhasználót… nos, ez egy más lapra tartozik.)

Ha nagyon le akarjuk egyszerűsíteni a dolgot, igaza van a spamblog.hu-nak, a statisztikai szűrők valóban mintákat hasonlítanak össze egy kis matekkal megfűszerezve. De ha valaki egy kicsit jobban beleártotta magát az érintett algoritmusokba, egyáltalán: kapisgálja a koncepciót, akkor látja, hogy azért ennél egy kicsit többről van szó.

1. A mai, modern statisztikai szűrők valóban megtanulják, hogy milyenek a jó ill. a spam leveleink, ezért is hívják őket tanuló szűrőknek. Ezt a folyamatot úgy képzeld el, mint amikor egy 3 éves gyerek rámutat mindenre, és megkérdezi, hogy “mi ez?”, te pedig megmondod, hogy paradicsom, paprika, alma, dió, stb. Majd egy idő után, amikor már elég sok mindent megmutattál neki, te kérdezed meg őt egy ismeretlen növényre mutatva, hogy “mi ez?”, ő pedig az eddigi ismeretei alapján megmondja, hogy az zöldség vagy gyümölcs. Ha helyesen válaszolt, örülünk, ha nem, akkor korrigáljuk.

2. Ezek a programok tényleg intelligensek. Amikor a levelet elolvassák, nem csak egyszerűen mintákat (precízebben szólva szavakat, kifejezéseket, másképpen tokeneket), hanem koncepciókat (több egymás után következő kifejezés) is képesek azonosítani, ami már az AI szintjére emeli a statisztikai programokat (ld. a sakkozás során képes kiválasztani a lehetséges lépések közül egy (a leg)jobbat).
Csak egy példa, hogy miről beszélek. Tegyük fel, hogy van egy rendszeres levelezőpartnered, akitől sok levelet kapsz. A szűrő megtanulja, pl. hogyan szólít meg, mi az ő email címe, neve, mi az aláírása, szokásos szófordulatai, stb. Most jöjjön egy spammer, aki arra számít, hogy ha a haverod nevében küld neked spamet, az átcsúszik a szűrőn. De vajon tényleg átverheti? Esélye sincs. Mert ugyan szerepel benne a partnered neve és címe, a te neved és címed, de az előbb említett koncepciók közül egy se lesz benne. Ezért amikor megnézed a junk foldered, és látod, hogy a haver levele fennakadt a szűrőn (mert a spamre jellemző koncepciókat, pl. “great night”, “cheap oem”, stb. csont nélkül felismerte), csak nyisd meg, és látni fogod, hogy a szűrőnek volt igaza, és az egy spammertől jött. Én egyszer egy PayPal(-nek látszó) levéllel jártam így.

3. A “későbbi komoly csalódásról” és a “téves biztonságérzetről”

Vagy 2-3 éve fejlesztek egy statisztikai spamszűrőt (és használom is!). Szerintem ennyi idő alatt csalódhattam volna, ha az elv hibás lenne. De folyamatosan 99% feletti pontosságot élvezhetek (novemberben eddig a pillanatig 99.82%-on állok). Más projektek szintén hasonló (vagy jobb) eredményről számolnak be, pl. dspam készítőjének rekordja 99.987% (1 hiba 7000 levélből). Szerintem ennyi bőven elég a spamblog.hu FUD*-ját cáfolni, főleg úgy, hogy ezt az állításukat semmivel nem támasztották alá.

Szóval hogyan lehet legyőzni egy statisztikai, pl. bayes-i szűrőt? Egy módja azért van: ha nem használod, mert bedőlsz a “szakértők” FUD-jának. Gondolataimat elküldöm a yellowcube blogjába is, ami jelenleg spamblog.hu néven fut, kiváncsi vagyok, hogy megint kitörlik-e, mint különösen veszélyes szöveget a “legjobb spamszűrőre”.

*: FUD: Fear, Uncertainty, Doubt, azaz negatívumok és féligazságok terjesztésére alapozott kampány. Gyakran élnek vele a politikában és a marketingben.


“Azonnal tölts le egy statisztikai spamszűrőt, különben megtalállak téged is!”

Categories
Uncategorized

Optimista spam

Az optimista klub, amelynek 10k tagja van, meg az iwiw-en is egy csomóan ott vannak, szóval ezek az optimista emberek küldtek egy spamet, hogy adjunk nekik építőanyagot egy optimista ház kialakításához.

A válaszban megírtam neki, hogy bánatos lettem, amiért elrontotta a havi spam statisztikámat – pedig ebben a hónapban eddig 601 spamet csont nélkül megfogtam, így a spam felismerési arányom 99.83% (=601/602) lett, továbbá hogy holnap panaszt teszek ellene az NHH-nál, ill. a levelével tanítottam a szűrőmet.

Maga a spam így néz ki. Csak egyet nem értek: ha amúgy is van 10k tagjuk, hogy-hogy nem tudják összedobni 1 ház árát? Nem elég optimisták benne?


From: “Rózsahegyi Márk” <info@mosolypontok.hu>
To: “xxxxxx” <xxxxx@xxxx.hu>
Subject: Mosoly-lak

Tisztelt Hölgyem / Uram!

Mosoly-lak kialakításához keresünk cégeket, akik számára szintén fontos, – és ezért a szükséges építõanyagok felajánlására is készek – hogy együtt létrehozzuk
Magyarország elsõ olyan házát, ahol … http://www.optimistaklub.hu/hir.php?idx=546 (részletek megtekintéséhez kérjük, kattintson a linkre!)

Köszönettel:

Rózsahegyi Márk
Egy optimista Magyarországért
www.optimistaklub.hu, mark@optimistaklub.hu

u.: Amennyiben zavartam levelemmel, melyet a xxxxxxx@xxxxxxx.hu cimre kapott, kérem jelezze. Köszönöm !

Categories
Uncategorized

DHA ellen

A spammerek nem csak címlisták alapján küldik ki a szemetet, de megpróbálják kitalálni (vagy minden lehetséges variáció kipróbálásával vagy csak a gyakoribb vezeték- ill. keresztnevekkel), hogy az @xy.hu alatt milyen címek létezhetnek. Ha a kiszolgáló 5xx üzenetet ad vissza, akkor aza cím nem elérhető, ha pedig 2xx választ, akkor találtunk egy érvényes címet. Ezt a támadási módra hivatkoznak Directory Harvest Attack (kb. címtár támadás) néven. Egy SMTP session pl. így nézhet ki:

RCPT TO: <aa@xy.hu>
550 5.1.1 <aa@xy.hu>: Recipient address rejected: User unknown
RCPT TO: <ab@xy.hu>
550 5.1.1 <ab@xy.hu>: Recipient address rejected: User unknown
...
RCPT TO: <bela@xy.hu>
250 2.1.5 Ok

Jól látható, hogy minél egyszerűbb egy email cím @ előtti része – pl. sj@ – annál hamarabb megtalálják. A neten bóklászva rátaláltam egy felhasználóknak szóló jótanácsok gyűjteményére, ahol azt javasolták, hogy ne legyen ilyen a címed, mint bela@xy.hu, hanem biggyeszd mellé a születési évedet, szeretőid számát, stb, és legyél mostmár bela1970@xy.hu vagy bela0001@xy.hu.

Nem tudom, te hogy vagy ezzel, de én ilyen email címet még egy utolsó ki-kicsoda szájton se adnék meg, hogy ezzel égessem magam. Az meg főleg komolytalannak hat, ha egy ceo/cio/coo/c** (szóval cxx vagy c++) névjegyén ez áll: buga.jakab1968@jonagyceg.hu.

Sokkal jobb megoldásnak tartom azt, ha megszámoljuk, hogy az SMTP kliens hány érvénytelen címmel próbálkozott (vagy hogy a kipróbált címek hány százaléka érvénytelen), és ha az elér egy adott limitet, akkor lezárjuk az adott TCP kapcsolatot, opcionálisan 5 percre nem állunk szóba az illetővel.

Egy nagyon ari* védekezést láttam az ExchangeDefender honlapján:

Az ExchangeDefender véletlenszerűen elfogad pár olyan címet is, amely valójában nem létezik náluk (valójában a kukába irányítja ezeket a leveleket). Így a spammer azt hiszi, hogy az egy érvényes email cím, és fel fogja venni a címlistájára, amelyet majd később elad. Miután a domainünket végigspammelte, gyakorlatilag az összes email cím érvénytelen, ezért rá fog kényszerülni, hogy az egész domainünket törölje a listájáról.

De szép is lenne! Ez azonban nem így működik. A spammert ugyanis nem érdekli, hogy hány email cím működik a listáján és hány nem, hanem csak az, hogy minél nagyobb legyen, hogy minél több pénzt szedhessen ki a megbízója zsebéből. Ha valaki azon gondolkodik, hogy egy spammer segítségével lendíti fel az év végi eladásokat, akkor hadd világosítsam fel: a spammerek a saját megbízóikat is átverik.

*: értsd: eszedbe ne jusson! Az ilyen megoldásokra használják az angol szakirodalomban a snake-oil kifejezést. Nehogy bedőlj minden süket dumának, amivel csak egy anti-spam termék menedzsere akar etetni.

Categories
Uncategorized

Havi 2k spam

Pár hónapja történt, hogy az egyik ügyfelünk felhívott: segítsek neki, mert napi 5(!) spamet is kap. Ha valaki, hát én igazán át tudom érezni a problémáját. Sajnos azonban nem tudtam neki segíteni, mert a levelei egy olyan gépen vannak, ahová az én kezem nem ér el. De hogy lássa maga előtt a távlatokat, megemlítettem neki, hogy én akkoriban napi jó 30 spamet kaptam.

Tegnap azonban a junk folder fölött nosztalgiázva arra lettem figyelmes, hogy alig van hónap közepe, és máris jó 1000 spam van a mappában. Ha így haladunk, akkor ez rekord lesz, mert 1 hónap alatt 2k spam még sosem gyűlt össze (na nem mintha kifejezetten erre hajtanék). Így azt kellett megállapítanom, hogy elmúltak azok a békebeli 30 spam/nap idők, mára ~65-70 spam/nap a szokásos (sic!) adagom. A clapf azonban egész jó aránnyal ismeri fel a spameket: az eddigi októberi 1100+ spamre ~3 tévesztés jutott.

Categories
Uncategorized

zen.spamhaus.org és a PBL

Az MPP blogja szerint a Spamhaus népszerű feketelistája – a zen.spamhaus.org – több legitim levelet is blokkolt. Ennek az az oka, hogy az ún. Policy Block List (PBL) tartalmát is hozzáadták a zen listához.

A PBL azokat a címeket tartalmazza, amelyeknek nem kellene levelet küldeni a szolgáltatójuk házirendje (policy) alapján. Michael Katz azt tanácsolja, hogy

  1. légy tisztában azzal, hogy a kedvenc RBL listád milyen elvek alapján blokkol egy bizonyos IP-címet
  2. nem mindig lehet egyetlen RBL alapján eldobni egy levelet, hacsak nem értetted meg és fogadtad el az adott RBL játékszabályait
  3. használd az sbl-xbl listát, ha nem akarod a PBL-en lévő címeket blokkolni
  4. az MPP képes az ún. Custom Scoring funkcióra, amellyel elejét vehetjük annak, hogy az MPP egyetlen RBL lista ítélete miatt elutasítson egy levelet

Én annyit tennék ehhez hozzá, hogy kizárólag egy (bármely) fekete lista alapján eldobni egy levelet olyan hiba, amely előbb vagy utóbb biztosan megbosszulja magát egy fals pozitívban. Az meg már csak hab a tortán, amikor 2 postmaster között megy a huza-vona, hogy miért nem fogadja el az egyik a másik egyébként legitim levelét, ill. az a másik miért került egy 3. fél feketelistájára, és különben is kerüljön le róla, mert addig azért sem fogadom el a levelet tőle…

Mi hát az okos megoldás? Használj bátran feketelistákat, de az azok alapján szerzett információt valami intelligens döntési mechanizmusba tápláld be, mondjuk egy bayes-i szűrőbe, amely bámulatos módon képes ezt a levél tartalmából nyerhető információkkal kombinálni.

Categories
Uncategorized

YouTube spam

A ComputerWorld cikke szerint az e-mail biztonsággal foglalkozó Marshal azt állítja, hogy “a YouTube egyik funkciójával sok spamszűrő válhat megkerülhetővé.”

A spammerek találtak egy rést a video megosztó hálózat “Friends invite” nevű funkciójában, amelyen keresztül “olyan leveleket továbbíthatnak, amelyek látszólag a service@youtube.com címről érkeznek.” A YouTube korábban azt a tanácsot adta a felhasználóknak, hogy vegyék fel a service@youtube.com címet a fehérlistájukra, ha nem kapnák meg a videokkal kapcsolatos leveleket. Sokan így is tettek, és ezek után a gonosz spamszűrők nem finnyáskodtak a YouTube levelekkel. Na és? – kérdezheti az olvasó.

A problémát pedig az okozza, hogy a spammerek hamisított levelei mostmár akadálytalanul átjutnak ezeken a spamszűrőkön, hiszen a fehérlistáknak pont ez a lényegük: a program – nehogy fals pozitív hibát vétsen – beengedi a fehérlistán található címekről érkező leveleket.

Ebből az is következik, hogy a világot csak fehérben vagy feketében látó fehérlisták nem adnak megfelelő védelmet a spam ellen. Sokkal jobb az a tartalomszűrő, amely elolvassa a levelet, és a tartalma alapján dönti el, hogy az jó vagy sem.

Köszönet Huncraftnak, aki felhívta a figyelmem erre a cikkre.

Categories
Uncategorized

Surfcontrol teszt

A múlt szerdai ITBN napokon kaptam egy Surfcontrol CD-t is a tarisznyámba, így el is határoztam, hogy kipróbálom, mit tud. Az egyik PR-cikk szerint “Bár az elvárásokat a SurfControl 99%-os teljesítményével könnyen túlteljesítette, sokkal lényegesebb, hogy mindezek során egyetlen e-mailt sem minősített tévesen SPAM-nek, tehát false positive aránya 0% volt.”

A 99% nagyon jó értéknek tűnik ahhoz képest, hogy a program (legalábbis egyszerűen) nem tanítható, de az igazi erény a 0% fals pozitív arány. Nemes Dániel szerint “Különösen Magyarországon ritka, hogy egy cég vagy intézmény megengedheti magának, hogy ezeket egyenként letesztelje, és a tesztek eredménye alapján döntsön. A független szervezetek és kutatólaboratóriumok által adományozott díjak és tanúsítványok ezért megkönnyítik a szakemberek választását”.

Nekem ugyan nincsenek díjaim, és a függetlenségem sem szponzorálják a gyártók, cserébe viszont én vagyok a legfélelmetesebb tesztelő: az elégedetlen felhasználó. Olvasd el a teszt eredményeket, és döntsd el magad, mennyire reális a kapott eredmény.

Windows 2000-re telepítettem a program 6.0.0-ás verzióját, amely egy SMTP kiszolgálóként érhető el. A leveleket fogadja, ellenőrzi, majd továbbítja a belső valódi kiszolgáló felé. A problémás leveleket karanténban őrzi, ahonnan – igény szerint – az adminisztátor el tudja azokat engedni a felhasználók felé.

A teszt során a 2007 január és szeptember közötti leveleimet használtam fel, azaz valódi levelekkel végeztem a mérést, nem pedig tenyésztett adatokkal. A Surfcontrol támogatja a különféle RBL listák, SPF és más nyalánkság használatát. Ezeket azonban nem kapcsoltam be (alapértelmezésben nincsenek is bekapcsolva), mert a leveleket a saját gépemről küldtem SMTP protokoll segítségével.

Szerk: A teszt sajátossága, hogy a reputációs technológia nem (vagy csak korlátozottan) jutott érvényre, mert az az IP-címeket (illetve esetleg az SMTP kapcsolat felépülésének egyéb paramétereit) veszi figyelembe.

1. SPAM TESZT

       Elküldve AA  DFP Vírus NS  FN   Spam felismerés
-------+------+----+----+---+---+----+----------------
2007.01: 1075 | 324| 689| 8 | 0 | 54 | 94.97%
    .02:  832 | 346| 458| 0 | 0 | 28 | 96.63%
    .03:  883 | 247| 583| 0 | 0 | 53 | 93.99%
    .04: 1077*| 141| 915| 0 | 2 | 19 | 98.23%
    .05:  375*|  40| 333| 0 | 0 |  2 | 99.46%
    .06:  766 |  37| 705| 1 | 5 | 18 | 97.65%
    .07:  860 |  30| 821| 0 | 2 |  7 | 99.18%
    .08: 1174 |  60|1109| 0 | 0 |  5 | 99.57%
    .09: 1295 |  95|1177| 0 | 1 | 22 | 98.30%
--------------+----+----+---+---+----+---------------
  Total: 8337 |1320|6790| 9 |10 |208 | 97.50%

*: a májusi levelek egy része (10 nap) az április levelekkel együtt ment ki

2. MAGYAR SPAM TESZT

       Elküldve AA DFP Vírus NS  FN   Spam felismerés
-------+------+---+---+----+---+----+----------------
           25 | 3 | 1 |  0 | 2 | 19 | 24.00%

3. HAM TESZT

       Elküldve AA  DFP Vírus NS  FP  Ham felismerés
-------+------+----+---+----+---+----+--------------
2007.01: 1056 |  5 | 5 |  0 | 3 | 13 | 98.76%
    .02:  943 |  1 | 5 |  1 | 4 | 11 | 98.83%
    .03: 1012 |  4 | 1 |  0 | 4 |  9 | 99.11%
    .04:  927 |  4 | 0 |  0 | 7 | 11 | 98.81%
    .05:  993 |  2 | 1 |  0 | 3 |  6 | 99.39%
    .06: 1039 |  2 | 0 |  0 | 5 |  7 | 99.32%
    .07:  747 |  2 | 7 |  0 | 5 | 14 | 98.12%
    .08:  849 |  5 | 2 |  0 | 5 | 12 | 98.58%
    .09:  868 |  1 | 1 |  0 | 6 |  8 | 99.07%
--------------+----+---+----+---+----+--------------
  Total: 8449 | 26 |22 |  1 | 42| 91 | 98.92%

4. LEVELEZő LISTA HAM TESZT

          Elküldve AA DFP Vírus NS  FP  Ham felismerés
----------+------+---+---+----+---+----+--------------
2007.01-09: 1798 | 5 | 0 |  0 | 0 |  5 | 99.72%
----------+------+---+---+----+---+----+--------------

Rövidítések:

AA: Antispam Agent
DFP: Antispam Agent – DFP
NS: Network Security
FN: Fals Negatív hiba
FP: Fals Pozitív hiba

A 97.5% spam felismerési arány ugyan 2.5x gyengébb a reklámozott 99%-nál, de a Checkmark Premium minősítéshez szükséges 97%-ot így is eléri. A mért fals pozitív arány azonban kissé elmarad a PR cikkekben szereplő 0.00%-tól: a jó levelek 1.08%-át spamként vagy vírusként értékelte, azaz fals pozitív hibát követett el. Ez azt is jelenti, hogy egy 40-50 fős vállalat esetén elég munkája lesz az adminisztátornak amiatt, hogy a felhasználók “beragadt” leveleit tovább küldje kézzel a felhasználók felé.

Érdekes a magyar spam felismerésének aránya. 25 spam levélből csak 6-ot ismert fel. Ez nem feltétlenül a program hibája, egyszerűen arról van szó, hogy a magyar spam csak egy elhanyagolható részét teszi ki a spam tortának, hogy a nagy külföldi gyártók nem foglalkoznak a magyar levélszeméttel, így az nem szerepel az adatbázisukban, így az átjut rajtuk.

Szerkesztés:

Nemes Dániellel váltottunk egy levelet, ezért az alábbi korrekciót tartottam szükségesnek közölni:

  • a rendszer azért tanítható, magyar spamre is. többek között a VLA modullal, de a központban is tanítják, ha továbbítod.
  • a cikk nem PR cikk volt, hanem sajtóközlemény, ahol a Checkmark mérési eredményeit írtuk le. ott konkrétan nulla volt az FP, ami a mi tapasztalatainkkal megegyezik.
Categories
Uncategorized

ITBN 2007

Immáron harmadjára vehettem részt ITBN napon, amely aktuális IT-biztonsági kérdésekről szól.

Kezdődött az izraeliek beszámolójával, akik az elektronikus kormányzásról osztották meg a tapasztalataikat. Egy biztos: a PKI bevezetésében (jóval) előttünk járnak. A férfi kissé gyúrhatott volna az angolra, míg a nő teljesen flottul és tisztán beszélte.

Ezután a McAfee képviselője a botnetekről, ill. a probléma kezeléséről beszélt, ami hihetetlenül egyszerű (elméletben): elejét kell venni, hogy a hálózatunk megfertőződjön.

Majd a HP-től az alkalmazásbiztonság volt a téma. Nem igazán tudtam mit kezdeni az előadó önvallomásával, miszerint ellátogatott egy web oldalra, ahol egy automatikusan letöltődő program megfertőzte a gépét. Érted: egy security professional windows *.* + IE7-el felfegyverkezve járja a világhálót… De lehet, hogy csak én vagyok más.

Keleti Arthur az ICON-tól egy élvezetes Rodolfo 5 perccel kezdett, és biztos elvégzett egy alapfokú fakír crash course-t, mert furcsákat művelt egy kötéllel. Egyébként az adatszivárgásról beszélt.

A Symantec vezető rendszermérnöke Fekete vagy fehér? címmel adott elő, és ha valaki szereti az antivírus termékeit, annak jó hír, hogy egy antivírus áráért egy komplett biztonsági csomagot adnak.

Szünet.

Átmentem a 2. szekcióba, ahol tartalom- és spamszűrés volt a téma. Az 1. előadás az IronPorté volt, és bevallom már az elején, hogy egy konkurens termék egyik fejlesztőjének (lesújtó) véleménye miatt eléggé (negatív) előítélettel hallgattam végig. Az IronPort-ban az ún. ASYNCOS ketyeg, ami egy spéci OS, spéci fájlrendszerrel. A dobozuk 200 levelet kezel másodpercenként, ami az előadó szerint 10x több, mint amit mások tudnak, és 10,000 paralel TCP kapcsolatot, ez meg 50x több. Manapság az ún. reputációs hálózat a legújabb buzz word, az IronPort Senderbase network néven implementál egyet, amelyben 100,000 hálózat, 20 millió IP-cím, és a világ email forgalmának 25%-a van benne.

Ezután következett a filter:max előadása [A bejegyzés végén korrekció található!], és Nemes Dániel meglepő állítással nyitott: ma már mindenkinek (értsd: a jelenlévő konkurens gyártóknak a teremben*) 99.99999….9999%-os** – azaz kilencven-sok – spamfelismeréssel rendelkező termékeik vannak, de ez nem (igazán) lényeg, mert sokkal fontosabb a fals pozitívok aránya, azaz, hogy a csili-vili sok pénzért megvett doboz vajon hány 500 millió HUF-os megrendelést küld a /dev/oblivion-ba? Teljesen jól mondta azonban, hogy az egy dolog, hogy védekezünk az email-ben érkező fenyegetések ellen, de egy átfogó védelemre van szükség, ami pl. a weben át érkező malware ellen is véd. Azontúl, hogy a Surfcontrol telepíthető a munkaállomásokon vagy futhat célhardveren is, lehetőség van menedzselt szolgáltatás (kihelyezett ASP) igénybevételére is. A moderátor kérdésére (mert a közönség nem akart kérdezni) pedig megtudtuk, hogy azért nem olcsó a termékük, pedig a 7 legnagyobb hazai bankból 4 az ő terméküket használja.

A Websense előadása nem maradt meg bennem, ez az előadás – nekem – kicsit szürke volt a többi között, de legyen ez az én problémám.

Végül a Barracuda képviselője szólalt fel, és megtudtuk, hogy náluk nincs licence díj (ami egy kellemes feature). Megemlítette, hogy nehézséget okoz az, hogy mindenki számára más és más a spam definíciója. Szóba került az, hogy a spam mennyi problémát okoz, valamint az, hogy nem lehet jó egyidejűleg egy x termék fals pozitív ill. fals negatív aránya (gondolj erre úgy, mint egy x * y = 1 alakú szorzatra). Én ebben ugyan kissé kételkedem, de világos, hogy minél élesebb a borotva, annál inkább hajlamos belekapni a jó levelekbe is.

Az előadók megerősítették bennem azt, hogy levelet nem szabad eldobni, még akkor sem, ha az nyilvánvaló spam. A clapf pedig éppen így működik, semmit nem dob el (csak a vírusos leveleket). Azt is megtudtam, hogy a németeknél a leveleket 6 évig archiválni kell. Ha egy adott helyen a spamek aránya az összlevelezés 90%-a, akkor – ha nem dobjuk el a spamet – a tárolás költsége 9x nagyobb lesz. Azonban nem kell ennek feltétlenül így lennie: mi lenne, ha a spameket eleve egy karanténba tennénk, amit a felhasználó maga kezelhet. Legyen ennek a mérete vagy élettartama (vagy ha jobban tetszik TTL-je) 2 hét, ez azt jelenti, hogy mégha archiváljuk is a spameket, azok semmiképpen nem növelik meg a levelek számára szükséges diszk kapacitást 900%-kal. Vállalati környezetben mindenképpen érdemes megfontolni egy ilyen megoldást, mert ez megszünteti a fals pozitív miatti levélvesztés okozta félelmet.

Szünet, ill. ebéd. A kaja akár jó is lehetett volna, ha eltalálják az ízlésemet (de nem találták el). Ez egyéni szoc. probléma, nem az ő hibájuk.

Nem maradtam végig ott, mert leginkább a spam- és tartalomszűrés érdekelt az idei programból, úgyhogy némi 21-ezés után angolosan távoztam. Csak egy leosztásra voltam partiban, mert kaptam először egy hetest, majd egy ötöst. Ez kissé karesz lesz a 21-hez, úgyhogy lapot kértem, és kaptam egy Queen-t (7+5+10=22), fuccs! De rendes volt a díler, mert adott egy nyalókát a vigaszágként.

A regisztráció ügyetlensége miatt a szervezésre 3 pontot adtam. Kétszer is regisztráltam magam a
web oldalukon, mindkétszer ok üzenetet adott vissza az űrlap. Azonban semmi nyugtázó email (vagy valami hasonló mechanizmus), és még jó, hogy felhívtam őket, mert nem kerültem be a rendszerbe.

Az eddigi években legalább egy tollat, meg egy kis jegyzettömböt is adtak a csomagban, idén ez elmaradt, ezért úgy kellett a McAfee standnál kuncsizni. De kaptam egy halom prospektust, ami ha másra nem is, de arra jó lesz, hogy azok alapján egy profi datasheet-et készíthessek a clapf-nak. Ja, és az értékelőlapot elég lájtosan töltöttem ki, nem akartam, hogy megtudják a munkahelyem security vonatkozású dolgait. Jövőre pedig – ha megérjük – mint magánszemély fogok jelentkezni. Mindent összevetve: szép volt, jó volt, köszönöm, ennyi.

*: és nekem :-))
**: ez már majdnem úgy hangzott, mint a háromszáz …. harmincezer (liter zoxigén)

Szerkesztés:

Nemes Dániellel váltottam 1-2 levelet, és kiderült, hogy nem pontosan adtam vissza az elhangzott szavait, mert ő egészen pontosan azt mondta, hogy “az összes gyártó azt _mondja_, hogy 99,99999%-ot tud, ami általában hazugság. a tapasztalataink szerint a kereskedelmi termékek közül stabilan 97-98% felett (belátható FP ráta mellett) 4-5 termék teljesít, amibõl 3 kapható nálunk.”

Ami pedig azt az átfogó védelmet illeti, az “a lényeg, hogy egy csak e-mail szûrõben is fel kell tudni használni a webszûrés tapasztalatait és fordítva.”

Categories
Uncategorized

Parazita spam – avagy már megint összeesküvéselmélet!

A 2006. évi CEAS papírok között láttam egy rémisztőt. Nem maga a papír (igen, jól látod, szóközzel kezdődik a pdf neve) volt rémisztő, hanem a parazita spam lehetősége.

Az nem meglepő, hogy léteznek zombi hálózatok, amelyekkel a spammerek temérdek levelet küldenek ki. De az már valószínűleg az, hogy a zombi gépek ezen túl még egy új fajta spamre is felhasználhatók. Ha egyszer egy malware átvette az irányítást a gép felett, akkor az bármit megtehet, pl. a kimenő levélforgalmat nem csak monitorozhatja, de akár módosíthatja is.

A freemail szolgáltatóknál bevett szokás, hogy a levelek végére egy rövid reklámot illesztenek. Ugyanezt a zombi gépet irányító malware is meg tudja ttenni. Így amikor Bob levelet küld Alice-nek, akkor az egyébként legitim levélben egy spam melléklet is lesz. Ha a spammer ügyes, akkor a címzett levelezője először a spamet fogja megjeleníteni, nem kis galibát okozva ezzel.

Ha ezt még (elvileg) könnyű is lenne kezelni – a mellékletek külön elemzésével, és a spam tartalom kivágásával – de a helyzet még ennél is rosszabb: a spammer ugyanis azt is megteheti a zombin, hogy nem külön mellékletbe helyezi el a spamet, hanem a levél szövegébe közvetlenül. Arról nem is beszélve, hogy ugyan meddig tart a barátomnak küldött levélben a nyaralás képeinek web oldal címét lecserélni egy online gyógyszertár oldalával, ahol már csak kattintanunk kell, hogy szállítsák a nagy tétel Xanax-ot? Ebben az esetben lehetetlen visszaállítani az eredeti tartalmat, és ez a helyzet a jelenlegi anti-spam megoldásokkal praktikusan kezelhetetlen.

Mi hát a megoldás? A zombi hálózatokat kell felszámolni. Ma ugyan még senki sem látott ilyen spamet, de ha a statisztikai szűrők széles körben elterjednek (és így a spamet praktikusan semlegesítik), és a spam ROI-ja alább zuhan, lehet, hogy a spammerek a parazita spam felé fognak fordulni.

Categories
Uncategorized

Micro spam – megoldva

A hónapban meglehetős bánatot okozott az, hogy 3 micro/pico spam is becsúszott. 3 spam nem a világ, de már szinte alkotói válságba kerülök, amíg meg nem oldom a problémát. Az alábbi példán az is szembeötlik, hogy aligha lehet ezt a levelet hagyományos értelemben vett spamnek tekinteni: sehol egy URL, sehol egy termék neve, de még egy ár sincs.

Date: Wed, 19 Sep 2007 03:10:06 +0100
From: Dalton Ferrell <khcarlene@juniormail.com>
To: sj@xxxx.hu
Subject: .)!-[[!  - [ [ !*]*: +.]    -++ !]

S:tooo.ccc k F]D:E.G
Last 0.04
Ta*rg  et 0.12

Jellegzetes azonban a tárgy sora: tele van olyan karakterekkel, amelyekből értelmes token aligha származik. Amikor először találkoztam ezzel a típusú spammel, a spam valószínűsége határozottan a jó levelek értéke felett volt (azaz a szűrő biztos volt abban, hogy ez nem jó levél), de alatta maradt a spam limitnek, azaz a szűrő csak a vállát vonogatta, hogy a levél se nem ham, se nem spam.

Ezért első ötletként kipróbáltam azt, hogy ha a szűrő bizonytalan, akkor kérdezzen meg egy feketelistát, hátha szerepel rajta a feladó. Ha igen, akkor hozzáad egy RBL* tokent, ami növeli a spam valószínűséget. Ez szépen megfogott jó pár ‘unsure’ levelet. A fentebb látható azonban nem szerepelt (még) feketelistán, ezért bevetettem még egy trükköt: ha a levélben nem szerepel értékelhető token a Subject sorban, akkor beilleszt a mátrixba egy NO_SUBJECT* nevű extra tokent, ami szintén növeli a spam valószínűséget. Ezzel pedig már ezt a levelet is megfogtam. Ha pedig egyszer megfogtam, el nem eresztem: a spamszűrő ugyanis megtanulja azokat az leveleket, amelyekben új adat van. Így a probléma reményeim szerint megoldva.

Ez a kis mocskos micro spam okozta bosszankodás azonban hozzájárult ahhoz, hogy a clapf egy következő szintre lépjen: a reputációs megoldások körébe.